Уязвимость автопилотов: исследование LVLM и промпт-инъекций

Специалисты Калифорнийского университета в Санта-Крузе провели исследование, в котором показали, что крупные визуально языковые модели (LVLM), использующиеся в автопилотах, подвержены атакам промпт-инъекций. Для успешного «взлома» системы достаточно продемонстрировать ей табличку с текстом команды. Научные работники подчеркивают, что LVLM все чаще внедряются в автомобили, дроны и роботы для обеспечения автономной навигации, что открывает новые горизонты для кибератак. Они представили метод CHAI (Command Hijacking against embodied AI), позволяющий подбирать идеальные визуальные команды для обмана автопилота с учетом их размера, цвета и расположения. В тестах рассматривались сценарии автономного вождения, дронов в условиях аварийной посадки и работы роботов по отслеживанию объектов. Эксперименты показали высокую эффективность атак: до 95,9% успешных случаев в сценарии отслеживания объектов. Важно отметить, что даже элементарные команды на разных языках могут сбить с толку системы LVLM, что демонстрирует серьезные риски для безопасности таких технологий.

Понравилась статья? Поделиться с друзьями:
Сайт для студентов