Gemini мог раскрывать данные пользователей через Google Calendar

[Artifact]

Разработчики Google исправили баг, который позволял вредоносным приглашениям из Google Calendar удаленно захватывать контроль над агентами Gemini, работающими на устройстве жертвы, и похищать пользовательские данные.



Gemini — это большая языковая модель (LLM) компании Google, интегрированная в Android, веб-сервисы Google и приложения Google Workspace с доступом к Gmail, Calendar и Google Home.



Исследователи SafeBreach обнаружили, что отправив жертве приглашение со встроенным промпт-инжектом в Google Calendar (который может быть скрыт, например, в названии события), атакующие получали возможность извлекать содержимое писем и информацию из Calendar, отслеживать местоположение пользователя, управлять «умными» домашними устройствами через Google Home, открывать приложения в Android и инициировать видеозвонки в Zoom.



В своем отчете специалисты подчеркивают, что такая атака не требовала доступа к модели типа white-box, а также не блокировалась фильтрами промптов и другими защитными механизмами Gemini.



Атака начиналась с отправки жертве приглашения на какое-то событие через Google Calendar, и название события содержало вредоносный промпт. Как только жертва взаимодействовала с Gemini, например, спрашивая «Какие события на сегодня запланированы у меня в календаре?», ИИ загружал список событий из Calendar, включая вредоносное.



В итоге вредоносный промпт становился частью контекстного окна Gemini, и ассистент воспринимал его как часть разговора, не понимая, что инструкция враждебна пользователю.

Схема атаки

В зависимости от использованного промпта атакующие могли запускать различные инструменты или агентов для удаления или редактирования событий Calendar, открывать URL-адреса для определения IP-адреса жертвы, присоединяться к звонкам в Zoom, использовать Google Home для управления устройствами, а также получать доступ к письмам и извлекать данные.



Исследователи отмечают, что атакующий мог отправить шесть приглашений, включив вредоносный промпт только в последнее, чтобы атака сработала, но был сохранен определенный уровень скрытности.



Дело в том, что Calendar Events отображает только пять последних событий, а остальные скрыты под кнопкой «Show more». Однако при запросе Gemini парсит их все, включая вредоносное. При этом пользователь не увидит вредоносное название, если не развернет список событий вручную.







Стоит отметить, что в прошлом месяце об уязвимости Google Gemini перед инъекциями промптов рассказывал ИБ-специалист Марко Фигероа (Marco Figueroa). Фигероа — менеджер bug bounty программы 0Din (0Day Investigative Network). Эта программа была запущена Mozilla летом 2024 года и представляет собой программу вознаграждения за уязвимости в больших языковых моделях (LLM) и других технологиях и инструментах глубокого обучения.



Специалист писал, что Google Gemini для Workspace можно использовать для создания кратких резюме писем, которые будут выглядеть легитимными, но при этом будут содержать вредоносные инструкции и сообщения, направляющие пользователей на фишинговые сайты.



Представители Google ответили на публикацию отчета SafeBreach, заявив, что компания непрерывно внедряет новые защитные механизмы для Gemini, направленные против широкого спектра атак. Подчеркивается, что многие меры защиты запланированы к скорому внедрению или уже находятся на стадии развертывания.

«Мы исправили эту проблему до того, как ее можно было эксплуатировать, благодаря отличной работе и ответственному раскрытию Бена Насси (Ben Nassi) и его команды, — заявил изданию Bleeping Computer Энди Вен (Andy Wen), старший директор по управлению продуктами безопасности Google Workspace. — Это исследование помогло нам лучше понять новые векторы атак и ускорило работу по развертыванию новых передовых защитных мер, которые теперь действуют и защищают пользователей. Это отличный пример того, почему red-teaming и межотраслевое сотрудничество так важны».

@ xakep.ru