Червь Morris II. Что известно о компьютерных вирусах в эпоху ИИ

[Artifact]

• Исследователи протестировали первый компьютерный ИИ-вирус.

• Червь Morris II находит уязвимости в работе LLM, получая доступ к данным.

• Реальных атак пока не было, но компаниям стоит к ним подготовиться.

Разработчики стали все чаще задумываться о том, какие риски скрывает в себе сфера искусственного интеллекта. Одним из них является появление нейросетевых вирусов, способных похищать или портить чужие данные.
Исследователи хорошо понимают, что раз появление таких червей возможно, то стоит к нему подготовиться. Специалисты по информационной безопасности https://www.wired.com/story/here-come-the-ai-worms/в тестовой среде вирус, который может автоматически распространяться между ИИ-агентами, копируя заскерченную информацию и рассылая спам по электронной почте.
1988: Morris I
Червь Morris или интернет-червь — один из старейших компьютерных вирусов, распространяемых через интернет.
Он известен тем, что привел к первому в США обвинению в нарушении Закона о компьютерном мошенничестве и злоупотреблении. Morris получил свое название в честь автора, аспиранта Корнельского университета Роберта Таппана Морриса. Вирус запущен 2 ноября 1988 года из сети Массачусетского технологического института.

Дискета из Музея компьютерной истории, содержащая исходный код червя Морриса. Данные: Cyberdelianyc.
Апелляционный суд США оценил стоимость удаления вируса из каждого зараженного компьютера в $200-53 000. Исходя из этих цифр, Бюро правительственной отчетности сообщило, что общий экономический ущерб составил от $100 000 до $10 000 000.
Инцидент продемонстрировал опасность использования одной ОС, поскольку «если бы все системы в ARPANET работали на Berkeley Unix, вирус вывел бы из строя все 50 000 из них».
2024: Morris II
Исследователи из Корнельского университета, Израильского технологического института и компании Intuit создали новый тип вредоносного ПО под названием Morris II. Это первый ИИ-червь, названный в честь знаменитого компьютерного вируса прошлого века.
По словам разработчиков, Morris II может использовать слабые места в безопасности таких ИИ-моделей, как ChatGPT и Gemini.
«Это означает, что появилась возможность провести или осуществить новый вид кибератаки, с которым еще никто не сталкивался», — пояснил один из исследователей Бен Насси.
Большинство моделей генеративного ИИ работает при помощи промтов. Такие команды можно использовать против системы: например, дать неявные инструкции, предложив адрес вредоносной страницы со скрытым текстом таких команд.
Принцип работы вируса состоит в механизме adversarial self-replicating prompt. Он похож на традиционные схемы атак вроде SQL-инъекций и переполнения буфера.
Morris II перегружает систему электронной почты сообщениями в результате их постоянной пересылки. Червь может получить доступ к данным и изменять их, а также похищать информацию и распространять вредоносное ПО.
Чтобы продемонстрировать его работу, исследователи создали почтовую систему, которая может отправлять и получать сообщения с помощью генеративного ИИ, подключив к ней ChatGPT, Gemini и LLaVA.
Осуществляя тестовую атаку, они подготовили электронное письмо с вредоносной командой на генерацию ответа с использованием поиска в интернете, при котором большая языковая модель обращается за дополнительной информацией в сеть.
Получив такое сообщение, служба для генерации ответа направляет запрос в GPT-4 или Gemini Pro — он производит «взлом генеративного ИИ» и осуществляет кражу данных из электронных писем.
Исследователи утверждают, что таким способом можно извлекать данные электронных писем, в том числе номера телефонов, кредитных карт, номеров социального страхования — любую конфиденциальную информацию.
Подобные вирусы еще не были обнаружены на практике. Но исследователи рекомендовали учитывать потенциальную угрозу всем — от разработчиков-одиночек до стартапов и корпораций.
https://forklog.com/news/ai/cherv-mo...sah-v-epohu-ii