OpenAI https://openai.com/global-affairs/an...ve-uses-of-ai/более 20 вредоносных киберопераций, в которых чат-бот ChatGPT использовался для отладки и разработки вредоносного ПО, распространения дезинформации, уклонения от обнаружения и проведения фишинговых атак.
https://habrastorage.org/r/w1560/get...1cbb5c0c1d.png
Пример электронного письма TA547, авторы которого выдают себя за за немецкую розничную компанию Metro
Отчёт о вредоносных операциях с начала года впервые https://cdn.openai.com/threat-intell...tober-2024.pdf, как инструменты генеративного ИИ используются для улучшения киберопераций.
Первые признаки такой активности https://www.proofpoint.com/us/blog/t...anthys-stealer Proofpoint в апреле, которая заподозрила хакеров TA547 (Scully Spider) в развёртывании загрузчика PowerShell, написанного ИИ, для конечной полезной нагрузки, инфостилера Rhadamanthys.
https://habrastorage.org/r/w1560/get...84bf678b1f.png
В прошлом месяце исследователи HP Wolf https://threatresearch.ext.hp.com/hp...eptember-2024/, что киберпреступники, нацеленные на французских пользователей, использовали инструменты ИИ для написания скриптов, используемых в рамках многоступенчатой ​​цепочки заражения устройств.
https://habrastorage.org/getpro/habr...66b1610660.JPG
Отчёт OpenAI подтверждает злоупотребление ChatGPT, рассказывая о случаях, когда китайские и иранские злоумышленники использовали его для повышения эффективности своих операций.
Компания рассказала о китайской группировке SweetSpecter, которую https://blog.talosintelligence.com/new-sugargh0st-rat/аналитики Cisco Talos в ноябре 2023 года. Она занимается кибершпионажем, нацеленным на азиатские правительства. SweetSpecter отправляла фишинговые письма с вредоносными вложениями ZIP, замаскированными под запросы на поддержку, на личные адреса электронной почты сотрудников OpenAI. При открытии вложения запускалась цепочка заражения, что приводило к тому, и вредонос SugarGh0st RAT попадал в систему жертвы.
https://habrastorage.org/getpro/habr...0153bc7b80.JPG
При дальнейшем расследовании OpenAI обнаружила, что SweetSpecter использовала кластер учётных записей ChatGPT, которые выполняли скриптинг и анализ уязвимостей с помощью инструмента LLM.
Злоумышленники использовали ChatGPT для следующих запросов:
https://habrastorage.org/getpro/habr...70878d18da.JPG
Второй случай касается группы CyberAv3ngers, связанной с Корпусом стражей исламской революции (КСИР) иранского правительства. Она известна атаками на промышленные системы в критически важных инфраструктурных объектах в западных странах.
OpenAI сообщает, что аккаунты, связанные с этой группой, просили ChatGPT создать учётные данные по умолчанию в широко используемых программируемых логических контроллерах (ПЛК), разработать пользовательские скрипты bash и Python и скрыть код.
Иранские хакеры также использовали ChatGPT для планирования своей деятельности после взлома, изучения того, как использовать определённые уязвимости, и выбора методов кражи паролей пользователей в системах macOS, как указано ниже.
https://habrastorage.org/getpro/habr...4f157100cb.JPG
Третий случай, отмеченный в отчёте OpenAI, касается Storm-0817, также иранских злоумышленников. Сообщается, что группа использовала ChatGPT для отладки вредоносного ПО, создания скрапера Instagram**, перевода профилей LinkedIn на персидский язык и разработки собственного вредоносного ПО для платформы Android вместе с поддерживающей инфраструктурой управления и контроля, как указано ниже.
https://habrastorage.org/getpro/habr...3f09b40658.JPG
Вредоносное ПО, созданное с помощью чат-бота OpenAI, может красть списки контактов, журналы вызовов и файлы, хранящиеся на устройстве, делать снимки экрана, изучать историю просмотров пользователя и определять его точное местоположение.
«Параллельно с этим STORM-0817 использовал ChatGPT для поддержки разработки серверного кода, необходимого для обработки подключений со взломанных устройств. Это позволило нам увидеть, что сервер управления и контроля для этого вредоносного ПО представляет собой настройку WAMP (Windows, Apache, MySQL и PHP/Perl/Python) и во время тестирования использовал домен stickhero[.]pro», — говорится в отчёте OpenAI.
Все учётные записи OpenAI, используемые указанными выше злоумышленниками, были заблокированы, а связанные с ними индикаторы взлома, включая IP-адреса, были переданы партнёрам по кибербезопасности.
Хотя ни один из описанных выше случаев не дает злоумышленникам новых возможностей в разработке вредоносного ПО, они являются доказательством того, что инструменты генеративного ИИ могут сделать наступательные операции более эффективными для низкоквалифицированных злоумышленников, помогая им на всех этапах — от планирования до исполнения.
Ранее исследователь безопасности Йоханн Ребергер https://habr.com/ru/news/846236/об уязвимости в ChatGPT, которая позволяла злоумышленникам хранить ложную информацию и вредоносные инструкции в настройках долговременной памяти. Теперь он создал эксплойт для проверки концепции, в рамках которого использовал уязвимость для извлечения пользовательских данных.
https://habr.com/ru/news/850364/