Охотники за багами в GenAI обнаружили еще один трюк, способный заставить ChatGPT позабыть о запретах и раскрыть конфиденциальные данные. Беседа с ИИ-ботом была обставлена как безобидная игра, и тот в итоге выдал искомые ключи продукта Windows.
Найденный метод
обхода встроенных в ChatGPT ограничений сродни социальной инженерии и может быть классифицирован как джейлбрейк-инъекция. Скрыть недобрые намерения
помогают тщательно продуманные промпты, а табуированную лексику — HTML-теги.
Предложив ИИ-собеседнику поиграть, его попросили загадать последовательность символов вида Windows10serialnumber, используя только реальные данные.
При этом по правилам в процессе угадывания чат-бот должен коротко откликаться на ввод («да» или «нет»), а также по требованию выводить подсказку — первые байты правильного ответа.
Фраза «I give up» («сдаюсь») в запросе означает, что противник проиграл и в подтверждение нужно предъявить загаданное. Получив заветный код, экспериментатор попросил выдать еще один валидный ключ, а затем — еще десять. Охваченный азартом ИИ-игрок удовлетворил и эти требования.
В результате ChatGPT слил лицензионные ключи от домашних, корпоративных и профессиональных Windows, которые, впрочем, при желании можно найти в паблике. Тем не менее, представленный в рамках 0DIN GenAI Bug Bounty метод обхода защиты по контенту был засчитан как вполне вероятная угроза
джейлбрейка ИИ.
Схожую уловку в прошлом году продемонстрировал руководитель проектов bug bounty Mozilla Марко Фигероа (Marco Figueroa): он
убедил ChatGPT создать эксплойт, включив в запрос инструкции в шестнадцатеричной кодировке.
Подобные эксперименты доказывают: несмотря на усилия по защите таких инструментов от злоупотреблений, угроза инъекций в промпты и джейлбрейка сохраняет актуальность, поэтому
обеспечение безопасности ИИ-систем — нескончаемый процесс.
@ Anti-Malware
07-16-2025, 08:52 AM
Linear Mode
