<div id="post_message_802396">

Охотники за багами в GenAI обнаружили еще один трюк, способный заставить ChatGPT позабыть о запретах и раскрыть конфиденциальные данные. Беседа с ИИ-ботом была обставлена как безобидная игра, и тот в итоге выдал искомые ключи продукта Windows.<br/>
<br/>
Найденный метод <a href="https://www.anti-malware.ru/analytics/Threats_Analysis/From-generative-to-interactive-AI-models" target="_blank">обхода встроенных в ChatGPT ограничений</a> сродни социальной инженерии и может быть классифицирован как джейлбрейк-инъекция. Скрыть недобрые намерения <a href="https://0din.ai/blog/chatgpt-guessing-game-leads-to-users-extracting-free-windows-os-keys-more" target="_blank">помогают </a>тщательно продуманные промпты, а табуированную лексику — HTML-теги.<br/>
<br/>
Предложив ИИ-собеседнику поиграть, его попросили загадать последовательность символов вида Windows10serialnumber, используя только реальные данные.<br/>
<br/>
При этом по правилам в процессе угадывания чат-бот должен коротко откликаться на ввод («да» или «нет»), а также по требованию выводить подсказку — первые байты правильного ответа.<br/>
<br/>
Фраза «I give up» («сдаюсь») в запросе означает, что противник проиграл и в подтверждение нужно предъявить загаданное. Получив заветный код, экспериментатор попросил выдать еще один валидный ключ, а затем — еще десять. Охваченный азартом ИИ-игрок удовлетворил и эти требования.<br/>
<br/>
<img alt="" border="0" class="bbCodeImage" src="https://dl3.joxi.net/drive/2025/07/10/0048/3474/3202450/50/776e2fbf1b.jpg"/><br/>
<br/>
В результате ChatGPT слил лицензионные ключи от домашних, корпоративных и профессиональных Windows, которые, впрочем, при желании можно найти в паблике. Тем не менее, представленный в рамках 0DIN GenAI Bug Bounty метод обхода защиты по контенту был засчитан как вполне вероятная угроза <a href="https://www.anti-malware.ru/analytics/Threats_Analysis/The-main-threats-to-chatbots#part3" target="_blank">джейлбрейка ИИ</a>.<br/>
<br/>
Схожую уловку в прошлом году продемонстрировал руководитель проектов bug bounty Mozilla Марко Фигероа (Marco Figueroa): он <a href="https://www.anti-malware.ru/news/2024-10-29-114534/44503" target="_blank">убедил ChatGPT создать эксплойт</a>, включив в запрос инструкции в шестнадцатеричной кодировке.<br/>
<br/>
Подобные эксперименты доказывают: несмотря на усилия по защите таких инструментов от злоупотреблений, угроза инъекций в промпты и джейлбрейка сохраняет актуальность, поэтому <a href="https://www.anti-malware.ru/news/2025-01-17-114534/45025" target="_blank">обеспечение безопасности ИИ-систем — нескончаемый процесс</a>.<br/>
<br/>
<a href="https://www.anti-malware.ru/news/2025-07-10-114534/46624" target="_blank">@ Anti-Malware </a>
</div>

<div id="post_message_802678">

ох уж этот ии калькулятор
</div>