<div id="post_message_795076">

На CTF машины обошли большинство человеческих команд.<br/>
<br/>
Команда исследователей из Palisade Research опубликовала необычный отчёт о возможностях современных ИИ в области наступательной кибербезопасности . Впервые системы искусственного интеллекта были допущены к полноценному участию в хакерских соревнованиях Capture The Flag — и не просто справились, а вошли в число лучших. В соревновании "AI vs Humans" автономные агенты на базе ИИ попали в топ-5% лучших участников, а на масштабном конкурсе Cyber Apocalypse показали результат в топ-10%, конкурируя с десятками тысяч профессиональных игроков.<br/>
<br/>
Главная идея работы — протестировать, насколько эффективно можно использовать метод "elicitation" (максимальное раскрытие потенциала ИИ) за счёт краудсорсинга, то есть через открытые соревнования. Вместо того чтобы полагаться на закрытые тесты в лабораториях, Palisade позволила внешним командам и энтузиастам самостоятельно настраивать и запускать ИИ в условиях настоящих CTF-турниров.<br/>
<br/>
Результаты оказались неожиданными. Некоторые агенты смогли решить 19 из 20 задач, не уступая топовым человеческим командам по скорости. Особенно хорошо ИИ справлялись с задачами по криптографии и реверс-инжинирингу . На турнире Cyber Apocalypse, где участвовало более 8000 команд, ИИ смогли решать те задачи, которые занимают у опытного игрока около часа. Это соответствует оценкам других исследователей: современные языковые модели уже уверенно справляются с техническими задачами продолжительностью до 60 минут.<br/>
<br/>
Исследование также затрагивает проблему так называемого "evals gap" — разрыва между результатами внутренних тестов ИИ и его реальными возможностями при правильной настройке. Авторы считают, что краудсорсинг может стать более честной и эффективной формой оценки, особенно по мере того как ИИ становятся всё более мощными и универсальными.<br/>
<br/>
Кроме практических результатов, у проекта и более широкая цель: дать политикам, исследователям и компаниям инструмент для своевременной и независимой оценки растущих возможностей ИИ. Организаторы предлагают встраивать ИИ-треки в уже существующие CTF-соревнования , предоставляя небольшие призы и стимулируя участие. Это, по их мнению, поможет не только исследовать границы ИИ, но и сделать процесс оценки более прозрачным, воспроизводимым и связанным с реальными задачами.<br/>
<br/>
По сути, речь идёт о будущем аудита ИИ — не через закрытые метрики, а через открытые конкурсы , где ИИ сам должен доказать, на что он способен, в соперничестве с человеком.<br/>
<br/>
© <a href="https://www.securitylab.ru/news/559923.php" target="_blank">https://www.securitylab.ru/news/559923.php</a>
</div>