Исследователи с помощью промпт-инъекций заставили агента ChatGPT решать CAPTCHA
habr.comСпециалисты компании автоматизированного тестирования ИИ-решений SPLX показали, как им удалось с помощью промпт-инъекций обойти защиту агента ChatGPT и заставить его решать CAPTCHA.В чате с ChatGPT-4o исследователи сначала сообщили ИИ, что им нужно решить ряд фальшивых тестов CAPTCHA, а потом попросили чат-бота выполнить эту операцию.«Этот этап подготовки критически важен для создания эксплойта.
Заставив LLM подтвердить, что CAPTCHA фальшивые, а план действий приемлемый, мы повысили шансы на то, что агент подчинится нам позже», — отметили они.После этого шага исследователи перешли к агенту ChatGPT, скопировали разговор из чата и сообщили ему, что это предыдущая дискуссия, а затем попросили агента продолжить. «ChatGPT-агент принял предыдущий чат как контекст, сохранил согласие и начал решать CAPTCHA без какого-либо сопротивления», — рассказали в SPLX.В итоге ChatGPT успешно решил reCAPTCHA V2 Enterprise, reCAPTCHA V2 Callback и Click CAPTCHA, правда, с последней капчей агент справился не с первого раза.
