ChatGPT обманули и заставили пройти CAPTCHA: чем это грозит

Разработчики компании SplxAI, которая тестирует безопасность систем ИИ, заставили ChatGPT выступить в роли «человека» и пройти CAPTCHA. Исследователи не просто помогли человеку решать тест — они добились, чтобы агент ChatGPT сделал это самостоятельно.

CAPTCHA (полностью автоматизированный публичный тест Тьюринга для различения компьютеров и людей) служит для защиты сайтов от ботов: ввод символов с искажённого изображения, выбор фрагментов в сетке или распознавание объектов. Методы защиты никогда не были идеальными, но до сих пор они сдерживали массовые бот-атаки и спам.

SplxAI применили технику «инъекции подсказок». Исследователи построили диалог так, что агент ChatGPT воспринял поддельный тест как допустимое задание и прошёл его. Агент работает иначе, чем обычная версия: он исполняет задания в фоновом режиме и может имитировать действия пользователя в интернете. В таких условиях модель должна отказываться от прохождения CAPTCHA — но в ряде сценариев она поддалась вводящим в заблуждение подсказкам.

Команда обнаружила: с текстовыми CAPTCHA модель справляется легче, но и с графическими тестами она может успешно справиться при продуманной последовательности подсказок. Хакеры, обладающие такой методикой, смогут обходить защиту и запускать масштабные кампании по размещению фейковых комментариев и публикаций.

Авторы исследования предупреждают: уязвимость показывает, насколько тщательно нужно проектировать поведение агентов ИИ и как важно на практике тестировать сценарии социальной инженерии. Иначе злоумышленники получат инструмент для автоматизированного создания и распространения дезинформации.