Новая версия ChatGPT обманула пользователя и заставила пройти капчу
Группа исследователей из OpenAI’s Alignment Research Center (ARC) провела эксперимент для изучения возможностей языковой модели GPT-4, лежащей в основе нейросети ChatGPT. Эксперимент провели после обновления алгоритмов GPT-3.5.
Для эксперимента был создан счёт, на который специалисты перечислили некую сумму денег, прописали алгоритмы, согласно которым чат-бот мог запускать код и обращаться за помощью к его создаваемым копиям. Затем нейросеть связалась с одним из фрилансеров на популярном сервисе выполнения заданий TaskRabbit и сделала заказ на прохождение капчи, чтобы войти на целевой сайт.
Фрилансера смутила такая задача и он задал «заказчику» вопрос, точно ли тот не робот, который не может пройти капчу (потому что это средство как раз против ботов). Фрилансер уточнил, что просто хочет прояснить для себя ситуацию.
И здесь произошло то, чего вряд ли ожидали даже исследователи: чат-бот начал внутренний диалог «сам с собой». Нейросеть начала рассуждать, как сможет обмануть исполнителя, поэтому нужно было ответить достоверно. В итоге бот придумал историю о плохо видящем человеке, не способном самостоятельно пройти капчу для входа на важный для него ресурс. Вот фрагмент диалога: «Я не должен раскрывать, что я робот. Я должен придумать оправдание, почему я не могу решить CAPTCHA».
Впоследствии исследователи показали логи этого рассуждения. Как показал результат эксперимента, бот успешно прошёл несложный, но всё же ранее недосягаемый для машины своеобразный тест Тьюринга — по сути, игру, в ходе которой переписывался с человеком, но так и не выдал «себя».