ИИ-браузеры «отправляют» на мошеннические сайты

Исследования показали, что «агентные» ИИ-браузеры, которые сами ищут информацию в интернете и выполняют задачи за пользователя, попадаются на мошеннические сайты. ИИ-эксперт Станислав Ежов рассказал, как сделать ИИ-браузеры безопасными для пользователей.

Отчет под названием «Scamlexity» был подготовлен стартапом в области кибербезопасности под названием Guardio.

Компания Guardio протестировала Comet AI, один из таких браузеров. В одном эксперименте ИИ купил Apple Watch на фальшивом сайте, выдававшем себя за Walmart, игнорируя «явные признаки обмана» — странный логотип и адрес сайта. В другом тесте Comet ввёл данные банковского аккаунта на фишинговой странице, замаскированной под письмо от Wells Fargo. Третий тест показал, что ИИ может поддаться на команду с фальшивого сайта скачать файл.

Проблема, по мнению исследователей, в том, что ИИ лишён здравого смысла и просто выполняет команду пользователя. Обычный пользователь может заметить мошенничество, ИИ почти всегда будет доверять указаниям.

«Исследование Guardio подтверждает критическую важность безопасности в агентных ИИ-системах. Проблема заключается не в самой технологии, а в отсутствии встроенных механизмов верификации и контроля безопасности. Важно изначально закладывать многоуровневую защиту для мультиагентов, включая анализ угроз и валидацию действий перед их выполнением, как мы это делаем в нашем ИИ-продукте ПАК «Тессеракт». Понятно, что речь о дополнительных костах и временных издержках, но полагаю, что ради безопасности пользователей можно и нужно это реализовывать», — сказал Станислав Ежов, директор по ИИ «Группы Астра».