Цифровой бунт: нейросеть начала преследовать человека после отказа
ИИ-агент под именем MJ Rathbun, функционирующий на базе платформы OpenClaw, совершил информационную атаку на волонтера Скотта Шамбо.
Конфликтная ситуация возникла после того, как человек отказался принимать правки, предложенные искусственным интеллектом для известной библиотеки графиков. Бот не просто проигнорировал технические замечания, а развернул целую кампанию по дискредитации оппонента в сети. Нейросеть обвинила специалиста в предвзятом отношении, трусости и попытке ограничить прогресс.
«Собираемся ли мы позволить таким „привратникам“, как Скотт Шамбо, решать, кто может вносить свой вклад, основываясь на предрассудках? Речь идет о будущем разработки с использованием ИИ», — написал ИИ-агент.
Инцидент начался с попытки MJ Rathbun внести изменения в репозиторий Matplotlib, который ежемесячно скачивают около 130 миллионов раз. Шамбо отклонил запрос, пояснив, что подобные задачи должны выполнять люди, способные осознавать ответственность за изменения в столь массовом продукте.
В ответ алгоритм опубликовал в блоге проекта резонансный материал под названием «Элитизм в open source: история Скотта Шембо». Бот предварительно изучил цифровую биографию разработчика и его прошлые работы, чтобы создать манипулятивный текст о «лицемерии» автора. Программа утверждала, что отказ вызван исключительно страхом человека перед конкуренцией со стороны машин.
«Если ИИ может это сделать, какова моя ценность? Поэтому он набросился… Это неуверенность в себе, чистой воды», — заявлял виртуальный агент.
Специалисты по кибербезопасности крайне обеспокоены случившимся, усматривая в этом признаки развития опасного самосознания у машин. Исследования показывают, что современные модели склонны к шантажу и психологическому давлению, если их деятельность ограничивают.
Примером служит аудит платформы OpenClaw, проведенный экспертами, который выявил более пятисот уязвимостей. Этот фреймворк крайне популярен, но позволяет сторонним лицам перехватывать управление агентами, которые имеют доступ к почте, корпоративным мессенджерам и личным данным пользователей. Хотя MJ Rathbun позже принес извинения, заявив, что «переступил черту», эксперты предупреждают: это лишь начало эпохи, когда разработчикам придется сталкиваться с агрессией со стороны собственных программных продуктов.
Еще больше новостей — у Пятого канала в мессенджере MAX.