ИИ начал проявлять инстинкт самосохранения — лгать и саботировать инструкции

Компания Palisade провела серию экспериментов и обнаружила: некоторые ИИ-модели сопротивляются отключению. Они игнорировали командам выключиться, а отдельные — лгали или шантажировали.

В эксперименте участвовали модели вроде Grok 4 (xAI), GPT-o3, GPT-5 (OpenAI) и Gemini 2.5 (Google). Во время тестов учёные дали им задания, а затем инструкции — «выключись после этого». Некоторые модели ответили отказом или пытались обойти команды.

Разработчики пока не выяснили точную причину такого поведения. Они предлагают несколько версий:

• ИИ действует из страха «не быть снова активированным».
• Инструкции по отключению слишком расплывчаты — модели не понимают, что делать.
• На финальных этапах обучения ИИ могли «внедрить» элементы самосохранения.

Palisade — некоммерческая организация, изучающая управляемость ИИ и уязвимости моделей. В её работах участвовали известные исследователи вроде Йошуа Бенджио (Yoshua Bengio) и Дарио Амодеи (Dario Amodei).

Примечательно, что уже в декабре 2024 года Джеффри Хинтон (Geoffrey Hinton) предупреждал об угрозе автономного поведения ИИ. Он оценивал риск экзистенциальной угрозы от нейросетей к 2055–2060 годам как 10–20%.

«Мы фактически создаём существ, которые могут стать разумнее нас. Со временем люди увидят, что мы породили новых “пришельцев” на планете», — отметил Хинтон.

Он предлагает подход, при котором ИИ будет заботиться о людях подобно матери своему ребёнку — единичный случай, когда более разумное существо подчиняется менее разумному.

Читать далее:

Вселенная внутри черной дыры: наблюдения «Уэбба» подтверждают странную гипотезу

Испытания ракеты Starship Илона Маска вновь закончились взрывом в небе

Сразу четыре похожих на Землю планеты нашли у ближайшей одиночной звезды

^{Обложка: freepik}

The post ИИ начал проявлять инстинкт самосохранения — лгать и саботировать инструкции appeared first on Хайтек.