«Слишком умные». Почему ученые стали бояться нейросетей?
Ученые в панике: нейросети стали «слишком умными» и их трудно контролировать. А значит, в руках злоумышленников они могут стать оружием.
Ученые в панике: нейросети стали «слишком умными» и их трудно контролировать. А ведь в последние десять лет эти технологии окружают нас повсюду: говорящий навигатор или голосовой помощник в смартфоне, умная колонка, система распознавания автомобильных номеров и лиц.
Самые последние модели рисуют зрелищные иллюстрации, создают музыку и сценарии к сериалам. С ними даже можно вести умный разговор! Уже сейчас в Москве искусственный интеллект расшифровывает рентгеновские снимки в поликлиниках и помогает проверять школьные сочинения.
Так почему же специалисты вдруг забили тревогу? Разбирался aif.ru.
Создатель осудил свое творение
«Крестный отец» искусственного интеллекта Джеффри Хинтон уволился из Google и заявил об опасности таких машин. По его мнению, злоумышленники смогут заполнить интернет множеством фейков — фото, видео и текстов. Кроме того, заявляет ученый, из-за умений машин начнется массовая безработица. А еще, считает Хинтон, недалек тот день, когда появятся роботы-убийцы. Ведь отсутствие контроля за «слишком умной» программой может привести к печальным последствиям. Уже сейчас некоторые компании позволяют программам запускать код самостоятельно. Но Хилтон не единственный, кто забил тревогу: в марте более тысячи ученых подписались под письмом, призывающим остановить разработку искусственного интеллекта. Они считают, что ИИ, сопоставимый с человеческим, представляет серьезную угрозу обществу и всей цивилизации.
Как так получилось? На вопросы Aif.ru ответил руководитель команды машинного обучения в Yandex.Market Артем Бондарь.
Слабый контроль слишком умной машины
«Если коротко: раньше для разработки нейросетей применялось обучение с учителем: контролируемое, но его мало куда можно применить. Сейчас это обучение без учителя — получается какое-то неприлично умное, но слабо контролируемое», — объясняет IT-специалист.
По словам Бондаря, сейчас разработчики не только не могут полностью контролировать поведение нейросетей в негативных сценариях, но даже заранее оценить масштаб и глубину проблем.
Почему человек потерял контроль?
В 2010-х искусственному интеллекту показывали исходные данные и то, что из них должно получиться, объясняет эксперт. Сеть заучивала закономерность. Однако охватить все возможные комбинации и запросы очень трудно. Поэтому параллельно начали развивать другой подход: обучение без учителя.
«Это похоже на обучение вождению, — объясняет Бондарь. — Людей не учат правилам проезда по каждому перекрестку, а учат разметке и знакам. То есть это уже структурированное знание "как проехать любой перекресток"», — объясняет IT-специалист.
«Вот и нейросети сначала дают наблюдать за тем, как люди движутся по всем перекресткам, а затем она "запоминает" знаки дорожного движения и разметку. И предсказывает, как люди будут проходить перекрестки. Таким образом, мы дали ей возможность самой разобраться в этом, поставив достаточно сложную задачу», — поясняет Артем Бондарь.
Однако этот подход ставит перед разработчиками совсем новые вызовы: если раньше они строго и вручную контролировали поведение нейросети, то в обучении без учителя контроль над ситуацией стал гораздо меньше: ведь непонятно, чему научится сеть, прочитав терабайты текстов из интернета.
Психологи для машины
«Мы все более и более косвенно влияем на то, какие внутренние структуры выстраиваются в сознании этих цифровых организмов, что, естественно, рождает страх: мы не просто не можем полностью контролировать поведение нейросетей в негативных сценариях, но мы даже не можем доподлинно оценить масштаб и глубину проблем, не попробовав применить нейросеть в деле», — поясняет Бондарь.
По словам эксперта, для IT-специалистов это совершенно новый вызов. «Поэтому сейчас, помимо обучения больших языковых моделей, очень много внимания уделяется проверки этих моделей на безопасность — у нас буквально на глазах рождается совершенно новая инженерная дисциплина. Этакие психологи для нейросетей», — пояснил эксперт.
А может, это пиар?
Впрочем, паниковать пока что рано, считает Бондарь. По его словам, это больше похоже на «гонку вооружений» между Google и OpenAI. Стремясь затормозить конкурента, в ход идут вот такие показательные выступления.
«Мне кажется, уход Хилтона — это просто часть политической игры. Сначала они слили два больших отдела, занимавшихся нейросетями, в один. Google Brain проиграл гонку OpenAI в генеративных языковых моделях, поэтому это как будто хорошая мина при плохой игре: заявлять, что пришли "страшные нейросети"», — объясняет специалист.
По его словам, специалисты хорошо знают, что нейросеть — это черный ящик, поэтому «никто в здравом уме не даст "генеративкам" делать ничего опаснее, чем отвечать на поисковые запросы», заключает Бондарь.