Сделан шаг к автомобилям будущего: искусственный интеллект научили обыгрывать людей в гоночной видеоигре
Ученые увидели в этом перспективу для создания реальных беспилотных авто будущего
Исследователи компании Sony создали программу искусственного интеллекта Sophy для ультрареалистичной игры Gran Turismo Sport. Чтобы программа могла соперничать с людьми и побеждать, ее обучили по специальной технологии. Самым сложным оказалось научить автоматизированного водителя не гонять быстрее всех, а делить пространство на дороге с другими автомобилистами.
Эта проблема существует и для разработчиков беспилотных авто в реальности. Такую машину можно научить ездить даже лучше и быстрее управляемой человеком — на основе законов физики. Однако, задача усложняется, когда на трассе появляются другие участники движения. Здесь на помощь может прийти обучение искусственного интеллекта (ИИ), которое применили Sony. Их Sophy определяет конкурентов-людей на дороге, учитывает их маневры.
«В большинстве игр среда определяет правила и защищает пользователей друг от друга, но в гонках машины стоят очень близко друг к другу, и агентам (ИИ) необходимо усвоить очень тонкое чувство этикета. Чтобы победить, они должны уважать своих противников, но они также должны сохранять свои собственные линии движения и следить за тем, чтобы они просто не уступали», — говорит Питер Вурман, директор Sony AI America и соавтор нового исследования.
Команда Вурмана использовали технику глубокого обучения с подкреплением. Они вознаграждали ИИ за определенное поведение: например, за то, что он оставался на трассе, сохранял контроль над автомобилем и уважал гоночный этикет. Исследователи обучили несколько версий Sophy, каждая из которых специализировалась на вождении одного конкретного типа автомобиля на одной конкретной трассе.
В первом поединке с чемпионами Gran Turismo, победила команда людей. Однако, уже через несколько месяцев ИИ обошел своих противников как индивидуально, так и в командном зачете, пройдя гоночный круг в игре за самое короткое время. ИИ сумел сбалансировать 2 сложные задачи: проложить кратчайший маршрут по трассе и беспрепятственно взаимодействовать на этой трассе с часто непредсказуемыми людьми.
Успех Sophy перевернул представления о том, как должны программироваться автомобили с автоматическим управлением. Беспилотное транспортное средство может принимать решения, основываясь на законах физики или обучении искусственного интеллекта. Ранее считалось, что за планирование движения отвечает физика, однако Sophy показала новый способ.
«Урок для разработчиков автоматизированных автомобилей таков, что некоторые из наших предвзятых представлений о том, что определенные части этой проблемы лучше всего решаются с помощью физики, необходимо пересмотреть. Возможно, ИИ сможет решить их», — говорит Дж. Кристиан Гердес, профессор Стэнфордского университета машиностроения, в своем отзыве на исследование, опубликованное в журнале Nature.
Также, по словам ученых, достижения нового ИИ могут послужить и в других областях, где люди взаимодействуют с автоматизированными системами. Таких как роботизированная хирургия или техника, которая помогает по дому — там, где робот вынужден не только выполнять свои сложные задачи, но и работать вместе с человеком.
Использованы материалы Scientific American
Материалы по теме: