Теперь роботы могут научиться выполнять любую задачу просматривая видео или наблюдая за людьми

Роботы могут научиться выполнять любую задачу, просматривая видео или наблюдая за людьми. Это революционное достижение в робототехнике, которое может значительно улучшить функциональность роботов в домашних условиях. Новые возможности позволяют им оказывать помощь в таких задачах, как приготовление пищи и уборка.

Как команда научила роботов учиться, просматривая видео

Исследователи успешно обучили двух роботов выполнять 12 различных задач. К ним относятся открытие ящика, дверцы духовки или крышки, снятие кастрюли с плиты и поднятие таких предметов, как телефон или банка с супом.

Дипак Патхак, доцент Института робототехники CMU , объяснил: «Робот может узнать, где и как люди взаимодействуют с различными объектами, просматривая видео». Он также добавил, что знания, полученные с помощью этих видеороликов, сыграли важную роль в обучении модели, позволяющей роботам выполнять аналогичные задачи в разных средах.

Учебные роботы обычно включают людей, вручную демонстрирующих задачи или выполняющих обширное обучение в смоделированной среде. Это не только трудоемкие методы, но и подверженные неудачам.

Метод WHIRL против метода VRB

Ранее Патхак и его ученики предложили новый метод, с помощью которого роботы могли бы учиться, наблюдая, как люди выполняют задачи. Этот метод, названный «Обучение человека, имитирующего робота в дикой природе» (WHIRL), требовал, чтобы человек выполнял задачу в той же среде, что и робот.

Последнее исследование Патака, получившее название Vision-Robotics Bridge (VRB), расширяет и уточняет концепцию WHIRL. Эта новая модель обходит потребность в человеческих демонстрациях. Это также устраняет необходимость в том, чтобы робот работал в идентичной среде.

Однако, как и в случае с WHIRL, роботу все еще нужна практика, чтобы совершенствовать задачу. Исследователи обнаружили, что робот может освоить новую задачу всего за 25 минут.

Шихар Бахл, доктор философии. студент факультета робототехники, сказал: «Мы могли перемещать роботов по кампусу и выполнять всевозможные задачи». Он добавил: «Роботы могут использовать эту модель, чтобы с любопытством исследовать окружающий мир. Вместо того, чтобы просто размахивать руками, робот может быть более прямым в том, как он взаимодействует».

Секрет обучения роботов обучению через наблюдение

Ключом к обучению роботов было применение концепции аффордансов. Это идея, коренящаяся в психологии, которая относится к тому, что окружающая среда предлагает человеку.

В случае с VRB аффордансы использовались для определения того, где и как робот может взаимодействовать с объектом на основе наблюдаемого поведения человека.

Например, если робот наблюдает за тем, как человек открывает ящик, он определяет точки соприкосновения — ручку — и направление движения ящика — прямо из начального положения. После просмотра нескольких видеороликов, в которых люди открывают ящики, робот может расшифровать, как открыть любой ящик.

Для обучения роботов команда использовала большие наборы видеоданных, такие как Ego4D и Epic Kitchens. Набор данных Ego4D включает почти 4000 часов видео от первого лица о повседневной деятельности со всего мира. Некоторые из них были собраны исследователями CMU.

Точно так же Epic Kitchens предлагает видеоролики, демонстрирующие приготовление пищи, уборку и другие кухонные задачи. Эти наборы данных обычно используются для обучения моделей компьютерного зрения.

Роботы, обученные с помощью метода VRB, могут оказать огромную помощь в бытовых задачах. Например, они могут приготовить еду или убрать дом. Это может значительно облегчить жизнь людей, особенно тех, у кого есть ограничения в движении или времени.

Исследования в области робототехники продолжаются, и мы можем ожидать еще большего развития в этой области в ближайшее время.