Роборуки стали учить друг друга

Виртуальный робот-манипулятор научился решать широкий спектр различных задач – складывать блоки, накрывать стол, расставлять шахматные фигуры – без необходимости переучиваться для каждой задачи. Он делал благодаря второй руке, которая давала ему все более сложные задачи.

Разработанные исследователями из OpenAI идентичные роботы-манипуляторы Алиса и Боб обучаются, играя друг против друга в симуляции без участия человека. Роботы используют обучение с подкреплением – технику, в которой ИИ методом проб и ошибок обучается тому, какие действия следует предпринимать в различных ситуациях для достижения определенных целей. Игра включает в себя перемещение объектов по виртуальной столешнице. Располагая объекты определенным образом, Алиса пытается решать головоломки, которые Бобу сложно решить. Боб пытается решить головоломки Алисы. По мере того, как они учатся, Алиса ставит более сложные головоломки, и Боб решает их всё лучше.

После обучения решению заданных Алисой головоломок с блоками Боб может обобщить ряд задач, включая сервировку стола и расстановку шахматных фигур.

Модели глубокого обучения обычно необходимо переучивать между задачами. Например, AlphaZero (который также учится, играя против себя) использует один алгоритм, чтобы научиться играть в шахматы, сёги и го, но только по одной игре за раз. Играющий в шахматы AlphaZero не может играть в го, а играющий в го не может играть в сёги. Создание машин, которые могут выполнять несколько задач одновременно – большая нерешенная проблема на пути к более общему ИИ.

Одна проблема в том, что для обучения ИИ многозадачности требуется огромное количество примеров. OpenAI избегает этого, обучая Алису генерировать примеры для Боба, т. е. используя один ИИ для обучения другого. Алиса научилась ставить цели, например, построить башню из блоков, а затем поднять ее и уравновесить. Боб научился использовать свойства среды, такие как трение, для захвата и поворота объектов.

Пока этот подход был протестирован только в моделировании, но исследователи из OpenAI и других компаний становятся все лучше в переносе моделей, обученных в виртуальных средах, в физические. Моделирование позволяет ИИ обрабатывать большие наборы данных за короткий промежуток времени.

Конечная цель исследователей – научить робота решать любую задачу, которую может поставить человек. Подобно GPT-3, языковой модели, которая может использовать язык самыми разными способами, эти манипуляторы-роботы являются частью общих амбиций OpenAI по созданию многозадачного ИИ. Ключевой частью этого может быть использование одного ИИ для обучения другого.