Эта собака-робот только что научилась ходить

Собака-робот машет лапами в воздухе, как разъяренный жук. После 10 минут борьбы ему удается опрокинуться вперед. Через полчаса робот делает первые неуклюжие шаги, как новорожденный теленок. Но уже через час робот уверенно расхаживает по лаборатории.

Что делает этого четвероногого робота особенным, так это то, что он научился делать все это самостоятельно, без компьютерного моделирования.

Данияр Хафнер и его коллеги из Калифорнийского университета в Беркли использовали метод искусственного интеллекта, называемый обучением с подкреплением, который обучает алгоритмы, вознаграждая их за желаемые действия, чтобы научить робота ходить с нуля в реальном мире. Команда использовала тот же алгоритм для успешного обучения трех других роботов, в том числе одного, способного подбирать мячи и перемещать их с одной доски на другую.

Традиционно роботы обучаются в компьютерном симуляторе, прежде чем пытаться что-либо делать в реальном мире. Например, пара ног робота по имени Кэсси научилась ходить с помощью обучения с подкреплением, но только после того, как сделала это в симуляции.

[встроенный контент]

"Проблема в том, что ваш симулятор никогда не будет таким же точным, как реальный мир. Всегда будут аспекты мира, которые вы упускаете", – говорит Хафнер, который работал над проектом вместе с коллегами Алехандро Эсконтрела и Филиппом Ву. сейчас проходит стажировку в DeepMind. По его словам, адаптация уроков на симуляторе к реальному миру также требует дополнительных инженерных разработок.

Алгоритм команды под названием Dreamer использует прошлый опыт для построения модели окружающего мира. Dreamer также позволяет роботу выполнять расчеты методом проб и ошибок в компьютерной программе, а не в реальном мире, предсказывая потенциальные будущие результаты своих потенциальных действий. Это позволяет ему учиться быстрее, чем он мог бы просто. Как только робот научился ходить, он продолжил учиться приспосабливаться к неожиданным ситуациям, например сопротивляться удару палкой.

"Обучение роботов методом проб и ошибок – сложная задача, которая еще более усложняется из-за того, что для такого обучения требуется длительное время", – говорит Леррел Пинто, доцент кафедры компьютерных наук Университета Нью-Йорка, специализирующийся на робототехнике и робототехнике. машинное обучение. . По его словам, Dreamer показывает, что глубокое обучение с подкреплением и модели мира могут научить роботов новым навыкам за очень короткое время.

Джонатан Херст, профессор робототехники в Университете штата Орегон, говорит, что результаты, которые еще не прошли рецензирование, ясно указывают на то, что "обучение с подкреплением станет фундаментальным инструментом в будущем управлении роботами".

Отказ от тренажера при обучении роботов имеет много преимуществ. По словам Хафнера, алгоритм может быть полезен для обучения роботов тому, как осваивать реальные навыки и адаптироваться к таким ситуациям, как сбои оборудования — например, робот может научиться ходить с неисправным двигателем в одной ноге.

У этого подхода также может быть огромный потенциал для более сложных вещей, таких как автономное вождение, для которых требуются сложные и дорогие симуляторы, – говорит Стефано Альбрехт, доцент кафедры искусственного интеллекта в Эдинбургском университете. Албрехт говорит, что новое поколение алгоритмов обучения с подкреплением может «очень быстро вернуть в реальный мир работу окружающей среды».

Но есть большие нерешенные проблемы, – говорит Пинто.

При обучении с подкреплением инженеры должны указать в своем коде, какие действия являются хорошими и поэтому поощряются, а какие нежелательны. В этом случае развернуться и идти — хорошо, не идти — плохо. «Робототехнику придется делать это для каждой задачи [или] проблемы, которую он хочет решить с помощью робота», — объясняет Пинто. Это сказать...