DribbleBot может маневрировать футбольным мячом на таких ландшафтах, как песок, гравий, грязь и снег, используя обучение с подкреплением, чтобы адаптироваться к изменяющейся динамике мяча.
Исследователи создали DribbleBot, систему для дриблинга в дикой природе на различных природных ландшафтах, включая песок, гравий, грязь и снег, с использованием встроенных датчиков и вычислений. В дополнение к этим футбольным подвигам такие роботы могут когда-нибудь помочь людям в поисково-спасательных миссиях.
Если вы когда-нибудь играли в футбол с роботом, это знакомое вам чувство. Солнце блестит на твоем лице, а воздух пропитывается запахом травы. Вы посмотрите вокруг. Четвероногий робот спешит к вам, решительно ведя мяч.
Хотя бот не демонстрирует уровень способностей Лионеля Месси, тем не менее, это впечатляющая система дриблинга в дикой природе. Исследователи из Лаборатории невероятного искусственного интеллекта Массачусетского технологического института, входящей в Лабораторию компьютерных наук и искусственного интеллекта (CSAIL), разработали роботизированную систему на ногах, которая может вести футбольный мяч в тех же условиях, что и люди. Бот использовал сочетание встроенных датчиков и вычислений для перемещения по различным естественным ландшафтам, таким как песок, гравий, грязь и снег, и адаптировался к их различному влиянию на движение мяча. Как и любой увлеченный спортсмен, «DribbleBot» мог подняться и вернуть мяч после падения.
Программирование роботов для игры в футбол уже некоторое время является активной областью исследований. Тем не менее, команда хотела научиться автоматически приводить в действие ноги во время дриблинга, чтобы можно было обнаружить сложные для сценария навыки реагирования на различные ландшафты, такие как снег, гравий, песок, трава и тротуар. Вход, симуляция.
Робот, мяч и местность находятся внутри симуляции — цифрового двойника мира природы. Вы можете загрузить в бота и другие активы и установить параметры физики, а затем оттуда он обрабатывает прямое моделирование динамики. Четыре тысячи версий робота моделируются параллельно в режиме реального времени, что позволяет собирать данные в 4000 раз быстрее, чем при использовании всего одного робота. Это много данных.
Робот начинает, не зная, как вести мяч — он просто получает вознаграждение, когда делает это, или отрицательное подкрепление, когда ошибается. Таким образом, он, по сути, пытается выяснить, какую последовательность сил он должен прикладывать к своим ногам. «Одним из аспектов этого подхода к обучению с подкреплением является то, что мы должны разработать хорошее вознаграждение, чтобы облегчить роботу обучение успешному поведению дриблинга», — говорит аспирант Массачусетского технологического института Гейб Марголис, который руководил работой вместе с Яндонг Джи, научным сотрудником Improbable. Лаборатория искусственного интеллекта. «Как только мы разработали эту награду, настало время для практики робота: в реальном времени это пара дней, а в симуляторе — сотни дней. Со временем он учится все лучше и лучше манипулировать футбольным мячом. чтобы соответствовать желаемой скорости».
Бот также мог перемещаться по незнакомой местности и восстанавливаться после падений благодаря контроллеру восстановления, который команда встроила в свою систему. Этот контроллер позволяет роботу подняться после падения и снова переключиться на свой контроллер дриблинга, чтобы продолжить преследование мяча, помогая ему справляться с нарушениями распределения и ландшафтами.
«Если вы посмотрите вокруг сегодня, большинство роботов колесные. Но представьте, что есть сценарий стихийного бедствия, наводнения или землетрясения, и мы хотим, чтобы роботы помогали людям в процессе поиска и спасения. Нам нужны машины, чтобы перемещаться по местности. Они не плоские, а колесные роботы не могут перемещаться по этим ландшафтам», — говорит Пулкит Агравал, профессор Массачусетского технологического института, главный исследователь CSAIL и директор Improbable AI Lab. современных роботизированных систем», — добавляет он. «Наша цель при разработке алгоритмов для роботов на ногах — обеспечить автономию в сложных и сложных ландшафтах, которые в настоящее время недоступны для роботизированных систем».
Увлечение роботами-четвероногими и футболом имеет глубокие корни — канадский профессор Алан Макворт впервые изложил эту идею в статье под названием «Видение роботов», представленной на конференции VI-92 в 1992 году. «, что привело к дискуссиям об использовании футбола для продвижения науки и технологий. Через год проект был запущен под названием Robot J-League, и сразу же последовал глобальный ажиотаж. Вскоре после этого родился «RoboCup».
По сравнению с ходьбой в одиночку, ведение футбольного мяча налагает больше ограничений на движение DribbleBot и на то, по какой местности он может пересечься. Робот должен адаптировать свое движение, чтобы прикладывать силы к мячу для ведения мяча. Взаимодействие между мячом и ландшафтом может отличаться от взаимодействия между роботом и ландшафтом, таким как густая трава или тротуар. Например, футбольный мяч будет испытывать силу сопротивления на траве, которой нет на тротуаре, а наклон будет прикладывать силу ускорения, изменяя типичную траекторию мяча. Тем не менее, способность бота перемещаться по разным ландшафтам часто меньше зависит от этих различий в динамике — до тех пор, пока он не скользит — поэтому футбольный тест может быть чувствителен к изменениям ландшафта, в отличие от передвижения.
«Предыдущие подходы упрощали проблему дриблинга, делая предположение о моделировании плоской твердой поверхности. Движение также спроектировано так, чтобы быть более статичным; робот не пытается одновременно бегать и манипулировать мячом», — говорит Джи. «Вот где более сложная динамика вступает в проблему управления. Мы решили эту проблему, расширив последние достижения, которые позволили улучшить передвижение на открытом воздухе, в эту сложную задачу, которая сочетает в себе аспекты передвижения и ловких манипуляций».
Что касается аппаратного обеспечения, у робота есть набор датчиков, которые позволяют ему воспринимать окружающую среду, позволяя ему чувствовать, где он находится, «понимать» свое положение и «видеть» часть своего окружения. У него есть набор приводов, которые позволяют ему прикладывать усилия и перемещать себя и объекты. Между датчиками и исполнительными механизмами находится компьютер, или «мозг», которому поручено преобразовывать данные датчиков в действия, которые он будет выполнять с помощью двигателей. Когда робот бежит по снегу, он не видит снег, но может чувствовать его с помощью своих моторных датчиков. Но футбол — более сложный подвиг, чем ходьба, поэтому команда использовала камеры на голове и теле робота для новой сенсорной модальности зрения в дополнение к новым двигательным навыкам. А потом — дриблинг.
«Наш робот может выйти в дикую природу, потому что у него на борту есть все датчики, камеры и вычисления. Это потребовало некоторых инноваций, чтобы весь контроллер подходил к этому бортовому вычислению», — говорит Марголис. «Это одна из областей, где обучение помогает, потому что мы можем запустить легкую нейронную сеть и научить ее обрабатывать шумовые данные датчиков, наблюдаемые движущимся роботом. Это резко контрастирует с большинством современных роботов: обычно рука робота устанавливается на фиксированное основание и сидит на верстаке с подключенным прямо к нему гигантским компьютером. Ни компьютера, ни датчиков в манипуляторе нет! Так что все это увесисто, его трудно передвигать».
Нам еще предстоит пройти долгий путь, чтобы сделать этих роботов такими же проворными, как их аналоги в природе, и некоторые местности были сложными для DribbleBot. В настоящее время контроллер не обучен работе в смоделированных средах, включающих наклоны или лестницы. Робот не воспринимает геометрию местности; это только оценка его контактных свойств материала, таких как трение. Например, если есть ступенька, робот застрянет — он не сможет поднять мяч над ступенькой — областью, которую команда хочет исследовать в будущем. Исследователи также рады применить уроки, извлеченные во время разработки DribbleBot, к другим задачам, которые включают комбинированное передвижение и манипулирование объектами, быстрое перемещение различных объектов с места на место с помощью ног или рук.
«DribbleBot — впечатляющая демонстрация осуществимости такой системы в сложном проблемном пространстве, требующем динамического контроля всего тела», — говорит Викаш Кумар, научный сотрудник Facebook AI Research, не участвовавший в работе. «Что впечатляет в DribbleBot, так это то, что все сенсомоторные навыки синтезируются в режиме реального времени в недорогой системе с использованием встроенных вычислительных ресурсов. Несмотря на то, что он демонстрирует замечательную ловкость и координацию, это всего лишь начало новой эры. Игра началась!»
Исследование проводится при поддержке программы DARPA Machine Common Sense Program, лаборатории искусственного интеллекта Watson MIT-IBM, Института искусственного интеллекта и фундаментальных взаимодействий Национального научного фонда, Исследовательской лаборатории ВВС США и Ускорителя искусственного интеллекта ВВС США. Доклад о работе будет представлен на Международной конференции IEEE по робототехнике и автоматизации (ICRA) в 2023 году.