Nvidia представила контроллер, предназначенный для обучения роботов человеческим движениям.
Компания Nvidia представила инновационный контроллер SONIC, основанный на искусственном интеллекте. Этот универсальный инструмент способен обучаться на больших объемах данных о движениях людей. Система способна преобразовывать команды из виртуальной реальности, видео или текстовых подсказок в естественные и согласованные движения робота, что позволяет инженерам избежать создания отдельных контроллеров для каждой конкретной задачи.
«Гуманоидные роботы должны двигаться с той же координацией и адаптивностью, что и люди, но современные системы обучаются с использованием отдельных контроллеров для разных навыков, что затрудняет их масштабирование. Мы хотели выяснить, может ли единый обученный контроллер послужить основой для множества вариантов движений, задействующих всё тело», — отметил ведущий научный сотрудник Nvidia Юке Чжу.
Модель была обучена на более чем 100 миллионах кадров с записью движений человека, что позволило ей освоить разнообразные двигательные паттерны, а не только отдельные задачи. Контроллер успешно прошел тестирование в физическом симуляторе, где проверялись сценарии передвижения и манипулирования объектами, включая действия, которые не были представлены в обучающей выборке. Важно отметить, что один и тот же контроллер может работать с различными типами входных данных, такими как телеуправление в VR, движения на основе видео или команды мультимодальных моделей, причем переобучение при этом не требуется. Испытания на гуманоидном роботе подтвердили способность модели генерировать естественные и устойчивые движения всего тела, основанные на единой архитектуре.
