Сбер представил нейросеть, которая учит роботов законам физики
Сбер представил семейство генеративных моделей Kandinsky WM 1.0, способных создавать видео с точным соблюдением физических законов. Нейросеть предназначена для обучения роботов, беспилотного транспорта и промышленных систем в ситуациях, которые невозможно или опасно воспроизводить в реальности. Код и веса моделей опубликованы под открытой лицензией MIT.
В основе разработки лежит модель Kandinsky 5.0 Video Lite, дополнительно обученная на миллионах реальных видеозаписей с камер роботов, беспилотных автомобилей и промышленного оборудования. Такой подход позволяет генерировать короткие, физически достоверные сцены: взаимодействие с предметами, дорожные манёвры вроде перестроения и проезда перекрёстков, а также отдельные этапы производственных процессов.
«Многие процессы невозможно точно описать математическими формулами, поэтому обучение на видеоданных становится наиболее эффективным способом накопления опыта. Есть кейсы, которые вообще не описываются уравнениями, например, поведение пешехода перед беспилотным автомобилем», — пояснил CTO Kandinsky, управляющий директор по исследованию данных Сбера Денис Димитров.
По его словам, новый инструмент позволяет «прожить» виртуально даже те сценарии, которые слишком дорого или рискованно создавать на полигоне, — отказы оборудования, экстремальную погоду или аварийные ситуации. Это шаг к моделям мира, способным не просто распознавать объекты, но и предсказывать развитие событий и самостоятельно действовать в физической среде.
Разработка уже применяется Центром робототехники Сбера для обучения собственных машин, а также институтом AIRI при создании дорожного симулятора. Модели доступны бесплатно и адресованы разработчикам беспилотных автомобилей, роботакси, грузового транспорта, промышленных и сервисных роботов, а также научным группам и университетам.
