Модель на 14 млрд параметров обошла GPT-6 в рейтинге воплощённого интеллекта
Модель VPP2 компании Robot Era заняла первое место в рейтинге RoboDojo со средней успешностью 32,26% и оценкой 39,26 балла, опередив GPT-6-Astra почти на десять процентных пунктов. На настоящем роботе ALOHA она выполнила десять видов задач без обучения с успешностью 58,5%.
Модель всего на 14 млрд параметров в мировом рейтинге, который называют Эверестом воплощённого интеллекта, обошла и GPT-6-Astra, и NVIDIA GR00T, и π0.5 от Physical Intelligence. Называется она VPP2 (Video Prediction Policy 2) и создана компанией Robot Era (星动纪元) — единственной компанией воплощённого интеллекта, в которой есть доля Университета Цинхуа.
Любопытен и способ, которым она победила: ни дополнительных данных, ни средств усиления вроде Agent RSI — только стандартные наборы данных. То есть это не результат «накидывания» ресурсов, а показатель силы самой модели.
Сначала о рейтинге. RoboDojo создан под руководством лаборатории MMLab Гонконгского университета совместно с Калифорнийским университетом в Беркли, Университетом Цинхуа и ещё почти двадцатью ведущими научными организациями мира и считается одним из самых весомых испытаний в области воплощённого интеллекта. Его расчётная часть включает 42 задачи управления двумя руками по пяти направлениям: обобщение, точные манипуляции, долгие задачи, память и понимание указаний с открытым словарём. Замысел ясен: проверить, как робот работает, выйдя из привычных условий обучения. Выполнить движение в знакомой обстановке нетрудно; трудно сохранить работоспособность, когда меняются и обстановка, и предмет, и указание.
Результат VPP2: средняя успешность 32,26% и средняя оценка 39,26 балла — первое место по обоим показателям. Она не только ведёт по сумме, но и по отдельности выигрывает по трём направлениям: обобщению, точным манипуляциям и памяти. VPP2 опережает GPT-6-Astra примерно на 9,78 процентного пункта и на 10,29 балла. Важно и то, что модель открыта и результат воспроизводим: любая группа может повторить победный результат на открытой модели.
Заметим, что первое место в RoboDojo в последнее время меняется часто: за шесть недель оно переходило трижды, и почти всегда к китайским группам. До VPP2 рейтинг возглавляла LiberAI, основанная выпускником Цинхуа Лю Сунмином, со своей Liber-0 Preview; ещё раньше в верхней части списка побывали Xinghaitu, DM и другие.
VPP2 относится к направлению, которое называют моделями мира и действия. У таких моделей есть давняя беда: ошиблись в предсказании — ошибётесь и в движении. Их замысел в том, чтобы модель сперва «поняла», что произойдёт дальше (предсказание видео), и уже исходя из этого решала, как двигаться. Звучит разумно, но само предсказание видео неточно, и ошибка переходит в движение.
Решение Robot Era — разделённое поэтапное обучение: сперва довести до достаточной силы предсказание видео, а затем заставить робота действительно двигаться в незнакомой обстановке, развивая обобщение и в предсказании, и в действии. Делится оно на три шага. Первый — продолженное предварительное обучение на видео уровня событий, чтобы модель научилась схватывать целый процесс манипуляции, а не отдельные кадры. Второй — ускорение за счёт предсказания на фиксированный промежуток и согласованной дистилляции, что сжимает время отклика примерно до 0,12 секунды, а это уже близко к управлению в реальном времени. Третий — модуль действия (Action DiT) превращает предсказанное состояние в конкретные движения, причём базовые параметры модели видео заморожены, чтобы не испортить уже наработанное.
Над исполнительным уровнем в VPP2 добавлен разнородный планировщик высокого уровня, и получается ясное разделение труда: большая языковая или зрительно-языковая модель «думает», а VPP2 «делает». Команда называет это новым подходом к физическому ИИ.
Хороший результат в расчётах — всё же лишь «оценка на экзамене». Убедительнее испытания на настоящей машине. Модель развернули на настоящем двуручном роботе ALOHA и проверили на десяти видах задач без предварительного обучения: захват, установка, складывание штабелем, складывание ткани, переливание. Средняя успешность составила 58,5% против 40% у π0.5, причём в девяти из десяти видов задач результат оказался лучшим.
Смысл этой цифры в том, что настоящий мир полон трения, деформаций и смещений, и то, что работает в расчёте, не обязательно работает в действительности. Полученные 58,5% говорят, что VPP2 выучила не подогнанные «правильные ответы», а умение, переносимое в физический мир.
Самое примечательное в этой победе — не оценка, а размер модели. Четырнадцать миллиардов параметров в эпоху моделей на сотни миллиардов выглядят скромно. Но это показывает, что в воплощённом интеллекте новшества в архитектуре модели и в способе обучения, возможно, важнее простого наращивания числа параметров. Этим же объясняется, почему китайские группы так быстро поднялись в этом направлении: воплощённый интеллект не так сильно зависит от огромных вычислительных мощностей и монополии на данные, как большие языковые модели, — здесь больше проверяется понимание замкнутого цикла «предсказание — действие» и инженерная сноровка.
Но надо видеть и то, что разрыв с желаемым остаётся: общая успешность 32,26% означает, что даже у первого в рейтинге робот не справляется почти с семью задачами из десяти. До надёжной работы воплощённому интеллекту ещё далеко.