Программы
AMD представила Micro-World 2 для генерации интерактивных миров в реальном времени
Публикация:
AMD описала Micro-World 2 как открытую систему, которая генерирует управляемое видео мира по действиям пользователя. Компания заявляет, что модель может работать в реальном времени на одной Instinct MI350X.
В блоге AMD ROCm Micro-World 2 представлена как потоковая модель мира: она продолжает генерировать видеосцену, учитывая управляющие действия, вместо выдачи только заранее подготовленного ролика. AMD сообщает, что система достигает скорости реального времени на одном ускорителе Instinct MI350X; это результат компании, а не независимого тестирования.
Для обучения AMD собрала 440 интерактивных навигационных клипов. В каждом — 200 или 400 кадров с синхронизированными действиями клавиатуры и мыши, текстовыми описаниями и аннотациями действий.
Модель построена на Wan2.2 TI2V-5B и использует экосистему ROCm. AMD пишет, что открыла датасет, обучающий конвейер и код инференса.
В приведённых AMD измерениях Micro-World 2 выдаёт 32,12 декодируемого кадра в секунду с исходным VAE Wan2.2 и 42,49 кадра — с облегчённым вариантом. Эти цифры относятся к указанной производителем конфигурации. Для разработчиков открытая разметка, обучающий процесс и код позволяют изучить подход и воспроизвести эксперименты, но для оценки скорости на другой видеокарте потребуется отдельный тест.