USB, кабели, питание и передача данных

AI и дата-центры

PAN 2: открытая модель мира MBZUAI проигрывает действия на видео

Публикация:

Редакция USB.RU

Институт фундаментальных моделей при MBZUAI выпустил PAN 2: открытая модель мира симулирует последствия действий в видео до 20 секунд, а веса и код обучения лежат под лицензией Apache 2.0.

Логотип модели
Логотип модели. Изображение: IFM.

10 ноября Институт фундаментальных моделей при MBZUAI выпустил PAN 2, открытую модель мира для физического интеллекта. Модель получает стартовую сцену и действие, описанное текстом, и симулирует видео того, что произойдёт дальше: до 20 секунд, 704x1248 при 24 кадрах в секунду. В основе архитектура GLP: языковая модель рассуждает о событиях и действиях, а диффузионная модель на 29 млрд параметров, обученная с нуля на сотнях миллионов видео, превращает описание в кадры.

По замерам института PAN 2 заняла третье место в общем зачёте Physics-IQ Verified и первое среди моделей с открытыми весами. По шести измерениям физической симуляции модель оказалась чуть позади MiniMax-H3 и впереди четырёх других моделей, а по многошаговым планам довела до конца больше планов, чем любая другая протестированная модель. Веса, полный код обучения и инференса, технический блог и документация выложены под лицензией Apache 2.0.

Ограничения у модели честные: примерно в двух из трёх смоделированных планов есть хотя бы один невыполненный шаг, а долгая согласованность мира между клипами остаётся открытой задачей. Для безопасности институт рекомендует отдельный pan2-guardrail: в тестах он снизил долю вредных запросов, дающих небезопасное видео, с 33.9% до 1.5%, но при этом заблокировал 11.5% безобидных запросов. Модель доступна через сайт IFM и поддерживает Diffusers и vLLM. Похожая связка планирования и видео уже есть в робот-модели Runway, а картинки по тексту генерирует генератор картинок MiniMax.

Все новости →

Ещё на USB.RU

Статьи →

Объяснения и инструкции

Справочники →

Термины и стандарты

Инструменты →

Проверки и практические материалы

Подготавливаем выбранный материал…

Продолжить чтение