AI и дата-центры
NVIDIA открыла веса четырёх мировых моделей Cosmos 3 Nano для симуляции вождения и роботов
Публикация:
NVIDIA выложила четыре открытых чекпоинта Cosmos 3 Nano: синхронное видео с камер и лидар для беспилотников, потоковая симуляция и обучение роботов на сгенерированных сценах.

5 ноября NVIDIA опубликовала четыре открытых чекпоинта семейства Cosmos 3 для интерактивной симуляции мира. Все четыре, это дообученные варианты Cosmos 3 Nano, каждый с 16 млрд обучаемых параметров, а лицензия OpenMDW 1.1 разрешает коммерческое и некоммерческое использование. Веса лежат на Hugging Face, а рецепты дообучения опубликованы вместе с ними.
Чекпоинты закрывают две задачи. Transfer-Auto строит офлайн синтетические данные для вождения: синхронное видео максимум с 11 камер, включая фишай, и совместную генерацию RGB и лидара. Sim-Auto, потоковый вариант той же модели с каузальной дистилляцией, выдаёт короткие фрагменты видео и лидара за несколько шагов денойзинга. Sim-Transfer превращает управление физического симулятора и текстовый запрос в фотореалистичное видео, а Sim-Bimanual предсказывает видео по действиям двурукого робота на платформах YAM и AgiBot.
Для запуска нужны Linux, видеокарта NVIDIA, Docker и NVIDIA Container Toolkit. NVIDIA тестировала связку vLLM-Omni на одном GB200, но это не минимальные требования к железу. Качество моделей пока никто независимо не измерял: все оценки в анонсе, это заявления самой NVIDIA. При этом опубликован полный рецепт обучения из четырёх стадий: двунаправленная адаптация, teacher forcing, дистилляция согласованности и self-forcing. Из нашей ленты по теме: процессор NVIDIA Vera для ИИ-агентов и лабораторный тест OpenAI BioBasicsBench.