USB, кабели, питание и передача данных

AI и дата-центры

NVIDIA открыла веса четырёх мировых моделей Cosmos 3 Nano для симуляции вождения и роботов

Публикация:

Редакция USB.RU

NVIDIA выложила четыре открытых чекпоинта Cosmos 3 Nano: синхронное видео с камер и лидар для беспилотников, потоковая симуляция и обучение роботов на сгенерированных сценах.

Симуляция мира Cosmos 3 Nano
Симуляция мира Cosmos 3 Nano: лидар и камеры в одном кадре. Фото: NVIDIA.

5 ноября NVIDIA опубликовала четыре открытых чекпоинта семейства Cosmos 3 для интерактивной симуляции мира. Все четыре, это дообученные варианты Cosmos 3 Nano, каждый с 16 млрд обучаемых параметров, а лицензия OpenMDW 1.1 разрешает коммерческое и некоммерческое использование. Веса лежат на Hugging Face, а рецепты дообучения опубликованы вместе с ними.

Чекпоинты закрывают две задачи. Transfer-Auto строит офлайн синтетические данные для вождения: синхронное видео максимум с 11 камер, включая фишай, и совместную генерацию RGB и лидара. Sim-Auto, потоковый вариант той же модели с каузальной дистилляцией, выдаёт короткие фрагменты видео и лидара за несколько шагов денойзинга. Sim-Transfer превращает управление физического симулятора и текстовый запрос в фотореалистичное видео, а Sim-Bimanual предсказывает видео по действиям двурукого робота на платформах YAM и AgiBot.

Для запуска нужны Linux, видеокарта NVIDIA, Docker и NVIDIA Container Toolkit. NVIDIA тестировала связку vLLM-Omni на одном GB200, но это не минимальные требования к железу. Качество моделей пока никто независимо не измерял: все оценки в анонсе, это заявления самой NVIDIA. При этом опубликован полный рецепт обучения из четырёх стадий: двунаправленная адаптация, teacher forcing, дистилляция согласованности и self-forcing. Из нашей ленты по теме: процессор NVIDIA Vera для ИИ-агентов и лабораторный тест OpenAI BioBasicsBench.

Все новости →

Ещё на USB.RU

Статьи →

Объяснения и инструкции

Справочники →

Термины и стандарты

Инструменты →

Проверки и практические материалы

Подготавливаем выбранный материал…

Продолжить чтение