NVIDIA расширила Cosmos Framework поддержкой сторонних моделей

2 ноября NVIDIA описала новые возможности Cosmos Framework, открытой модульной среды для обучения, настройки и запуска моделей физического ИИ. Компания расширяет её за пределы Cosmos 3: в списке совместимых моделей названы Alpamayo, GR00T, Qwen, pi0.5 и другие модели с Hugging Face.

В Framework собраны инструменты для подготовки данных, дообучения и оптимизации моделей, а также для инференса. NVIDIA описывает сценарии supervised fine-tuning и LoRA и пути обучения с подкреплением, включая офлайн- и онлайн-подходы. Это позволяет разработчикам работать с разными моделями в общей среде, не ограничиваясь семейством Cosmos.

Для Cosmos 3 Nano компания опубликовала новые рецепты симуляции и примерные контрольные точки. Они предназначены для синхронной генерации видео с камер и данных LiDAR в сценариях автономного вождения, робототехники и хирургии. NVIDIA также описывает настройку рецептов под собственные датчики, действия и данные; заявленные возможности основаны на материалах самой компании.

Отдельная часть публикации посвящена развёртыванию моделей через микросервисы Cosmos NIM и выбору конфигурации под доступные GPU. Сценарии симуляции могут помочь проверять модели до испытаний в реальной среде, но сгенерированные наблюдения и поведение всё равно требуют проверки: статья NVIDIA не является независимой оценкой точности или безопасности систем.

Это обновление предназначено для разработчиков физического ИИ, а не для пользователей обычных приложений. В USB.RU мы ранее разбирали предыдущее расширение инструментов Cosmos и платформу NVIDIA Isaac для разработки роботов. Новая публикация дополняет эти материалы поддержкой других моделей и готовыми рецептами симуляции. Перед применением разработчикам нужно сверить совместимость моделей, требования к GPU и пригодность синтетических данных для своей задачи. Наличие рецепта не подтверждает, что робот или автономная система безопасны в эксплуатации.