OpenAI представила LifeVal: AI-помощников проверяют на повседневных делах

Хороший ответ ещё не означает, что дело сделано. OpenAI представила LifeVal, бенчмарк для задач, с которыми люди хотели бы обращаться к личному AI-помощнику: от поиска ухода за ребёнком до покупок и взаимодействия с государственными службами. Здесь важен не только текст рекомендации, но и способность продвинуть реальную задачу к результату.

Компания опубликовала описание 2 ноября. По её словам, LifeVal уже использовался в течение последнего года, чтобы отслеживать и улучшать работу моделей в повседневных сценариях. Нынешняя публикация рассказывает о тесте, а не объявляет отдельный новый продукт или новый тариф ChatGPT.

Задачи взяли из жизни, а не из экзамена

Отправной точкой стали American Time Use Survey и Multinational Time Use Study. Эти исследования описывают, на что люди тратят время в США и других странах, с учётом разных групп населения, времени суток и сезонов.

Затем OpenAI дополнила эту основу демографически репрезентативным опросом 3995 человек. Респондентов спрашивали, в каких делах они больше всего хотели бы получить помощь личного ассистента. В результате набор охватил заботу о близких, здоровье, образование, домашнее администрирование, финансы, покупки и доступ к госуслугам.

Не просто подсказать, а помочь закончить

Среди показанных сценариев - сравнить детские сады после переезда и собрать сведения о зачислении, организовать волонтёров перед наводнением, найти подходящий семье дом, подготовить совместный удалённый просмотр матча с бабушкой. Есть и план питания для родителя, который привыкает к диагнозу диабета.

Другие примеры включают запись автомобиля на осмотр перед поездкой, заказ продуктов с учётом бюджета и подготовку таблицы расходов. Такой набор проверяет работу помощника с ограничениями, несколькими шагами и практическим результатом, а не только знание правильного ответа.

Как читать опубликованные результаты

В таблице OpenAI показывает лучшие зафиксированные результаты GPT-6 Astra на отдельных заданиях. Для нескольких сценариев указан результат 100%, в том числе для записи на подходящее детское занятие и заказа продуктов. Это результаты выбранных задач, а не общая точность модели на всех бытовых поручениях.

Опубликованная страница не даёт оснований обещать, что ChatGPT безошибочно выполнит любое похожее дело. В её основном описании не раскрыты размер полного набора, число прогонов и способ сведения результатов в общий показатель. Сопоставлять отдельные удачные сценарии с надёжностью помощника в целом было бы неверно.

OpenAI связывает развитие таких возможностей с улучшением работы моделей в браузере, управлением компьютером и подключениями к сервисам. LifeVal обозначает понятный критерий прогресса: меньше оценивать красоту ответа и больше смотреть на то, что помощник действительно помог сделать.

Тот же переход от разговора к действиям виден в корпоративных интеграциях: ServiceNow готовит работу с заявками внутри ChatGPT, а Oracle разрабатывает связку своих приложений с ChatGPT. Но описание теста само по себе не меняет доступ пользователя к этим функциям и не отменяет проверку важных действий.