AI модели, агенты и вычисления
Nous Research исправила оценку Step 5 Preview в Hermes Index
Публикация:
Nous Research уточнила результат Step 5 Preview от StepFun в Hermes Index: итоговая оценка составляет 32,83. В первоначальном сообщении было указано 33,89, что совпадало с результатом GPT-6 Luna. Исправление опубликовано в ленте компании 9 октября. [Сообщения Nous Research](https://nousresearch.com/).
На странице индекса Step 5 Preview теперь стоит ниже GPT-6 Luna с 33,89 и GLM 5.3 Flash с 34,95. Эти числа относятся к конкретной системе оценки Nous. Они не определяют качество моделей для всех задач. Таблица и методика Hermes Index.
Индекс объединяет четыре набора тестов, выполняемых внутри Hermes Agent. Компания указывает оценку pass@1 и высокий уровень reasoning effort там, где модель его поддерживает. При выборе модели следует учитывать и отдельные результаты наборов, и условия выполнения.
Для пользователя исправление меняет исходное сравнение, на которое можно было опереться при выборе. Сохраните ссылку на актуальную таблицу и дату просмотра. Затем проверьте модель на задачах, которые действительно встречаются в вашей работе.
Общее устройство индекса описано в материале об анонсе Hermes Index. Составить повторяемый набор проверок поможет материал о promptfoo. Отдельно сравнивайте стоимость выполнения задачи, поскольку итоговый балл рейтинга не описывает ваши расходы.