AssemblyAI запустила Voice Standard Bench: 50+ моделей сравнили на голосовых задачах

13 октября AssemblyAI выпустила Voice Standard Bench - бенчмарк, который оценивает более 50 языковых моделей на задачах голосовых продуктов: суммаризация, извлечение информации, правка текста. Каждый тест прогоняется на четырёх длинах транскриптов: 30 секунд, 2, 15 и 60 минут. Качество, скорость и цена за час аудио стоят в таблице рядом, чтобы разработчик за минуты подобрал модель под свою задачу. Главный вывод компании: большинству голосовых задач не нужны фронтир-модели и их цены.

Ответы оценивают две модели-судьи, Claude Opus 5.5 и GPT-5.6 Sol, по фиксированной рубрике для каждой задачи; все метрики приведены к шкале 0-100. Диктовка оценивается механически по эталонному выходу, без судьи. В текущем прогоне модель с топовым качеством стоит в 15-77 раз дороже за час аудио, чем модель в пределах 2 баллов качества от неё. Только на часовых транскриптах премия сужается примерно до 4 раз.

Открытые модели выигрывают в скорости на коротких входах: gemma-4-31b отвечает меньше чем за секунду с качеством 93 на 30-секундном входе против 1.7 секунды у GPT-6 Luna. Qwen3.5 4B Fast - самая быстрая модель прогона на длинах до 15 минут. Обратная сторона: за 2 минуты открытые модели, чтобы стоить дешевле полцента за час аудио, уступают минимум 10 баллов качества.

Бенчмарк открыт: код выложен на GitHub, а все модели из прогона доступны через LLM Gateway компании по одному API-ключу, совместимому с OpenAI. Оговорка: тест провела сама AssemblyAI на собственном шлюзе, независимых подтверждений цифр нет; смещение судей - моделей конкурентов - компания отслеживает отдельно.