AI и дата-центры
Mistral выпустила голосовой стек Voxtral 3 для агентов, которые работают во время звонка
Публикация:
Voxtral 3 объединяет распознавание речи, синтез речи и SDK голосового агента на базе LiveKit: транскрипция покрывает более 50 языков, а синтез говорит более чем на 35 языках и 50 диалектах.
Стек состоит из трех частей: Voxtral Small Transcribe 3 для распознавания речи, Voxtral Mini TTS 3 для синтеза и SDK на базе LiveKit, который связывает прослушивание, рассуждение, вызов инструментов и речь в один потоковый конвейер. Агент может во время разговора проверять данные во внешних системах, например бронировать встречу или проверять счет.
Mistral заявляет, что распознавание в реальном времени работает с задержкой менее 500 миллисекунд более чем на 35 языках, а модель Mini Transcribe 3 содержит 4 млрд параметров и стоит $0.0035 в минуту при пакетной обработке.
Цены из таблицы Mistral: Voxtral Small Transcribe 3 стоит $0.0040 в минуту, Voxtral Mini Transcribe Realtime 3 стоит $0.008 в минуту, а Voxtral Mini TTS 3 стоит $13 за 1 млн символов. Полный голосовой агент с моделью Mistral Small 4 для рассуждений стоит 0.04 доллара в минуту, а с более крупной моделью - 0.08 доллара в минуту.
Ограничение здесь в том, что точность и скорость даны по замерам самой Mistral, а не по независимой проверке, и выигрыш в задержке касается транскрипции, а не всего звонка целиком. Компании также придется проверять, как агент ведет себя на реальных звонках, где есть перебивания, шум и смена говорящих.