AI и дата-центры
Fish Audio выпустила Drama 3: озвучка с режиссурой реплик, открытые веса и 83 языка
Публикация:
Новая модель синтеза речи понимает режиссёрские указания в квадратных скобках и стала первой среди открытых моделей в независимом бенчмарке произношения.
Fish Audio выпустила Drama 3 - модель синтеза речи, которая принимает режиссёрские указания обычным языком. Указание пишется в квадратных скобках перед репликой, словами, которые режиссёр сказал бы актёру, а парными тегами можно направить отдельные слова. Модель говорит на 83 языках, причём направление можно писать на любом языке независимо от языка самой реплики. Drama 3 уже доступна на fish.audio, в приложениях для iOS и Android и через API с заголовком модели drama-3.
Архитектура - смесь экспертов на 35 млрд параметров, из которых на токен работают около 3 млрд: восемь из 256 экспертов плюс один общий. Независимый замер Artificial Analysis поставил Drama 3 Preview на первое место по Pronunciation Robustness среди открытых моделей: 93.2% сложных слов, чисел и кодов прочитаны правильно против 88.1% у S2.1 Pro.
Веса открыты на Hugging Face под лицензией Fish Audio Community License v1.0. Использование бесплатно для исследований и для коммерции при годовой выручке ниже $500,000; выше порога или для предоставления модели как голосового сервиса нужна лицензия Fish Audio. Отдельный пункт запрещает клонировать голос реального человека без его согласия.
До 12 ноября API стоит $10 за миллион символов - скидка 80% от обычных $50, новые планы для создателей дешевле на 50%. Два новых инструмента редактирования - интерактивное редактирование и аудио-инпейнтинг, замена отдельных слов без перегенерации всей записи, - пока в закрытом тестировании по приглашениям.