AI и дата-центры
Ant открыла веса Ling-3.1-flash-1019: 560 миллиардов параметров по лицензии MIT
Публикация:
Обновленная версия Ling-3.1-flash получила веса в открытом доступе и базовую версию для дальнейшего обучения. При 25 миллиардах активных параметров на токен модель предназначена для длинных агентских задач и работы с кодом.
inclusionAI, лаборатория Ant Group, опубликовала Ling-3.1-flash-1019 на Hugging Face вместе с базовой версией Ling-3.1-flash-base. Обе версии распространяются по лицензии MIT, а архитектура осталась гибридной смесью экспертов: всего 560B параметров, из них 25B активных на токен, и окно контекста на 1M токенов.
Слои внимания устроены как 63 слоя линейного внимания KDA и 9 слоев Gated MLA, то есть в соотношении 7:1. Маршрутизация идет через 512 экспертов, из которых на каждый токен активируются 8, плюс один общий эксперт.
По данным самой лаборатории, дополнительное дообучение подняло оценку AA-Briefcase примерно с 1400 до 1524 Elo, а AutomationBench-AA - с 62% до 68%. Научные тесты тоже выросли: CritPt с 18% до 26%, SciCode с 54% до 57%, а общий балл Artificial Analysis Intelligence Index v4.3.2 - с 41 до 44.
Запуск в день выхода поддерживают SGLang и vLLM, а эталонная конфигурация SGLang использует 8 ускорителей H200 или 4 ускорителя GB300. Это не домашняя модель: веса занимают сотни гигабайт, поэтому большинство пользователей встретят ее через API. Все цифры выше - заявления лаборатории, независимой перепроверки новых оценок пока нет.