AI и дата-центры
Microsoft отдала кодинг-модель MAI-Code-1.1-Flash на локальный запуск: 137B параметров на своём ПК
Публикация:
7 октября Microsoft AI объявила, что кодинг-модель MAI-Code-1.1-Flash можно скачивать и запускать локально на ПК с Windows: вызовы локальной модели идут без платы за инференс.
Локальная сборка использует 3-битное квантование и сохраняет полное окно контекста 256K токенов; производительность кода, по данным Microsoft, сравнима с облачной версией на бенчмарках SWE-Bench Verified и Terminal-Bench 2.1. Экспериментальный доступ появится в приложении GitHub Copilot, Copilot CLI и Visual Studio Code к концу октября.
Требования к железу жёсткие. Сама модель - 137 млрд параметров всего и 6.8 млрд активных на токен; квантованная сборка занимает на диске 53 ГБ. Пиковое потребление памяти - 75.5 ГБ при полном контексте 256K, и для лучшей производительности Microsoft рекомендует устройства с более чем 120 ГБ RAM.
Облачная версия уже работает в GitHub Copilot: она стоит вчетверо дешевле MAI-Code-1.0, тратит на 25% меньше токенов на задачу, а токены стримятся на 25% быстрее. По данным Microsoft, модель на 22% лучше на Terminal-Bench 2.1 в Copilot CLI и на 15% на .NET-задачах; выживаемость кода выросла на 4%, повторные визиты - на 9%.