Recursive выпустила Flint: кодовую модель для ноутбука, которую строила автоматизированная исследовательская система

Flint - это mixture-of-experts модель для агентного кодирования на локальном железе: команда Recursive из людей и агентов собрала ее с нуля менее чем за четыре месяца, а автоматизированная система Eureka Machine помогала почти на каждом этапе, от данных и рецептов обучения до инфраструктуры и оптимизации инференса.

Архитектура прошла путь от базовой конфигурации 35 млрд параметров и 3 млрд активных до итоговых 40 млрд и 2.5 млрд активных на токен: поиск конфигураций экспертов вела Eureka Machine, а выходной слой модели сжат до 4 бит.

По замерам Recursive, Flint генерирует более 125 токенов в секунду на M4 Pro и более 150 токенов в секунду на NVIDIA RTX Spark с 64 ГБ памяти при коротком контексте, а также работает более чем в пять раз быстрее плотных моделей похожей размерности с похожими оценками на бенчмарках.

Recursive честно оговаривает ограничение: для сложных задач Flint может требовать больше указаний, чем крупные закрытые кодовые модели, и большие задачи стоит разбивать на меньшие подзадачи с явными инструкциями. Веса модели выложены на Hugging Face по лицензии Apache 2.0, а работать с ней можно через llama.cpp, Ollama, LM Studio, vLLM и SGLang.