AI и дата-центры
Krafton выпустила открытую LLM Raon-1 mini: 30B-параметровая MoE, обученная с нуля
Публикация:
Игровая компания Krafton впервые выпустила собственную языковую модель с нуля под лицензией Apache 2.0: 28.8B параметров всего, 4.3B активных на токен, контекст 262,144 токена. Версия NVFP4 запускается на одной RTX 5090 с 32 GB памяти.
Игровая компания Krafton представила Raon-1 mini - языковую модель класса 30B-A4B на архитектуре Mixture-of-Experts, спроектированную и обученную с нуля командой KRAFTON AI. Это превью-релиз семейства Raon под лицензией Apache 2.0. Модель ориентирована на рассуждения, следование инструкциям и агентные сценарии: заявлены tool calling для агентных workflow и поддержка Hermes Agent, Pi и OpenCode. Krafton предупреждает, что это не финальная версия: характеристики и результаты могут измениться.
Архитектура гибридная: 18 слоев с линейным вниманием Raon Delta Attention и 7 слоев полного внимания, всего 25 слоев. Из 128 экспертов на токен работают 6 routed плюс 1 shared - то есть каждый токен использует 4.3B из 28.8B параметров. Контекст - 262,144 токена нативно, размер словаря 259,840. Для ускорения инференса прилагается DFlash2-драфт-модель для спекулятивного декодирования: на одном NVIDIA B300 она дает до 2.18x прироста пропускной способности генерации.
Бенчмарки - из таблицы самой Krafton, судья во всех оценках - gpt-5.6-luna, настройки: temperature 1.0, top_p 0.95, top_k 20. Среди MoE-базлайнов Raon-1 mini лидирует на IFBench (84.2 против 66.6 и 80.9) и на BrowseComp Plus (55.7 против 34.8 и 32.2); соперники в таблице - Qwen3.6-35B-A3B и Gemma 4 26B-A4B. Также в таблице: GPQA Diamond 84.3, AIME 2026 93.3, SWE-Verified 70.8 и LiveCodeBench v6 81.6. Слабые места компания показала честно: MMLU Pro 76.5 и Terminal-Bench Lite 47.0 - ниже конкурентов. Языки обучения: корейский, английский, японский, китайский, испанский, французский и тайский.
Доступ: репозитории на Hugging Face гейтированы, но одобрение автоматическое; запуск - через Transformers, vLLM, llama.cpp и MLX. Доступны версии MXFP8 и NVFP4, причем вариант NVFP4 работает на одной NVIDIA RTX 5090 с 32 GB видеопамяти. Это редкий случай открытой модели такого класса под потребительское железо, а не под кластер. Ограничение: независимых замеров пока нет, все цифры - от самой Krafton, а превью-статус означает возможные изменения до финала.