AI и дата-центры
Nous Research переучила Qwen3.8-27B: доля ответов с государственной рамкой упала с 22% до 0.9%
Публикация:
Nous Research дообучила Qwen3.8-27B на 52.8 млн токенов: доля ответов с государственной рамкой упала с 22% до 0.9%, а фактологическая точность выросла с 2.32 до 2.98 из 5.

Nous Research опубликовала Arete-27B, дообученную версию китайской модели Qwen3.8-27B, из ответов которой убрали государственную рамку на политически чувствительные темы. На дообучение ушло всего 52.8 млн токенов за 1,202 шага, а веса, обучающие данные и тест оценки выложены открыто, так что эксперимент можно повторить и проверить.
Свой тест Nous построила из 803 промптов по семи категориям ценностей, а ответы судил Grok 4.7, не зная, какая модель отвечала. Фактологическая оценка выросла с 2.32 до 2.98 из 5, а доля ответов с государственной рамкой упала с 22% до 0.9%. Число ответов с нулевой оценкой снизилось с 359 до 216 из 803, а сильнее всего изменилась категория свободы выражения: там оценка выросла с 0.89 до 2.44, а доля ответов с государственной рамкой упала с 60% до 1%.
Способности модели при этом почти не изменились: на внутреннем тесте Hermes Bench она набрала 65.60% против 65.77% у исходной Qwen3.8-27B, а на Terminal-Bench-2.1, 70% против 67%. Дообучение шло только методом SFT, без обучения с подкреплением и без изменения архитектуры, а учителем выступила модель Inkling от Thinking Machines. Сами авторы оговариваются, что исправили не все проявления исходной позиции, но считают, что нашли и устранили одну из корневых причин.