Как улучшить точность VibeThinker‑3B с помощью Spectrum‑to‑Signal

Что такое VibeThinker-3B и почему он важен

VibeThinker-3B — компактная модель‑суждение с 3 млрд параметров, построенная на базе Qwen2.5‑Coder‑3B. Она не обучалась с нуля, а прошла пост‑тренинг: Supervised Fine‑Tuning (SFT), Reinforcement Learning (RL) и Self‑Distillation. И всё это при открытой лицензии MIT.

Главная идея модели — решать задачи, ответы на которые можно проверить автоматически (математика, программирование, STEM). Для «общих» вопросов авторы советуют использовать крупные модели, а VibeThinker‑3B специализируется именно на проверяемом рассуждении.

Почему стоит обратить внимание на небольшие модели

• Экономия ресурсов. Вес в BF16 ≈ 6 ГБ — достаточно для одного GPU.
• Скорость вывода. Рекомендуются ускорители vLLM==0.10.1 или SGLang≥0.4.9.post6.
• Эффективность. На проверяемых бенчмарках VibeThinker‑3B соперничает с моделями в сотни раз больше.

Результаты бенчмарков

Ниже приведены ключевые показатели модели на популярных задачах, где ответ можно верифицировать.

• AIME‑26: 94.3 % (без CLR), 97.1 % — с CLR (тест‑тайм скейлинг).
• LiveCodeBench v6: 80.2 % Pass@1.
• HMMT‑25: 89.3 % (95.4 % — CLR).
• BruMO‑25: 93.8 % (99.2 % — CLR).
• IMO‑AnswerBench: 76.4 % (80.6 % — CLR).

Сравнительно: модель DeepSeek V3.2 (671 B) даёт 94.2 % на AIME‑26, а Kimi K2.5 (1 Т) — 93.3 %. При этом VibeThinker‑3B использует в 200–300 раз меньше параметров.

Как работает пост‑тренинг «Spectrum‑to‑Signal»

• Этап 1 — Curriculum‑based SFT: два‑ступенчатый курс, где первая фаза покрывает базовые области (математика, код, диалог), а вторая — более сложные, длинные примеры. При этом Distillation сохраняет несколько допустимых путей решения.
• Этап 2 — Reasoning RL: использует MaxEnt‑Guided Policy Optimization (MGPO) для обучения на границе возможностей модели. Длинный контекст 64 К токенов сохраняётся на всем пути RL.
• Этап 3 — Offline Self‑Distillation: объединяет лучшие чекпоинты RL в одного студента.
• Этап 4 — Instruct RL: улучшает следование инструкциям, что отражается в IFEval = 93.4 и IFBench = 74.5.

Тест‑тайм скейлинг CLR (Claim‑Level Reliability Assessment)

CLR не меняет структуру модели, а лишь переоценивает её ответы.

• Для каждой задачи генерируются K = 32 траекторий.
• Из каждой траектории выбираются M = 5 ключевых утверждений и окончательный ответ.
• Модель проверяет каждое утверждение сама и ставит бинарный вердикт.
• Надёжность траектории вычисляется как ( (Σ v_k,m) / M )^M, где v_k,m∈{0,1}. Одна неверная претензия резко снижает вес.
• Ответы группируются по эквивалентности, выбирается тот, у которого суммарный вес максимален.

Эта процедура позволяет поднять показатели AIME‑26 с 94.3 % до 97.1 % без изменения количества параметров.

Практические рекомендации по запуску VibeThinker‑3B

• Установите совместимую версию transformers≥4.54.0.
• Для ускорения вывода используйте vLLM или SGLang согласно их документации.
• Если планируете масштабировать нагрузку, храните веса в формате .safetensors и подключайте accelerate для распределённого inference.
• Для задач, где ответ можно верифицировать, внедрите CLR в пайплайн пост‑обработки — это даст «плюс» к точности без дополнительных расходов.

Где взять модель и исходный код

Все артефакты доступны в открытом репозитории:

• Модельные веса и скрипты пост‑тренинга: github.com/SinaWeibo/VibeThinker-3B.
• Технический отчёт (арxiv): arXiv:2606.16140.
• Документация по CLR: секция “Claim‑Level Reliability Assessment” в том же отчёте.

Кому будет полезна VibeThinker‑3B

Если вы работаете над системами, где важна проверяемость (автоматические проверяющие задачи, генерация учебных материалов, код‑ревью), ограничены в видеокартах и хотите достичь уровня крупных коммерческих моделей — эта модель является отличным выбором. Она сочетает малый размер, открытый код и высокую точность на верифицируемых задачах.