Qwen-Scope

Новое исследование NVIDIA показывает ускорение генерации rollout в NeMo RL на 1.8× при 8B и прогнозируемый 2.5× при 235B благодаря спеkulative декодированию Команда исследователей NVIDIA интегрировала спеkulative декодирование непосредственно в цикл обучения с подкреплением NeMo RL, достигнув потери ускорения генерации rollout в 1.8 раза для моделей масштаба 8B и прогнозируемого 2.5-кратного ускорения end-to-end для моделей 235B, при этом сохраняя точное выходное распределение модели. Метод реализован в NeMo RL v0.6.0 с бэкендом vLLM и поддерживается вместе с SGLang, оптимизатором Muon и обучением YaRN для длинного контекста. Исследовательская статья на arXiv: Speculative Decoding in NeMo RL Туториал по декодированию лингвистических признаков из… ➡️➡️➡️