Что такое MiMo‑V2.5‑Pro‑UltraSpeed
UltraSpeed — режим ускоренного обслуживания для модели MiMo‑V2.5‑Pro. Базовая модель построена на архитектуре Mixture‑of‑Experts (MoE) с триллионом параметров. UltraSpeed не повышает «ум» модели, а делает её более быстрой в генерации токенов. Достижение скорости более 1000 TPS (токенов в секунду) реализовано за счёт трёх согласованных техник и полностью работает на обычном 8‑GPU узле.
Трёхслойный ускоряющий стек
Скорость достигается за счёт одновременного применения:
- FP4‑квантования – уменьшает объём памяти и пропускную способность;
- DFlash‑speculative decoding – предсказывает блоки токенов параллельно;
- TileRT‑runtime – исполняет операции микросекундными ядрами без постоянных запусков.
Слой 1 — FP4‑квантование
Для экспертов MoE применён формат MXFP4, что снижает требования к памяти без заметного падения качества благодаря Quantization‑Aware Training. Остальные части модели работают в более высокой точности (FP8), что сохраняет стабильность вычислений.
Слой 2 — DFlash (speculative decoding)
Стандартный спекулятивный декодинг использует небольшой «черновой» модельный шаг, но генерирует токены последовательно. DFlash заменяет последовательность блоковой маскированной предсказательной схемой: один проход заполняет целый блок (до 8 токенов) предсказываемыми значениями, после чего большой модельный блок проверяет их через отбраковку (rejection sampling).
- Для кода — средняя длина принятия 6,30 токена;
- Для математических задач — 5,56 токена;
- Для агентных сценариев — 4,29 токена.
Слой 3 — TileRT‑runtime
При >1000 TPS каждая операция длится микросекунды, и обычный запуск операторов становится узким местом. TileRT использует постоянный движок‑ядро, которое остаётся на GPU, и распределяет роли между warp‑ами (перемещение данных, вычисления, коммуникация). Это устраняет накладные расходы на запуск и ускоряет мелкие операции, такие как RMSNorm, RoPE и запись KV‑кэша.
Ключевые сценарии применения
- Параллельные рассуждения: запуск множества Best‑of‑N или дерево‑поиска в том же времени.
- Кодировщики‑агенты: ускоренное генерирование кода уменьшает паузы между шагами.
- Ре‑тайм циклы принятия решений: торговые сигналы, обнаружение мошенничества, живой диалог.
- Интерактивный прототипинг: демонстрации, где игра Snake генерируется за ~10 секунд.
Сравнение с другими решениями
Традиционные подходы к экстремальной скорости используют кастомные чипы (Cerebras, Groq). MiMo‑UltraSpeed достигает аналогичных показателей на commodity‑GPU, делая технологию доступнее.
Доступ, цены и открытый код
UltraSpeed доступен через API‑тестовый период 9–23 июня 2026 года (по пекинскому времени). Стоимость в 3 раза выше базовой модели, но скорость примерно в 10 раз выше. API‑доступ только по заявке, токен‑планы не поддерживаются.
Открытый чекпоинт модели уже опубликован: MiMo‑V2.5‑Pro‑FP4‑DFlash на Hugging Face. Части TileRT‑runtime открыты на GitHub (поиск «TileRT»).
Сильные стороны
- Более 1000 TPS на 1‑триллион‑параметровой модели без кастомного железа.
- Потеря качества минимальна благодаря QAT и отбраковке в DFlash.
- FP4 применяется только там, где модель наиболее устойчива.
- Открытый чекпоинт позволяет сообществу проверять результаты.
Ограничения
- Доступ ограничен заявкой и коротким тестовым окном.
- Стоимость в 3 раза выше базовой модели.
- Средняя длина принятия падает в открытых диалогах.
- Независимая верификация скорости пока не опубликована.
Главные выводы
- MiMo‑V2.5‑Pro‑UltraSpeed демонстрирует >1000 TPS на триллион‑параметровой модели, используя только commodity‑GPU.
- Трёхслойный стек (FP4, DFlash, TileRT) обеспечивает синергетический прирост.
- Квантование FP4 ограничено MoE‑экспертами, сохраняя качество.
- DFlash предсказывает блоки (≤8 токенов) за один проход, достигая 6,30 принятия в коде.
- Публичный API‑доступ доступен в июне 2026, а чекпоинт открыт для исследователей.
