Что такое DiffusionGemma
DiffusionGemma — это экспериментальная открытая модель генерации текста от Google AI (включая DeepMind). Вместо привычного автогенеративного (autoregressive) декодирования она использует текстовую диффузию, генерируя сразу блоки текста параллельно. Модель распространяется по лицензии Apache 2.0, что даёт полную свободу для разработчиков и исследователей.
Как работает текстовая диффузия
- Модель начинает с «полотна» из случайных токен‑заполнителей.
- Несколько проходов «очищают» полотно: уверенные токены фиксируются, остальные пере‑генерируются.
- В результате происходит сходимость к финальному тексту.
В отличие от автогенеративных моделей, где каждый токен фиксируется сразу и может лишь смотреть назад, DiffusionGemma использует двунаправленное внимание, позволяя поправлять уже сгенерированные токены в любом месте текста.
Архитектура
- 26‑млрд параметров MoE (Mixture of Experts), из которых активны лишь ~3,8 млрд во время инференса.
- Базируется на Gemma 4 (архитектура 26B‑A4B) с добавленным «диффузионным» головой.
- Поддержка мультимодального ввода (текст + изображения + видео).
- Контекстное окно — 256 К токенов, более 140 языков.
- После квантования модель размещается в 18 ГБ VRAM, что укладывается в пределы современных потребительских GPU.
Производительность
- На NVIDIA H100 — > 1000 токенов/сек.
- На RTX 5090 — > 700 токенов/сек.
- Скорость генерации до 4 раз выше, чем у автогенеративных моделей того же размера.
- Быстрость достигается за счёт смещения узкого места с пропускной способности памяти на вычислительные блоки: модель обрабатывает 256‑токенный canvas параллельно.
Сравнение с обычным Gemma 4
- Метод генерации: DiffusionGemma — параллельная диффузия; Gemma 4 — автогенеративный токен‑за‑токеном.
- Бутылочное горлышко: DiffusionGemma — запрос вычислений; Gemma 4 — пропускная способность памяти.
- Внимание: двунаправленное vs. только к прошлым токенам.
- Самокоррекция: возможна через пере‑шум (re‑noising) vs. отсутствие.
- Качество вывода: у DiffusionGemma ниже, чем у Gemma 4, поэтому последняя рекомендуется для продакшена.
- Лучшее применение: локальные, интерактивные задачи с низкой нагрузкой vs. масштабные облачные сервисы.
Практические сценарии использования
- Инлайн‑редактирование и дополнение кода — модель видит контекст слева и справа.
- Быстрая итерация в интерактивных инструментах (IDE, чат‑боты).
- Анализ длинных документов и OCR‑парсинг благодаря 256 К токенов окна.
- Генерация кода, вызов инструментов, агентные рабочие процессы.
- Ограниченные задачи генерации (например, решение судоку, биологические цепочки), где важна согласованность токенов.
Как начать работу
- Веса модели доступны на Hugging Face: google/diffusiongemma-26B-A4B-it.
- Поддержка в популярных фреймворках: vLLM, 🤗 Transformers, MLX, Unsloth.
- Квантование до 4‑бит (NVFP4) позволяет использовать модель на GPU с 18 GB VRAM.
- Можно развернуть через Google Cloud Model Garden или NVIDIA NIM.
Ключевые выводы
- DiffusionGemma — первый открытый LLM с текстовой диффузией, генерирует блоки текста параллельно.
- Достигает до 4 раз ускорения на современных GPU, оставаясь в пределах 18 GB VRAM.
- Бидирекциональное внимание даёт возможность исправлять уже сгенерированный текст.
- Качество ниже, чем у Gemma 4, поэтому модель подходит для быстрых прототипов, а не для продакшна.
- Лицензия Apache 2.0 открывает возможности для модификаций и коммерческого использования.
