Как решить проблему плохой транскрипции: Diffusion‑Gemma‑ASR small для 6 языков

Itinai.com it company office background blured chaos 50 v 9b8ecd9e 98cd 4a82 a026 ad27aa55c6b9 1

Что такое diffusion-gemma-asr-small?

diffusion-gemma-asr-small – это открытая модель распознавания речи, разработанная стартапом Interfaze (YC). Она переводит аудио в текст не автодегрессивным способом, а с помощью диффузионного декодера, прорабатывая все токены одновременно. Это первый в мире мультилингвальный диффузионный ASR‑модель, работающая с шести языками через один адаптер из ~42 млн параметров, подключённый к замороженному 26‑миллиардному бэкбону DiffusionGemma.

Ключевые отличия от автодегрессивных моделей

Автодегрессивные модели генерируют текст один токен за раз, диффузионные – сразу всё.
Стоимость транскрипции зависит от количества денойзинг‑шагов, а не от длины аудио.
Модель демонстрирует лучшие результаты среди диффузионных ASR (WER 6.6 % на LibriSpeech), хотя пока отстаёт от Whisper.

Как это работает

Сырой сигнал не поступает напрямую в LLM. Вместо этого используется замороженный энкодер whisper-small, который превращает 30‑секундный отрывок в 1500 кадров по 768 размерностей. Затем небольшой обучаемый проектор (≈19 млн параметров) сжимает эти кадры до 188 «аудио‑токенов», которые вписываются в специальные слоты входа DiffusionGemma. Диффузионный декодер затем за 8–16 параллельных шагов «очищает» 192‑токенную канву, превращая её в читаемый текст.

Тренировочный лайфхак

Первоначальная попытка обучения застопорилась: проектор выдавал шум, а внимание модели игнорировало его, из‑за чего градиенты не доходили до проекторa. Проблему решили, добавив прямую CTC‑потерю к выходу замороженной LM‑головки, тем самым заставив аудио‑токены линейно предсказывать правильные слова. После этого WER на LibriSpeech упал с 52 % до 6.6 % за 10 эпох.

Показатели производительности

LibriSpeech test‑clean (англ.) – WER 6.6 %
FLEURS English – WER 15.7 %
VoxPopuli English – WER 18.5 %
FLEURS Hindi – CER 15.8 %
FLEURS Mandarin – CER 29.6 %

Сравнение с другими диффузионными и автодегрессивными моделями:

TransFusion (2022) – WER ≈ 6–7 % (доказательство концепции)
Whisfusion (2025) – WER 8.3 %
diffusion-gemma-asr-small (2026) – WER 6.6 %

Практические сценарии применения

Пакетные конвейеры транскрипции: параллельный декодер позволяет обрабатывать клипы одинаково быстро, независимо от их длины.
Мультилингвальная поддержка: один адаптер покрывает английский, немецкий, французский, испанский, хинди и мандарин, экономя ресурсы.
Исследования в области не‑автодегрессивного ASR: модель предоставляет воспроизводимую базу для экспериментов с диффузионными декодерами.

Как начать работу

Модель доступна в репозитории Hugging Face. Для её использования достаточно установить зависимости, скачать адаптер и запускать простой скрипт.

Установка зависимостей

torch
peft
soundfile
librosa
huggingface_hub
transformers (development version)

Пример команды:

pip install torch peft soundfile librosa huggingface_hub "transformers @ git+https://github.com/huggingface/transformers.git"

Пример кода для транскрипции:

import sys, soundfile as sf
from huggingface_hub import snapshot_download

repo = snapshot_download("interfaze-ai/diffusion-gemma-asr-small")   # адаптер ~170 МБ
sys.path.insert(0, repo)
from inference import load, transcribe

model, tok, fe = load(f"{repo}/diffusion_asr_small.pt", device="cuda")

wav, sr = sf.read("audio.wav")   # 16 kHz mono float32
print(transcribe(wav, model, tok, fe, max_steps=16))

Для быстрого теста из командной строки:

python inference.py audio.wav

Параметр max_steps регулирует компромисс между скоростью и точностью: 8 шагов – почти максимум точности и самая высокая скорость, 16 – значение по умолчанию.