Gemini 3.5 Live Translate — что это и зачем?
Google представила Gemini 3.5 Live Translate — модель, переводящую речь в реальном времени. В отличие от традиционных “turn‑by‑turn” систем, она непрерывно преобразует входящий аудиопоток в перевод, задерживая его лишь на несколько секунд. Поддерживается более 70 языков, сохраняется интонация, темп и высота голоса.
Как работает непрерывный поток?
Модель обрабатывает звук по мере поступления, без ожидания окончания фразы. Это позволяет:
- Сохранять синхронность с говорящим;
- Уменьшать паузы, которые обычно требуются для анализа контекста;
- Обеспечивать работу в шумных условиях благодаря устойчивости к фоновому шуму.
Подключение через Live API
Для разработчиков доступен gemini-3.5-live-translate-preview. Конфигурация задаётся в блоке translationConfig внутри generationConfig:
- targetLanguageCode — BCP‑47 код языка (например,
"es"или"pt-BR"); по умолчанию"en"; - echoTargetLanguage — если
true, модель просто повторяет уже целевой язык, иначе молчит; - Опция inputAudioTranscription и outputAudioTranscription выводит текстовые транскрипции.
Форматы аудио фиксированы: вход — 16‑бит PCM, 16 kHz, моно; вывод — 16‑бит PCM, 24 kHz, моно. Данные отправляются чанками по 100 мс.
Где уже доступен Gemini 3.5 Live Translate?
- Public preview в Gemini Live API и Google AI Studio;
- Приватный preview в Google Meet (начало этого месяца);
- Приложения Google Translate на Android и iOS.
Практические сценарии использования
Модель предназначена для прямой интерпретации в:
- многоязычных звонках и видеоконференциях;
- онлайн‑уроках и вебинарах;
- прямой трансляции мероприятий;
- путешествий (например, коммуникация водителя и пассажира в сервисе Grab).
Платформы как Agora, LiveKit, Pipecat уже интегрируют Live API, избавляя разработчиков от сложной инфраструктуры потоковой передачи медиа.
Изменения в Google Meet и Google Translate
Google Meet получит:
- Поддержку более 70 языков (раньше — только 5);
- 2000+ комбинаций языковых пар вместо ограниченного “to/from English”.
В приложении Google Translate пользователь может держать телефон у уха, как в обычном звонке, и слушать перевод в реальном времени через наушники.
Ключевые выводы
- Gemini 3.5 Live Translate — аудиомодель для непрерывного speech‑to‑speech перевода.
- Поддерживает более 70 языков, сохраняет голосовые особенности.
- Настройка через Live API: только аудио‑ввод, фиксированные форматы, минимальная задержка.
- Доступна в API, Google Meet и мобильных приложениях Translate.
- Все генерируемые аудио‑файлы маркируются водяным знаком SynthID для обнаружения.
Подробности в Model Card и техническом блоге Google.
