TL;DR
- Brain2Qwerty v2 дешифрует наборные предложения из неинвазивных MEG‑сигналов в режиме реального времени.
- Средняя точность слов достигает 61 % (WER ≈ 39 %).
- Лучший испытуемый – 78 % точности, более половины предложений с одной ошибкой или менее.
- Пайплайн: сверточный энкодер → трансформер → символьная языковая модель + дообученные LLM.
- Точность растёт лог‑линейно с объёмом данных; код обеих версий открыт под CC BY‑NC 4.0.
Что такое Brain2Qwerty v2?
Это система «мозг‑текст», переводящая сырые нейронные сигналы в символы, а затем в слова и предложения. Обучение проходило на ≈22 000 предложений, записанных у 9 добровольцев (примерно 10 ч в расчёте на участника) с помощью магнитно‑энцефалографии (MEG). MEG фиксирует магнитные поля, возникающие от электрической активности нейронов, с высокой временной разрешающей способностью.
Модель использует несколько уровней представления (символ‑слово‑предложение), что позволяет исправлять локальные ошибки, учитывая более широкий контекст.
Важно: это исследовательская система, а не готовый продукт. Тесты проводились в контролируемой лаборатории, а не в клинике.
Как работает пайплайн декодирования
- Сверточный энкодер читает сырые MEG‑сигналы и извлекает признаки без ручных детекторов событий.
- Трансформер моделирует длительные зависимости во времени, формируя контекстные представления.
- Символьная языковая модель ограничивает вывод допустимыми комбинациями символов, приводя к осмысленному тексту.
Три драйвера ИИ в проекте:
- Глубокое обучение заменило ручные детекторы нейронных событий.
- Большие языковые модели (LLM) дообучены на нейронных данных, добавляя семантический контекст.
- AI‑агенты автоматизировали поиск оптимальных конфигураций пайплайна, а окончательный выбор делали инженеры.
Точность и её значение
Средняя точность слов составила 61 % (WER ≈ 39 %). Лучший участник достиг 78 % точности, при этом более половины предложений имели ≤ 1 ошибку. Для сравнения, предшествующие неинвазивные подходы показывали лишь ~8 % точности.
Точность растёт лог‑линейно с количеством записей: больше часов MEG → выше точность. Это главный сигнал для разработчиков – масштабирование данных может сузить разрыв между неинвазивными и имплантируемыми системами.
v1 vs v2: что изменилось
- v1 – символьный уровень, использовались MEG + EEG, 35 участников, без реального времени.
- v2 – многослойный (символ‑слово‑предложение) подход, только MEG, 9 участников, реальное время, 61 % точности слов.
- v2 показал, что MEG в два раза лучше EEG по качеству сигнала.
Практические сценарии
- Восстановление коммуникации: пациенты с нарушениями речи могут «печатать» предложения без имплантов.
- Исследования: открытый код позволяет лабораториям переобучать модель на собственных MEG‑данных.
- AI‑инженерия: шаблон «конволюция → трансформер → LM» легко переносим на другие биосигналы.
- Данные и планирование: лог‑линейный рост точности упрощает оценку, сколько новых часов записи понадобится для желаемого уровня.
Код и ресурсы
Исходный код и обучающие скрипты доступны в репозитории GitHub:
- Brain2Qwerty v1 / v2
- Оригинальная статья Meta AI: Brain2Qwerty v2 (June 2026)
