Зачем нужны нейронные модели‑фундаменты в нейроимиджинге?
Большинство современных «frontier»‑моделей учатся на публичных данных интернета: картинки, тексты, видео. Крайне редки там клинические МРТ и КТ, потому что такие снимки содержат лицо пациента и подпадают под строгие правила конфиденциальности. В результате общие модели работают с нейроизображениями хуже, чем с обычными фото.
Команда Университета Мичигана решила закрыть эту лакуну. Их решение – NeuroVFM (Nature Medicine, 2026) – универсальная визуальная фундаментальная модель, обученная исключительно на реальных клинических магнитно-резонансных и компьютерных томографиях.
Что такое NeuroVFM?
NeuroVFM – это «generalist»‑модель для нейроимеджи, обученная на 5,24 млн 3‑D томов (MRI + CT) из набора UM‑NeuroImages. Данные охватывают более 20 лет работы больницы Michigan Medicine, включают 566 915 исследований и полностью некурируются: модель учится на том, что генерирует система в обычном режиме.
- Нет необходимости в парных радиологических отчётах.
- Нет болезне‑специфичной разметки – модель «видит» структуру мозга, а не отдельные патологии.
- Подход назван health‑system learning – обучение от данных, поступающих в обычный рабочий процесс.
Как работает Vol‑JEPA?
Базовой архитектурой NeuroVFM является Vol‑JEPA – 3‑D‑расширение методов I‑JEPA и V‑JEPA. Это полностью самосупервизированный алгоритм, который предсказывает представления в латентном пространстве, а не пиксели.
- Объём разбивается на неперекрывающиеся патчи 4×16×16 вокселей.
- Патчи делятся на контекст (видимая часть) и маскированный таргет (скрытая часть). Для MRI используется 25 % контекста, для CT – 20 %.
- Student encoder (Eθ) кодирует контекст в латентные векторы.
- Predictor (Pφ) комбинирует эти векторы с позиционными кодировками таргет‑патчей и предсказывает их латентные представления.
- Teacher encoder – экспоненциально‑скользящее среднее (EMA) от студента – генерирует «истинные» латентные векторы таргета. Градиенты к нему не протекают.
- Обучение минимизирует гладкую L1‑потерю между предсказанными и teacher‑векторами.
Маскирование ориентировано на мозговой контур (предварительно полученные маски головы), чтобы модель училась репрезентировать именно нейронную анатомию, а не фон.
Практические выгоды для клинического и исследовательского использования
- Быстрый старт – без необходимости собирания и аннотирования тысяч изображений.
- Универсальность – один набор весов подходит и для МРТ, и для КТ, и для разных протоколов сканирования.
- Улучшенные представления – предварительно обученные эмбеддинги повышают точность downstream‑задач (классификация, сегментация, прогноз исходов).
- Конфиденциальность – обучение происходит внутри больницы, без выгрузки данных в публичные репозитории.
Как начать работать с NeuroVFM?
- Исходный код и предобученные веса доступны в GitHub‑репозитории проекта.
- Для интеграции в ваш пайплайн используйте PyTorch‑обёртку
neurovfm, опубликованную в том же репозитории. - Руководство по подготовке собственных томов (нормализация, ресэмплинг, маскирование головы) включено в
docs/quickstart.md. - Если нужен адаптивный fine‑tuning на небольшом наборе ваших пациентов, рекомендована стратегия few‑shot» с градиентным замораживанием ранних слоёв.
Ограничения и будущие планы
- Модель обучена только на данных из одной крупной академической больницы; переносимость на сканеры другого производителя может потребовать небольшого дообучения.
- Текущий объём контекста (20‑25 %) оптимален для общего представления, но может быть увеличен, если важны детали мелкой морфологии.
- Команда уже работает над расширением датасета до мультицентровых данных и добавлением функционала для zero‑shot диагностики редких заболеваний.
Краткие рекомендации
- Если вам нужно быстро построить прототип сегментации мозговых структур – берите предобученные эмбеддинги NeuroVFM и добавляйте простой линейный классификатор.
- Для исследования редких патологий сначала проведите few‑shot fine‑tuning на небольшом наборе размеченных кейсов.
- Не забывайте про анонимизацию: перед загрузкой собственных данных в модель следует удалить лицо (mask‑head) и метаданные DICOM.
