“`html
Генеративные модели зрения и языка (VLM) в радиологии
Генеративные модели зрения и языка (VLM) революционизировали радиологию, автоматизируя интерпретацию медицинских изображений и генерируя подробные отчеты. Эти достижения обещают снизить рабочую нагрузку радиологов и улучшить диагностическую точность. Однако VLM подвержены генерации галлюцинаций – бессмысленного или неправильного текста, что может привести к клиническим ошибкам и увеличению рабочей нагрузки для медицинских специалистов.
Проблема галлюцинаций в радиологических отчетах
Основная проблема заключается в тенденции VLM к галлюцинациям отсылок к предыдущим исследованиям в радиологических отчетах. Неправильные ссылки на прошлые изображения могут ввести в заблуждение врачей, усложнить уход за пациентами и потребовать дополнительных усилий по проверке и коррекции со стороны радиологов.
Предложенное решение: метод на основе DPO
Исследователи из Университета Гарварда, Института послевузовского медицинского образования и исследований Джавахарлала Неру и Университета Джонса Хопкинса предложили метод на основе DPO, специально разработанный для подавления галлюцинаций отсылок к предыдущим исследованиям в радиологических отчетах рентгеновских снимков грудной клетки.
Технические детали метода
Предложенный метод использует предварительно обученную модель зрения и языка на данных MIMIC-CXR. Архитектура VLM включает в себя визионный кодер, адаптер визионного языка и языковую модель. Процесс настройки включает создание наборов данных предпочтений, где предпочтительные ответы избегают ссылок на предыдущие исследования, и непредпочтительные ответы включают такие ссылки.
Результаты и выводы
Эффективность метода была оценена с использованием нескольких метрик. Результаты показали значительное снижение галлюцинаций отсылок, с моделями, обученными с использованием DPO, проявляющими уменьшение таких ошибок в 3,2-4,8 раза. Клиническая точность моделей оставалась высокой. В заключение, исследование демонстрирует, что DPO может эффективно подавлять галлюцинации в генерации радиологических отчетов, сохраняя клиническую точность.
Подробнее ознакомиться с исследованием.
Все права на это исследование принадлежат его авторам.
Присоединяйтесь к нашему Telegram-каналу и группе в LinkedIn.
Если вам нравится наша работа, вам понравится и наша рассылка.
“`
