Itinai.com it company office background blured photography by 12fe5e49 d0a5 47b8 a36f 0071089d22c3 2

Исследователи Microsoft представили LLaVA-Rad: легкую открытую модель для генерации клинических радиологических отчетов.

Легче сразу спросить 💭

AI снижает операционные расходы на 20–40% 📊 за 6 месяцев. А что бы вы сделали с этими деньгами?

Опишите задачу — обсудим, как это можно реализовать у вас.

ИИ автоматизирует 70% рутинных задач 🤖 за 3 месяца. Какие процессы в вашем бизнесе скинуть роботу?

Персонализированные AI-кампании увеличивают клиентскую базу на 30% 📈. Как это работает?

AI-аналитика сокращает ошибки в прогнозах на 50% 📉. Расскажите подробнее!

«`html

Потенциал больших моделей ИИ в биомедицине

Большие модели ИИ показывают отличные результаты в биомедицинских приложениях. Они могут быстро адаптироваться к задачам с минимальным количеством размеченных данных. Однако есть серьезные проблемы с их внедрением в клиническую практику.

Проблемы внедрения

Даже такие продвинутые модели, как GPT-4V, имеют значительные недостатки в многомодальных биомедицинских приложениях. Основные препятствия включают:

Ограниченный доступ к технологиям.
Высокие эксплуатационные расходы.
Сложность ручной оценки данных.

Новые решения в области многомодального ИИ

Недавние разработки в области многомодального генеративного ИИ позволяют обрабатывать текст и изображения одновременно. Это открывает новые возможности для таких задач, как:

Ответы на визуальные вопросы.
Генерация радиологических отчетов.

Модель LLaVA-Rad

Исследователи из нескольких университетов разработали модель LLaVA-Rad, которая фокусируется на рентгеновских снимках грудной клетки. Эта модель:

Обучена на 697,435 парах изображений и отчетов.
Использует GPT-4 для синтеза отчетов.
Требует всего одну видеокарту V100 для работы.

Преимущества LLaVA-Rad

Модель LLaVA-Rad показывает отличные результаты по сравнению с аналогичными моделями. Она:

Превосходит модель Med-PaLM M по важным метрикам.
Обеспечивает стабильную производительность на разных наборах данных.
Эффективна в использовании вычислительных ресурсов.

Автоматическая оценка с CheXprompt

Введение CheXprompt позволяет автоматически оценивать точность, что сопоставимо с работой экспертов-радиологов. Это значительно упрощает процесс внедрения модели в клиническую практику.