“`html
BiomedGPT: универсальная основная модель на основе трансформаторов для биомедицинского ИИ с улучшенными мультимодальными возможностями и производительностью
Традиционные биомедицинские модели ИИ часто специализированы и требуют большей гибкости, что делает их менее эффективными для прикладных реальных задач, требующих интеграцию различных типов данных. Универсальные модели ИИ, особенно на основе трансформаторов, предлагают универсальное решение, обрабатывая текстовые и визуальные данные. Эти модели могут упростить сложные задачи, такие как интерпретация радиологии и клиническое резюмирование, преодолевая ограничения узких, специфических систем. В отличие от многих биомедицинских моделей, которые громоздки и закрытые, универсальные модели могут упростить развертывание и управление, объединяя несколько функций в одну систему, улучшая эффективность и адаптивность в медицинских условиях.
Practical Solutions and Value:
Исследователи из университета Лихай и других учреждений представляют BiomedGPT, открытую, легкую модель основу визуально-языковой основы, разработанную для различных биомедицинских задач. BiomedGPT достиг состояния искусства в 16 из 25 экспериментов, сохраняя удобный масштаб модели для вычислений. Человеческие оценки показали надежную производительность в радиологическом визуальном ответе на вопросы, генерации отчетов и резюмировании, с низкими показателями ошибок и конкурентоспособной способностью к резюмированию. BiomedGPT, обученный разнообразным, междисциплинарным данным, демонстрирует эффективные возможности передачи и обучения без примеров. Несмотря на свой потенциал, требуются дальнейшие улучшения для клинического развертывания, особенно в области безопасности, равенства и учета предвзятости.
BiomedGPT – это модель на основе трансформатора, оптимизированная для биомедицинской области, объединяющая концепции от Vision Transformers и языковых моделей. Ее архитектура кодера-декодера, включающая декодер в стиле BERT и GPT, поддерживает мультимодальные задачи с улучшенной сходимостью через многоголовое внимание и нормализацию. Модель представлена в трех размерах (BiomedGPT-S, M и B) и обрабатывает входы через унифицированный словарь токенов для текста и изображений. Она проходит предварительное обучение смесью визуальных и текстовых задач, доводится до конкретных наборов данных. Оцениваясь по точности, F1-оценке и ROUGE-L, возможности BiomedGPT включают расширение 3D-изображений и настройку инструкций для задач без примеров.
BiomedGPT использует маскированное моделирование и обучение с учителем во время предварительного обучения, используя 14 разнообразных наборов данных для построения качественных представлений данных. Модель доступна в трех размерах: маленький (BiomedGPT-S), средний (BiomedGPT-M) и базовый (BiomedGPT-B). BiomedGPT был адаптирован для нескольких биомедицинских приложений во время доведения, включая классификацию медицинских изображений, понимание текста, резюмирование, подписывание изображений и визуальный ответ на вопросы (VQA). Эти приложения направлены на улучшение диагностики заболеваний, клинической документации и разработки чат-ботов в здравоохранении.
В процессе оценки производительности BiomedGPT преуспела в различных мультимодальных задачах. Она достигла 86,1% точности в VQA на наборе данных SLAKE, превзойдя предыдущее достижение в этой области. BiomedGPT превзошла предыдущие модели в классификации медицинских изображений на семи из девяти наборов данных MedMNIST-Raw. Для понимания текста и резюмирования BiomedGPT-B продемонстрировала превосходные результаты по сравнению с BioGPT и LLaVA-Med. Модель также показала эффективные возможности без примеров для биомедицинского VQA и генерации отчетов, хотя здесь еще есть потенциал для улучшения. Человеческие оценки производительности BiomedGPT в области радиологии показали высокую точность и конкурентоспособные результаты в генерации отчетов и резюмировании радиологии.
Исследование демонстрирует, что BiomedGPT достигает высокой производительности в передаче знаний в области зрения, языка и мультимодальных областей, интегрируя разнообразные биомедицинские данные в единую структуру. Однако существуют проблемы, такие как необходимость качественных аннотированных биомедицинских данных и риск отрицательной передачи знаний при расширении на новые типы данных, такие как 3D-изображения. Оценка сгенерированного текста остается трудной, и появление метрик, таких как оценка F1-RadGraph, помогает оценивать фактическую точность. Хотя масштабирование улучшает производительность, оно также вносит эффективность и проблемы обучения. Возможности BiomedGPT, особенно в сценариях без примеров, ограничены текущими ресурсами и стратегиями обучения, хотя доведение до конкретных наборов данных демонстрирует перспективу.
Практические решения и ценность:
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте BiomedGPT: A Versatile Transformer-Based Foundation Model for Biomedical AI with Enhanced Multimodal Capabilities and Performance.
Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.
Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.
Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.
На полученных данных и опыте расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/itinai. Следите за новостями о ИИ в нашем Телеграм-канале t.me/itinainews или в Twitter @itinairu45358.
Попробуйте AI Sales Bot https://itinai.ru/aisales. Этот AI ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru. будущее уже здесь!
Arcee AI выпустил DistillKit: открытый и простой в использовании инструмент для модельного дистилляции, создания эффективных маленьких языковых моделей.
Оригинал статьи можно найти здесь.
“`
