Эффективная классификация медицинских изображений с помощью моделей зрения и языка без учителя

 MedUnA: Efficient Medical Image Classification through Unsupervised Adaptation of Vision-Language Models

“`html

Применение обучения с учителем в классификации медицинских изображений

Применение обучения с учителем в классификации медицинских изображений сталкивается с вызовами из-за недостатка размеченных данных, так как получение экспертных аннотаций затруднительно. Модели видение-язык (VLM) решают эту проблему, используя визуально-текстовое выравнивание, что позволяет проводить обучение без учителя и снижает зависимость от размеченных данных. Предварительное обучение на больших медицинских наборах изображений и текста позволяет моделям VLM генерировать точные метки и подписи, снижая затраты на разметку. Активное обучение определяет ключевые образцы для экспертной аннотации, а перенос обучения настраивает предварительно обученные модели на конкретных медицинских наборах данных. Модели VLM также генерируют синтетические изображения и аннотации, улучшая разнообразие данных и производительность моделей в медицинских задачах обработки изображений.

Метод MedUnA для медицинской неупорядоченной адаптации

Исследователи из Университета искусственного интеллекта Мохамеда бин Зайеда и Института искусственного интеллекта предлагают метод MedUnA, который представляет собой метод медицинской неупорядоченной адаптации для классификации изображений. MedUnA использует двухэтапное обучение: предварительное обучение адаптера с использованием текстовых описаний, сгенерированных LLM, выравненных с классовыми метками, а затем обучение без учителя. Адаптер интегрируется с визуальным кодировщиком MedCLIP, используя минимизацию энтропии для выравнивания визуальных и текстовых вложений. MedUnA решает проблему разрыва между текстовыми и визуальными данными, улучшая производительность классификации без обширного предварительного обучения. Этот метод эффективно адаптирует модели видение-язык для медицинских задач, снижая зависимость от размеченных данных и улучшая масштабируемость.

Эксперименты и результаты

Эксперименты тестировали предложенный метод на пяти общедоступных медицинских наборах данных, охватывающих заболевания, такие как туберкулез, пневмония, диабетическая ретинопатия и рак кожи. Текстовые описания для классов в каждом наборе данных генерировались с использованием GPT-3.5 и других языковых моделей, после чего они подавались в текстовый классификатор. Метод оценивался с использованием визуальных кодировщиков CLIP и MedCLIP, при этом MedCLIP в целом проявил себя лучше. Было использовано обучение без учителя для генерации псевдометок для неразмеченных изображений, и модели обучались с использованием оптимизатора SGD. Результаты показали, что предложенный метод MedUnA достиг более высокой точности по сравнению с базовыми моделями.

Применение в бизнесе

Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте MedUnA: Efficient Medical Image Classification through Unsupervised Adaptation of Vision-Language Models. Проанализируйте, как ИИ может изменить вашу работу, определите, где возможно применение автоматизации и какие ключевые показатели эффективности вы хотите улучшить с помощью ИИ. Подберите подходящее решение, внедряйте ИИ постепенно, анализируйте результаты и опыт, расширяйте автоматизацию.

Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/itinai. Следите за новостями о ИИ в нашем Телеграм-канале t.me/itinainews или в Twitter @itinairu45358.

Попробуйте AI Sales Bot https://itinai.ru/aisales. Этот AI ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж и снижать нагрузку на первую линию.

Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru. Будущее уже здесь!

“`

Полезные ссылки: