“`html
Анализ CancerLLM: большая языковая модель в области онкологии
Медицинские LLM, такие как ClinicalCamel 70B и Llama3-OpenBioLLM 70B, показали сильные результаты в различных медицинских задачах NLP, но специально адаптированной модели для области онкологии на данный момент не существует. Кроме того, эти модели с миллиардами параметров требуют больших вычислительных затрат для многих систем здравоохранения. LLM, сфокусированные на онкологии и интегрирующие специализированные знания об онкологии, могут значительно улучшить диагностику и планирование лечения. Тем не менее, высокие вычислительные требования существующих моделей подчеркивают потребность в более компактных и эффективных LLM, доступных для медицинских учреждений с ограниченными ресурсами, что позволит более широко внедрять и улучшить уход за пациентами в лечении рака.
Модель CancerLLM: новый прорыв в области онкологии
Исследователи из нескольких учреждений, включая Университет Миннесоты и Йельский университет, представили CancerLLM – языковую модель с 7 миллиардами параметров на базе архитектуры Mistral. Модель, предварительно обученная на более чем 2,6 миллионов клинических записей и 500 000 патологических отчетов, охватывающих 17 типов рака, была дообучена для извлечения фенотипа рака и генерации диагнозов. Она показала улучшение производительности на 7,61% по F1-мере по сравнению с существующими моделями и превзошла их в тестах на устойчивость к контрфактуальным ошибкам и орфографическим ошибкам.
Практическое применение CancerLLM
Результаты демонстрируют, что CancerLLM значительно превосходит другие медицинские LLM в области рака, улучшая диагностику и извлечение фенотипа. Он превосходит базовые модели, такие как Mistral 1*7B и Bio-Mistral 7B, с заметным улучшением F1-меры на 28,93% и 17,92% соответственно. CancerLLM также достигает лучших результатов по сравнению с LLM с большим количеством параметров, такими как Llama3-OpenBioLLM-70B и ClinicalCamel-70B, что указывает на то, что размер модели сам по себе недостаточен без знаний в специфической области. Кроме того, он демонстрирует устойчивость к контрфактуальным ошибкам и орфографическим ошибкам, поддерживая производительность при различных уровнях вводных ошибок. Эффективное использование GPU-памяти и времени генерации подчеркивает эффективность модели. Он превосходит более крупные модели, такие как ClinicalCamel-70B, по потреблению ресурсов, предлагая конкурентоспособные или более высокие результаты.
В задаче генерации диагнозов рака CancerLLM, несмотря на то, что Bio-Mistral 7B достигает лучшей производительности среди базовых моделей, CancerLLM превзошел все модели, включая MoE-based Mistral 8*7B. Даже модели с более крупными параметрами, такие как Llama3-OpenBioLLM-70B и ClinicalCamel-70B, не опередили Bio-Mistral 7B, что подчеркивает то, что для гарантированного улучшения результатов требуется больше, чем просто большой размер параметров. Результаты показывают, что областно-специфические знания CancerLLM способствовали его превосходной производительности, особенно в генерации диагнозов рака.
В задаче извлечения фенотипа рака CancerLLM с небольшим размером параметров проявил эффективность в ограниченных ресурсах, сопоставимую с Mistral 8*7B и Llama2 13B. Эффективность модели связана с использованием клинических записей и патологических отчетов во время обучения.
Попробуйте AI Sales Bot AI Sales Bot. Этот AI ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж и снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru будущее уже здесь! Если вам нужны советы по внедрению ИИ, пишите нам!
“`
