LLMDet: Как большие языковые модели улучшают обнаружение объектов с открытым словарем

Легче сразу спросить 💭

AI снижает операционные расходы на 20–40% 📊 за 6 месяцев. А что бы вы сделали с этими деньгами?

Опишите задачу — обсудим, как это можно реализовать у вас.

ИИ автоматизирует 70% рутинных задач 🤖 за 3 месяца. Какие процессы в вашем бизнесе скинуть роботу?

Персонализированные AI-кампании увеличивают клиентскую базу на 30% 📈. Как это работает?

AI-аналитика сокращает ошибки в прогнозах на 50% 📉. Расскажите подробнее!

«`html

LLMDet: Как большие языковые модели улучшают обнаружение объектов с открытым вокабуляром

Обнаружение объектов с открытым вокабуляром (OVD) позволяет выявлять произвольные объекты по текстовым меткам, предоставленным пользователем. Однако текущие технологии сталкиваются с тремя основными проблемами:

Сложность масштабирования из-за зависимости от дорогих аннотированных данных.
Недостаток контекстуального понимания в кратких описаниях объектов.
Слабая обобщаемость на новые категории объектов.

Новые решения от LLMDet

Исследователи из различных университетов и лабораторий предложили LLMDet — новый детектор, обученный под руководством большой языковой модели. Этот подход включает:

Новый набор данных GroundingCap-1M с 1.12 миллиона изображений.
Комбинацию детализированных и кратких текстовых описаний для улучшения согласования объектов и текста.
Двойное обучение: сочетание потерь для выравнивания текстовых меток и генерации описаний.

Эффективность и производительность

Обучение проходит в два этапа:

Оптимизация проектора для выравнивания визуальных признаков детектора с пространством признаков языковой модели.
Совместное дообучение детектора и языковой модели.

Модель достигает государственного уровня производительности по ряду тестов на обнаружение объектов с открытым вокабуляром, превосходя предыдущие модели на 3.3%–14.3% AP.

Практическая ценность

Использование больших языковых моделей в OVD делает обучение масштабируемым и эффективным. LLMDet решает основные проблемы существующих OVD-структур, улучшает обобщаемость и распознавание редких классов.