“`html
LaMMOn: Решение для многокамерного отслеживания с использованием трансформеров и графовых нейронных сетей для улучшенного управления трафиком в реальном времени
Многокамерное отслеживание (MTMCT) является ключевым элементом интеллектуальных транспортных систем. Однако оно сталкивается с проблемами в реальных приложениях из-за ограниченности общедоступных данных и трудоемкого процесса ручной аннотации. Эффективное управление трафиком было улучшено благодаря прогрессу в компьютерном зрении, позволяющем точно прогнозировать и анализировать объемы трафика. MTMCT включает в себя отслеживание транспортных средств на нескольких камерах путем обнаружения объектов, выполнения отслеживания нескольких объектов в пределах одной камеры и, наконец, кластеризации траекторий для создания общей карты движения транспортных средств. Несмотря на свой потенциал, MTMCT сталкивается с проблемами, такими как необходимость новых правил сопоставления для каждого сценария камеры, ограниченные наборы данных и высокие затраты на ручную разметку.
Решение LaMMOn
Исследователи из Университета Теннесси в Чаттануге и Центра исследований L3S при Ганноверском университете разработали модель многокамерного отслеживания LaMMOn на основе трансформеров и графовых нейронных сетей. LaMMOn объединяет три модуля: модель обнаружения языка (LMD) для обнаружения объектов, модель ассоциации языка и графа (LGMA) для отслеживания и кластеризации траекторий, а также модуль текстового встраивания (T2E) для генерации встраиваний объектов из текста для решения ограничений данных. Эта модель показывает хорошие результаты на различных наборах данных, включая CityFlow и TrackCUIP, обладая конкурентоспособной производительностью в реальном времени. Дизайн LaMMOn устраняет необходимость в новых правилах сопоставления и ручной разметке, используя синтезированные встраивания из текста.
Многократное отслеживание объектов (MOT) включает в себя ассоциацию объектов на видеокадрах с одной камеры для создания треклетов, с методами, такими как Tracktor, CenterTrack и TransCenter, улучшающими возможности отслеживания. MTMCT расширяет это, интегрируя движения объектов на нескольких камерах, часто рассматривая MTMCT как расширение кластеризации результатов MOT. Техники, такие как пространственно-временная фильтрация и ограничения правил дорожного движения, улучшили точность, хотя LaMMOn отличается тем, что объединяет задачи обнаружения и ассоциации в единый процесс. Модели трансформеров, такие как Trackformer и TransTrack, а также графовые нейронные сети, такие как GCN и GAT, были использованы для улучшения производительности отслеживания, включая обработку сложных структур данных и оптимизацию многокамерного отслеживания.
Фреймворк LaMMOn состоит из трех ключевых модулей: модуль LMD, который обнаруживает объекты и генерирует встраивания; модуль LGMA, который обрабатывает многокамерное отслеживание и кластеризацию траекторий; и модуль T2E, который синтезирует встраивания объектов из текстовых описаний. LMD объединяет видеокадры с позиционными и идентификаторами камер, чтобы произвести встраивания объектов с использованием Deformable DETR. LGMA использует эти встраивания для выполнения глобальной ассоциации треклетов с помощью графовых токенов. Модуль T2E, основанный на Sentencepiece, генерирует синтетические встраивания из текста, решая ограничения данных и снижая затраты на разметку.
Модель LaMMOn была оценена на трех наборах данных по многокамерному отслеживанию: CityFlow, I24 и TrackCUIP. На CityFlow LaMMOn достиг результатов IDF1 78.83% и HOTA 76.46% с частотой кадров 12.2, превзойдя другие методы, такие как TADAM и BLSTM-MTP. Для набора данных I24 LaMMOn продемонстрировал превосходную производительность по сравнению с предыдущими моделями. Результаты TrackCUIP также подчеркивают эффективность LaMMOn, с заметным улучшением IDF1 и HOTA по сравнению с другими методами при эффективной частоте кадров.
Модель LaMMOn представляет собой решение для многокамерного отслеживания, использующее трансформеры и графовые нейронные сети. Она решает ограничения отслеживания по обнаружению с помощью генеративного подхода, минимизируя ручную разметку путем синтеза встраиваний объектов из текстовых описаний с помощью модулей LMD и T2E. Метод кластеризации траекторий с использованием модуля LGMA улучшает генерацию треклетов и адаптируется к различным сценариям трафика. Обладая возможностями реального времени, LaMMOn достигает конкурентоспособной производительности с CityFlow (IDF1 78.83%, HOTA 76.46%), I24 (HOTA 25.7%) и TrackCUIP (IDF1 81.83%, HOTA 80.94%).
Подробнее о работе можно узнать в статье. Вся заслуга за это исследование принадлежит его авторам. Также не забудьте подписаться на наш Twitter и присоединиться к нашему каналу в Telegram и группе в LinkedIn. Если вам понравилась наша работа, вам понравится и наш новостной бюллетень.
Не забудьте присоединиться к нашему сообществу в Reddit.
Найдите предстоящие вебинары по ИИ здесь.
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте LaMMOn: An End-to-End Multi-Camera Tracking Solution Leveraging Transformers and Graph Neural Networks for Enhanced Real-Time Traffic Management.
Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.
Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.
Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.
На полученных данных и опыте расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам на Telegram. Следите за новостями о ИИ в нашем Телеграм-канале или в Twitter.
Попробуйте AI Sales Bot здесь. Этот AI ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж и снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru. Будущее уже здесь!
“`
