CollaMamba: Инновационная Модель для Совместного Восприятия в Автономных Системах
Практические Решения и Ценность
Совместное восприятие стало ключевой областью исследований в автономном вождении и робототехнике. Агенты, такие как автомобили или роботы, должны сотрудничать для более точного и эффективного понимания окружающей среды. Путем обмена сенсорными данными между несколькими агентами повышается точность и глубина восприятия окружающей среды, что приводит к более безопасным и надежным системам.
Одним из ключевых вызовов в многозаголовочном восприятии является управление огромными объемами данных при эффективном использовании ресурсов. Традиционные методы должны сбалансировать запросы на точное пространственное и временное восприятие на длинные расстояния с минимизацией вычислительных и коммуникационных накладных расходов. Существующие подходы часто не справляются с длинными пространственными зависимостями или продолжительными временными рамками, что является критическим для точных прогнозов в реальных условиях.
Многие системы многозаголовочного восприятия в настоящее время используют методы на основе CNN или трансформеров для обработки и слияния данных между агентами. CNN могут эффективно захватывать локальную пространственную информацию, но часто испытывают трудности с длинными зависимостями, ограничивая их способность моделировать полную обстановку окружающей среды агента. С другой стороны, модели на основе трансформеров, хотя и способны лучше работать с длинными зависимостями, требуют значительной вычислительной мощности, что делает их менее пригодными для реального времени.
Исследователи из Государственной ключевой лаборатории сетевых и коммутационных технологий при Пекинском университете почтовой и телекоммуникационной связи представили новую структуру под названием CollaMamba. Эта модель использует пространственно-временное состояние (SSM) для эффективной обработки совместного восприятия между агентами. Путем интеграции модулей кодера и декодера на основе Mamba, CollaMamba предоставляет ресурсоэффективное решение, которое эффективно моделирует пространственные и временные зависимости между агентами.
Методология CollaMamba построена вокруг улучшения как пространственного, так и временного извлечения признаков. Основа модели спроектирована для захвата причинных зависимостей как с точки зрения одиночных, так и совместных агентов. Это позволяет системе обрабатывать сложные пространственные отношения на большие расстояния с снижением использования ресурсов. Модуль улучшения признаков, осведомленный историей, также играет критическую роль в уточнении неоднозначных признаков путем использования расширенных временных рамок. Модуль слияния между агентами обеспечивает эффективное сотрудничество, позволяя каждому агенту интегрировать признаки, общие для соседних агентов, что дополнительно повышает точность понимания глобальной сцены.
В отношении производительности модель CollaMamba демонстрирует значительные улучшения по сравнению с современными методами. Модель последовательно превзошла существующие решения через обширные эксперименты на различных наборах данных, включая OPV2V, V2XSet и V2V4Real. Одним из значительных результатов является значительное снижение требований к ресурсам: CollaMamba сократила вычислительные накладные расходы до 71,9% и уменьшила коммуникационные издержки в 64 раза. Эти сокращения особенно впечатляют, учитывая, что модель также повысила общую точность задач многозаголовочного восприятия. Например, CollaMamba-ST, включающая модуль улучшения признаков, показала улучшение средней точности на 4,1% при пороге IoU 0,7 на наборе данных OPV2V. Тем временем, более простая версия модели, CollaMamba-Simple, продемонстрировала сокращение параметров модели на 70,9% и снижение FLOPs на 71,9%, что делает ее очень эффективной для приложений реального времени.
Дальнейший анализ показывает, что CollaMamba превосходит в средах, где связь между агентами непостоянна. Версия модели CollaMamba-Miss разработана для прогнозирования отсутствующих данных от соседних агентов с использованием исторических пространственно-временных траекторий. Эта способность позволяет модели поддерживать высокую производительность даже в случае задержек в передаче данных. Эксперименты показали, что CollaMamba-Miss продемонстрировала устойчивые результаты, с минимальными падениями точности в условиях симулированных проблем с коммуникацией. Это делает модель высокоадаптивной к реальным средам, где могут возникать проблемы с коммуникацией.
В заключение, исследователи из Пекинского университета почтовой и телекоммуникационной связи успешно справились с значительным вызовом в многозаголовочном восприятии, разработав модель CollaMamba. Эта инновационная структура улучшает точность и эффективность задач восприятия, существенно снижая ресурсные накладные расходы. Благодаря эффективному моделированию длинных пространственно-временных зависимостей и использованию исторических данных для уточнения признаков, CollaMamba представляет собой значительный прогресс в области автономных систем. Способность модели эффективно функционировать даже при плохой связи делает ее практичным решением для приложений в реальном мире.
