“`html
Решение для высококачественной реконструкции поверхностей в 3D из разреженных входных данных
Реконструкция поверхностей высокой точности из многовидовых изображений, особенно с ограниченными входными данными, является критической задачей в компьютерном зрении. Для автономного вождения, робототехники и виртуальной реальности необходимы точные 3D-модели для принятия эффективных решений и взаимодействия с реальными окружающими средами. Однако достижение этого уровня детализации и точности затруднено ограничениями в памяти, вычислительных ресурсах и способности захватывать сложную геометрическую информацию из ограниченных данных. Преодоление этих вызовов важно для продвижения технологий искусственного интеллекта, требующих как точности, так и эффективности, особенно в условиях ограниченных ресурсов.
Существующие подходы и их ограничения
Текущие подходы к нейронной реконструкции поверхностей делятся на многоступенчатые конвейеры и энд-то-энд нейронные неявные методы. Многоступенчатые конвейеры, такие как используемые в SparseNeuS, включают отдельные этапы для оценки глубины, фильтрации и создания сетки. Однако эти методы накапливают ошибки на различных этапах и неэффективны в оптимизации грубых и точных этапов вместе. Энд-то-энд методы, такие как использование нейронных неявных функций, упрощают процесс путем извлечения геометрии непосредственно с использованием методов, таких как Marching Cubes. Однако эти методы сталкиваются с существенными ограничениями памяти, особенно при работе с высокими объемами, и требуют большого количества входных видов для достижения удовлетворительных результатов. Кроме того, методы, зависящие от вида, такие как C2F2NeuS, которые создают отдельные объемы стоимости для каждого вида, являются вычислительно затратными и непрактичными для сценариев с большим количеством входных видов.
Новое решение: SuRF
Команда исследователей из Университета Пекина, Лаборатории Пэн Чэн, Университета Бирмингема и Alibaba предлагает SuRF, новую поверхностно-центричную структуру, разработанную для преодоления ограничений существующих методов путем обеспечения эффективной, высокоразрешающей реконструкции поверхностей из разреженных входных видов. Инновация заключается в стратегии энд-то-энд разрежения SuRF, которая является ненадзорной и поверхностно-центричной, снижая потребление памяти и вычислительную нагрузку, улучшая способность модели захватывать детальные геометрические особенности. Ключевым компонентом SuRF является модуль Matching Field, который эффективно находит поверхностные области, используя распределение весов вдоль лучей, позволяя модели сосредотачивать вычислительные ресурсы на областях близких к поверхности. Стратегия разрежения области дополнительно оптимизирует этот процесс, оставляя только воксели в идентифицированных поверхностных областях, тем самым уменьшая объем и позволяя использовать более высокоразрешающие особенности. Этот подход представляет собой значительное продвижение в реконструкции поверхностей, предлагая масштабируемое, эффективное и точное решение, особенно в сценариях с ограниченными входными данными.
Технические детали и результаты
SuRF создан с использованием многомасштабных объемов особенностей, сгенерированных сетью пирамиды особенностей (FPN) и адаптивной стратегией перекрестного масштабного слияния. Модель сначала извлекает многомасштабные особенности из входных изображений и агрегирует их с использованием сети слияния, которая интегрирует как глобальные, так и локальные особенности. Модуль Matching Field идентифицирует поверхностные области, создавая одноканальный объем сопоставления на каждом масштабе, который оценивает приблизительное положение поверхности вдоль луча, уточненное через разрежение области. Эта стратегия гарантирует, что только воксели внутри поверхностных областей сохраняются для более высокоразрешающих масштабов, существенно снижая потребление памяти и вычислительные требования. Обучение модели включает комбинацию потерь цвета, потерь согласованности особенностей, эйконной потери и потери искажения из поля сопоставления. Общая функция потерь разработана для оптимизации как предсказания поверхности, так и поля сопоставления, позволяя модели эффективно находить и реконструировать поверхности высокой точности даже из разреженных входных данных.
Результаты и перспективы
SuRF продемонстрировал существенные улучшения в точности и эффективности на нескольких бенчмарках, включая DTU, BlendedMVS, Tanks and Temples и ETH3D. В частности, SuRF достиг значительного улучшения точности на 46%, снизив потребление памяти на 80% по сравнению с предыдущими методами. Он последовательно превосходит существующие передовые подходы, достигая более низких расстояний Чамфера, что указывает на более тонкие и детальные реконструкции поверхности. Эти результаты подтверждают, что SuRF предлагает более эффективное и точное решение для высококачественной реконструкции поверхностей, особенно при работе с разреженными входными видами, что делает его очень подходящим для приложений, требующих как точности, так и эффективности ресурсов.
Заключение
SuRF представляет собой значительное продвижение в нейронной реконструкции поверхностей, предоставляя новый поверхностно-центричный подход, который объединяет ненадзорное энд-то-энд разрежение с эффективным использованием памяти. Через модуль Matching Field и стратегию разрежения области SuRF направляет вычислительные ресурсы на высокоразрешающую реконструкцию поверхностей, даже с разреженными входными видами. Экспериментальные результаты подтверждают эффективность SuRF, подчеркивая его потенциал установить новый стандарт в высококачественной реконструкции поверхностей в исследованиях по искусственному интеллекту. Этот подход не только решает критическую проблему в области, но также открывает двери для более масштабируемых и эффективных систем искусственного интеллекта, подходящих для развертывания в условиях ограниченных ресурсов.
Проверьте статью. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Твиттер и присоединиться к нашему каналу в Телеграме и группе в LinkedIn. Если вам нравится наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему сообществу 50k+ ML SubReddit
БЕСПЛАТНЫЙ ВЕБИНАР ПО ИСКУССТВЕННОМУ ИНТЕЛЛЕКТУ: “SAM 2 для видео: как настроить на ваши данные” (Ср, 25 сентября, 4:00 – 4:45 EST)
Опубликовано на MarkTechPost.