“`html
Light3R-SfM: Эффективный подход к восстановлению 3D-сцен
Метод Structure-from-Motion (SfM) позволяет восстанавливать позиции камер и создавать 3D-сцены из множества изображений. Это важно для 3D-реконструкции и синтеза новых видов. Однако, обработка больших коллекций изображений с сохранением точности представляет собой сложную задачу.
Проблемы существующих методов
Существующие подходы используют оптимизацию поз камер и геометрии сцен, что увеличивает вычислительные затраты. Основная проблема заключается в масштабировании SfM для больших наборов данных при балансе скорости, точности и потребления памяти.
Существуют два основных подхода в методах SfM: инкрементальный и глобальный. Инкрементальные методы строят 3D-сцены поэтапно, начиная с двух изображений, в то время как глобальные методы выравнивают все камеры одновременно перед реконструкцией. Оба метода требуют значительных вычислительных ресурсов.
Решение от Light3R-SfM
Команда исследователей из NVIDIA, Vector Institute и Университета Торонто разработала Light3R-SfM, полностью обучаемую модель, которая оценит глобально выровненные позиции камер, не проводя затратную глобальную оптимизацию. Этот метод превосходит традиционные методы, так как он использует имплицитный модуль глобального выравнивания в скрытом пространстве, что позволяет эффективно делиться признаками между множественными видами перед 3D-реконструкцией.
Light3R-SfM быстрее, чем аналогичные методы, и реконструирует сцену из 200 изображений всего за 33 секунды, что в 49 раз быстрее, чем MASt3R-SfM, который требует 27 минут.
Этапы реализации
Метод Light3R-SfM включает пять этапов:
- Кодирование изображений в токены признаков;
- Глобальное выравнивание с помощью самовнимания и перекрестного внимания;
- Конструирование графа сцены с использованием алгоритма кратчайшего пути;
- Декодирование парных карт точек;
- Объединение в глобально выровненную 3D-реконструкцию без традиционной глобальной оптимизации.
Преимущества и результаты
Исследование показало, что Light3R-SfM значительно превзошел другие методы по скорости и точности, достигая более чем 145% повышения точности относительной ротации и 84% повышения точности абсолютного трансляции.
Заключение
Предложенный метод заменяет традиционное сопоставление и глобальную оптимизацию на 3D-модели и масштабируемый модуль выравнивания. Это позволяет значительно сократить время обработки при сохранении конкурентоспособной точности. Однако, у метода есть ограничения по масштабируемости и точности при низком разрешении изображений.
Как развивать свой бизнес с использованием ИИ?
Чтобы ваша компания процветала с помощью искусственного интеллекта (ИИ), используйте практические решения:
- Анализируйте, как ИИ может изменить вашу работу.
- Определите, где можно применить автоматизацию для выгоды клиентов.
- Выберите ключевые показатели эффективности (KPI), которые вы хотите улучшить с помощью ИИ.
- Постепенно внедряйте ИИ-решения, начиная с маленьких проектов и анализируя результаты.
- На основе полученных данных расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам в Telegram. Следите за новостями об ИИ в нашем Телеграм-канале или в Twitter.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab. Будущее уже здесь!
“`
