“`html
Новый подход к трехмерной реконструкции сцен LM-Gaussian: использование приоритетов больших моделей для синтеза высококачественных сцен из ограниченного количества изображений
Недавние достижения в области разреженной трехмерной реконструкции сосредоточены на новых техниках синтеза изображений и представлении сцен. Методы, такие как Neural Radiance Fields (NeRF) и 3D Gaussian Splatting (3DGS), значительно улучшили точность реконструкции сложных реальных сцен. Исследователи предложили различные улучшения для повышения производительности, скорости и качества. Техники реконструкции сцен с ограниченным количеством изображений используют методы регуляризации и обобщенные априорные предположения для решения проблем ограниченного ввода. Недавние подходы, такие как SparseGS, pixelSplat и MVSplat, дополнительно улучшили эти основы.
Практические решения и ценность:
LM-Gaussian решает проблемы трехмерной реконструкции с ограниченным вводом изображений, генерируя высококачественные результаты из ограниченного количества изображений. Метод включает надежный модуль инициализации, использующий стереоприоры для восстановления позиции камеры и создания надежного облака точек. Модуль итеративного уточнения Гаусса применяет техники на основе диффузии для улучшения деталей изображения и сохранения характеристик сцены во время оптимизации 3D Gaussian Splatting. Приоритеты видеодиффузии дополнительно улучшают отображаемые изображения для реалистичных визуальных эффектов.
LM-Gaussian демонстрирует значительные преимущества в разреженной трехмерной реконструкции, превосходя базовые методы, такие как DNGaussian и SparseNerf. Количественные метрики, включая PSNR, SSIM и LPIPS, показывают улучшенное качество реконструкции и более тонкие детали на отображенных изображениях. Метод превосходит оригинальный 3DGS при различном количестве входных изображений, хотя его преимущества уменьшаются в более плотных настройках.
В заключение, LM-Gaussian представляет новый подход к трехмерной реконструкции с ограниченным вводом данных, значительно снижая требования к сбору данных и достигая высокого качества в сложных сценах 360 градусов.
Проверьте статью. Вся заслуга за это исследование принадлежит его авторам. Также не забудьте подписаться на наш Twitter и присоединиться к нашему каналу в Telegram и LinkedIn. Если вам нравится наша работа, вам понравится наш новостной бюллетень.
Не забудьте присоединиться к нашему сообществу в Reddit: 50k+ ML SubReddit.
Бесплатный вебинар по ИИ: “SAM 2 для видео: как настроить на ваши данные” (Ср, 25 сентября, 4:00 – 4:45 EST).
Источник: MarkTechPost.
“`
