Преобразование изображений в 3D модели с помощью Vista3D
Практические решения для генерации качественных 3D моделей
Прежде генерация 3D моделей из одного изображения сталкивалась с проблемами. Feed-forward архитектуры создавали простые объекты из-за ограниченных 3D данных. Gaussian splatting обеспечивал быструю грубую геометрию, но лишенную деталей и согласованности взгляда. Наивное пороговое градиентное преобразование приводило к избыточной плотности и опухшим геометриям. Методы регуляризации улучшали точность, но их удаление вызывало структурные проблемы. Исследования пользователей показали проблемы согласованности взгляда и качества, подчеркивая необходимость надежных фреймворков. Недоступность данных, сохранение деталей и ограничения согласованности подчеркнули необходимость продвинутых подходов. Vista3D решает эти проблемы, представляя фреймворк, балансирующий скорость и качество в генерации 3D моделей из одиночных изображений.
Исследователи из Национального университета Сингапура и Huawei Technologies Ltd представляют Vista3D, новый фреймворк для создания 3D представлений из одного изображения. Система решает задачу выявления скрытых размеров объектов через двухфазный подход: грубая фаза, использующая Gaussian Splatting для начальной геометрии, и тонкая фаза, улучшающая геометрию путем извлечения и оптимизации функции знакового расстояния. Этот метод повышает качество модели, захватывая как видимые, так и скрытые аспекты объекта. Vista3D гармонизирует 2D и 3D-ориентированные априорные распределения диффузии, балансируя согласованность и разнообразие. Фреймворк достигает быстрой, последовательной генерации 3D за пять минут и позволяет редактирование по запросу пользователя через текстовые подсказки, что потенциально продвигает области, такие как игры и виртуальная реальность.
