Новое исследование из Китая в области ИИ представляет 4K4D: 4D представление облака точек, поддерживающее аппаратную растеризацию и обеспечивающее безпрецедентную скорость отрисовки. Возможно, это откроет новые возможности в визуализации и разработке игр! #AI #4K4D
Исследование ИИ из Китая представляет 4K4D: 4D-представление облака точек, поддерживающее аппаратное растеризацию и обеспечивающее невиданную скорость визуализации
Введение
Динамическая синтезированная видимость – это задача компьютерного зрения и графики, которая пытается восстановить динамические 3D-сцены из захваченных видео и создать погружающее виртуальное воспроизведение. Практичность этой техники зависит от ее способности к высококачественной реальному времени визуализации, что позволяет использовать ее в VR/AR, спортивной трансляции и художественном захвате движений. Традиционные подходы представляют динамические 3D-сцены в виде текстурированных последовательностей мешей и восстанавливают их с использованием сложных аппаратных средств, что ограничивает их применимость в контролируемых средах. Недавно предложенные методы неявных нейронных представлений показали значительный успех в восстановлении динамических 3D-сцен из RGB-видео с помощью дифференцируемой визуализации. Недавно разработанные техники моделируют целевую сцену как динамическое поле яркости и используют объемную визуализацию для синтеза изображений, сравнивая их с входными изображениями для оптимизации. Несмотря на впечатляющие результаты в динамической синтезированной видимости, существующие подходы обычно требуют секунд или даже минут для визуализации изображения с разрешением 1080p из-за ресурсоемкой оценки сети.
Преимущества 4K4D
Настоящее исследование представляет новое нейронное представление, называемое 4K4D, разработанное для моделирования и визуализации динамических 3D-сцен. 4K4D демонстрирует значительные улучшения по сравнению с предыдущими подходами к динамической синтезированной видимости в скорости визуализации, сохраняя конкурентоспособность в качестве визуализации. Основные инновации заключаются в 4D-представлении облака точек и гибридной модели внешнего вида. Для динамической сцены получается грубая последовательность облака точек с использованием алгоритма пространственной вырезки, где позиция каждой точки моделируется в виде обучаемого вектора. Вводится 4D-сетка признаков для назначения признакового вектора каждой точке, который затем подается на MLP-сети для предсказания радиуса точки, плотности и коэффициентов сферических гармоник (SH). 4D-сетка признаков естественным образом применяет пространственную регуляризацию к облакам точек, улучшая устойчивость оптимизации. Кроме того, разработан алгоритм дифференцируемого удаления слоев, использующий аппаратный растеризатор для достижения невиданной скорости визуализации.
Преимущества гибридной модели внешнего вида
Исследование выявляет проблемы представления модели SH на основе MLP внешнего вида динамической сцены. Для решения этой проблемы вводится модель смешивания изображений, которая дополняет модель SH в представлении внешнего вида сцены. Важный выбор дизайна обеспечивает независимость сети смешивания изображений от направления обзора, что позволяет предварительно вычислить ее после обучения для улучшения скорости визуализации. Однако такая стратегия вводит проблему дискретного поведения вдоль направления обзора, которая решается с помощью непрерывной модели SH. В отличие от трехмерного гауссовского сглаживания, которое использует только модель SH, эта гибридная модель внешнего вида полностью использует информацию, запечатленную входными изображениями, эффективно улучшая качество визуализации.
Результаты исследования
Обширные эксперименты, проведенные авторами, утверждают, что 4K4D достигает визуализации с порядками большей скоростью, превосходя при этом современные методы по качеству визуализации. Согласно данным, при использовании графического процессора RTX 4090 этот метод достигает скорости до 400 кадров в секунду при разрешении 1080p и 80 кадров в секунду при разрешении 4K.
Заключение
Это был краткий обзор 4K4D, нового 4D-представления облака точек, использующего аппаратную растеризацию и обеспечивающего невиданную скорость визуализации. Если вас заинтересовало это исследование и вы хотите узнать больше, пожалуйста, обратитесь к ссылкам, указанным ниже.
Проверьте статью и проект. Все заслуги за это исследование принадлежат его авторам. Также не забудьте присоединиться к нашему сообществу в Telegram, Facebook, Discord и подписаться на нашу электронную рассылку, где мы делимся последними новостями об искусственном интеллекте, интересными проектами и многое другое.
Если вам нравится наша работа, вам понравится наша рассылка.
Мы также находимся в Telegram и WhatsApp.
Это была статья о 4K4D, новом 4D-представлении облака точек, использующем аппаратную растеризацию и обеспечивающем невиданную скорость визуализации. Если вам нужны рекомендации по управлению ИИ в бизнесе, свяжитесь с нами по адресу hello@itinai.ru. Чтобы быть в курсе последних новостей об ИИ, подпишитесь на наш Telegram-канал t.me/itinairu.
Посмотрите на практический пример решения на основе ИИ: бот для продаж от itinai.ru/aisales, созданный для автоматизации общения с клиентами круглосуточно и управления взаимодействием на всех этапах пути клиента.
Изучите, как искусственный интеллект может улучшить ваши продажи и общение с клиентами. Познакомьтесь с нашими решениями на сайте itinai.ru.
