Meta AI представляет новый метод искусственного интеллекта – Relightable Gaussian Codec Avatars, позволяющий создавать высококачественные анимированные головные аватары с возможностью изменения освещения и создания новых выражений. Уникальный подход к созданию выразительных лиц.
В рамках новаторского подхода исследователи Meta AI решают проблему достижения высокой реалистичности освещения для динамических 3D аватаров. Традиционные методы часто отставали при захвате сложных деталей выражений лица, особенно в реальном времени, когда эффективность играет ключевую роль. Команда исследователей Meta AI представила метод “Relightable Gaussian Codec Avatars”, который готов переопределить понятие реализма аватаров.
Основная проблема, решаемая исследовательской командой, заключается в необходимости более четкого захвата субмиллиметровых деталей, таких как волосы и поры, в динамических последовательностях лиц. Сложность заключается в эффективном моделировании различных материалов в человеческих головах, включая глаза, кожу и волосы, с учетом всех частот отражений. Ограничения существующих методов подтолкнули к необходимости инновационного решения, которое позволяет плавно сочетать реализм и производительность в реальном времени.
Существующие подходы к созданию аватаров с возможностью изменения освещения боролись с компромиссом между производительностью в реальном времени и реалистичностью. Одной из наиболее сложных задач была необходимость метода, способного захватывать динамические детали лица в приложениях реального времени. Команда исследователей Meta AI увидела этот пробел и представила “Relightable Gaussian Codec Avatars” в качестве трансформационного решения.
Метод Meta AI представляет геометрическую модель на основе 3D-гауссиан, обеспечивающую точность до субмиллиметровой детализации. Это значительный шаг вперед в захвате динамических последовательностей лиц, обеспечивая аватары живописными деталями, включая нюансы волос и пор. Модель реалистичного внешнего вида, ключевой компонент этого инновационного подхода, основана на обучаемом переносе излучения.
Главное преимущество этих аватаров заключается в комплексном подходе к их созданию. Геометрическая модель, параметризованная 3D-гауссианами, является основой аватаров, позволяя эффективную отрисовку с использованием метода гауссовского сплетения. Модель внешнего вида, управляемая обучаемым переносом излучения, объединяет диффузные сферические гармоники и спекулярные сферические гауссианы. Это позволяет аватарам динамически изменять освещение в реальном времени с помощью точечного света и непрерывной подсветки.
Помимо технических аспектов, метод представляет разделенное управление выражением, взглядом, видом и освещением. Аватары могут быть динамически анимированы с использованием латентного кода выражения, информации о взгляде и целевого направления обзора. Этот уровень контроля является значительным шагом вперед в анимации аватаров, предлагая тонкий и интерактивный пользовательский опыт.
Эти аватары – не только теоретическое достижение; они приносят осязаемые результаты. Метод позволяет разделенное управление различными аспектами, как продемонстрировано через анимацию в реальном времени с использованием камеры, установленной на голове. Эта возможность создает динамичный, интерактивный контент, где видеовходы в реальном времени могут плавно управлять аватарами.
В заключение, “Relightable Gaussian Codec Avatars” от Meta AI становится свидетельством мощи инноваций в решении сложных задач. Путем объединения геометрической модели на основе 3D-гауссиан с революционной моделью внешнего вида, основанной на обучаемом переносе излучения, исследовательская команда преодолела ограничения существующих методов и установила новый стандарт для реализма аватаров.
Если вам нужны рекомендации по управлению ИИ в бизнесе, свяжитесь с нами по адресу hello@itinai.com. Чтобы быть в курсе последних новостей об ИИ, подписывайтесь на наш Telegram-канал.
Посмотрите на практический пример решения на основе ИИ: бот для продаж, созданный для автоматизации общения с клиентами круглосуточно и управления взаимодействием на всех этапах пути клиента.
Изучите, как искусственный интеллект может улучшить ваши продажи и общение с клиентами. Познакомьтесь с нашими решениями на сайте itinai.ru.
