MAETok: Токенизатор на основе маскированного автоэнкодера для эффективных диффузионных моделей

This AI Paper Introduces MAETok: A Masked Autoencoder-Based Tokenizer for Efficient Diffusion Models

“`html

Модели диффузии и их возможности

Модели диффузии создают изображения, постепенно преобразуя шум в структурированные представления. Однако высокая вычислительная стоимость остаётся важной проблемой, особенно при работе с данными высокого разрешения.

Оптимизация латентного пространства

Ключевая задача заключается в качестве и структуре латентного пространства. Традиционные подходы, такие как вариационные автокодеры (VAE), помогают регулировать латентное пространство, но часто не обеспечивают высокую точность на уровне пикселей. Автокодеры (AE) могут создавать более точные изображения, но ведут к запутанному латентному пространству, что затрудняет обучение.

Новый подход: MAETok

Команда исследователей из нескольких университетов разработала новый токенизатор – Masked Autoencoder Tokenizer (MAETok). Он использует маскированное моделирование для создания более структурированного латентного пространства при высокой точности восстановления.

Методология MAETok

MAETok тренируется на архитектуре, основанной на Vision Transformer (ViT). В процессе обучения часть входных токенов случайно маскируется, что позволяет модели предсказывать недостающие данные. Это улучшает обучение и качество латентного пространства.

Результаты исследования

MAETok показал выдающиеся результаты на тестах генерации изображений, значительно снизив вычислительные затраты. Модель использовала только 128 латентных токенов и достигла gFID 1.69 для изображений разрешения 512×512. Обучение было в 76 раз быстрее, а пропускная способность вывода – в 31 раз выше по сравнению с традиционными методами.