VQ4DiT: Эффективный метод векторной квантовании после обучения для моделей Diffusion Transformers (DiTs)
Модели передачи текста в изображения сделали значительные шаги в создании сложных и верных изображений из входных условий. Среди них модели Diffusion Transformers (DiTs) выделяются особой мощью, но их развертывание столкнулось с проблемами из-за большого количества параметров и высокой вычислительной сложности.
Преимущества DiTs и вызовы развертывания
Модели DiTs превосходят модели на основе UNet в качестве изображений, но сталкиваются с вызовами развертывания из-за своей вычислительной сложности. Генерация изображения разрешением 256 × 256 при использовании модели DiT XL/2 требует более 17 секунд и 105 Gflops на GPU NVIDIA A100, что делает их непрактичными для развертывания на устройствах с ограниченными ресурсами, в частности, через квантование модели.
VQ4DiT: Эффективное векторное квантование после обучения для моделей Diffusion Transformers
VQ4DiT разработан для эффективного и точного векторного квантования моделей DiTs без необходимости калибровочного набора данных. Он минимизирует среднеквадратическую ошибку между результатами моделей с плавающей точкой и квантованными моделями на каждом этапе времени и блоке DiT, обеспечивая поддержание производительности квантованной модели, аналогичной модели с плавающей точкой и предотвращая коллапс калибровки из-за накапливания ошибок при квантовании.
Результаты экспериментов и практическое применение
Модель DiT XL/2, квантованная с использованием VQ4DiT, продемонстрировала превосходную производительность на наборах данных ImageNet разрешения 256×256 и 512×512 на различных этапах времени и разрядностях весов. VQ4DiT продемонстрировал возможность создания высококачественных и высокоразрешенных изображений с минимальной потребляемой памятью, что делает его идеальным для развертывания DiTs на устройствах с ограниченными ресурсами.
Завершение и приглашение к действию
Исследование представляет VQ4DiT, уникальный и надежный метод векторного квантования после обучения для DiTs, который решает ключевые проблемы эффективного квантования. Этот подход значительно расширяет потенциал развертывания DiTs на ресурсоемких устройствах, открывая новые возможности для эффективного создания высококачественных изображений в различных приложениях.
Подробнее о работе доступно здесь.
Подпишитесь на наш LinkedIn и Twitter, а также следите за новостями в нашем Телеграм-канале.
Если вам нравится наша работа, вам понравится наш наша рассылка.
Присоединяйтесь к нашему сообществу на Reddit.
Если ваша компания хочет развиваться с помощью ИИ, обратитесь к нам для консультации по эффективному внедрению ИИ. Следите за новостями о ИИ в нашем Телеграм-канале itinainews и на Twitter.
Попробуйте AI Sales Bot – искусственный интеллект, который помогает в продажах, отвечая на вопросы клиентов, создавая контент и снижая нагрузку на отдел продаж.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru.
