“`html
Новый метод SaRA: эффективная настройка для улучшения предварительно обученных моделей диффузии
Недавние достижения в моделях диффузии значительно улучшили задачи генерации изображений, видео и 3D с использованием предварительно обученных моделей, таких как Stable Diffusion. Однако адаптация этих моделей к новым задачам эффективно остается вызовом. Существующие методы тонкой настройки, такие как Additive, Reparameterized и Selective-based, имеют ограничения, такие как увеличенная задержка, переобучение или сложный выбор параметров. Предлагаемое решение включает использование “временно неэффективных” параметров – тех, которые в настоящее время оказывают минимальное влияние, но имеют потенциал для изучения новой информации – путем их повторной активации для улучшения генеративных возможностей модели без недостатков существующих методов.
Практические решения и ценность
Исследователи из Университета Шанхайского Цзяотун и Youtu Lab, Tencent, предлагают метод SaRA для тонкой настройки предварительно обученных моделей диффузии. Вдохновленный обрезкой модели, SaRA повторно использует “временно неэффективные” параметры с малыми абсолютными значениями, оптимизируя их с использованием разреженных матриц, сохраняя при этом предыдущие знания. Они используют схему обучения с низким рангом на основе ядерной нормы и стратегию прогрессивной корректировки параметров для предотвращения переобучения. Неструктурированная обратная связь SaRA снижает затраты памяти на 40% по сравнению с LoRA. Эксперименты на моделях Stable Diffusion показывают превосходную производительность SaRA в различных задачах, требуя только одну строку модификации кода для реализации.
Модели диффузии, такие как Stable Diffusion, отличаются в задачах генерации изображений, но ограничены своими большими размерами параметров, что делает полную тонкую настройку вызовом. Методы, такие как ControlNet, LoRA и DreamBooth, решают эту проблему, добавляя внешние сети или тонкую настройку для обеспечения контролируемой генерации или адаптации к новым задачам. Эффективные методы тонкой настройки параметров, такие как Addictive Fine-Tuning (AFT) и Reparameterized Fine-Tuning (RFT), вводят матрицы низкого ранга или адаптеры. В то же время Selective Fine-Tuning (SFT) фокусируется на модификации конкретных параметров. SaRA улучшает эти методы путем повторного использования неэффективных параметров, поддерживая архитектуру модели, снижая затраты памяти и улучшая эффективность тонкой настройки без дополнительной задержки вывода.
В моделях диффузии “неэффективные” параметры, определяемые их малыми абсолютными значениями, показывают минимальное влияние на производительность при обрезке. Эксперименты на моделях Stable Diffusion (v1.4, v1.5, v2.0, v3.0) показали, что установка параметров ниже определенного порога иногда даже улучшает генеративные задачи. Неэффективность обусловлена случайностью оптимизации, а не структурой модели. Тонкая настройка может сделать эти параметры снова эффективными. SaRA, метод, использует эти временно неэффективные параметры для тонкой настройки, используя ограничения низкого ранга и прогрессивную корректировку для предотвращения переобучения и улучшения эффективности, значительно снижая затраты памяти и вычислений по сравнению с существующими методами, такими как LoRA.
Предложенный метод был оценен на задачах тонкой настройки основной модели, настройке изображений и генерации видео с использованием метрик FID, CLIP score и VLHI. Он превзошел существующие методы тонкой настройки (LoRA, AdaptFormer, LT-SFT) по наборам данных, показав превосходное обучение для конкретных задач и сохранение предыдущих знаний. Генерация изображений и видео достигли лучшей последовательности и избежали артефактов. Метод также снизил использование памяти и время обучения более чем на 45%. Анализ абляции подчеркнул важность прогрессивной корректировки параметров и ограничений низкого ранга. Корреляционный анализ показал более эффективное усвоение знаний по сравнению с другими методами, улучшая производительность задач.
SaRA – это метод эффективной тонкой настройки, который использует наименее влиятельные параметры в предварительно обученных моделях. Используя потерю с низким рангом на основе ядерной нормы, SaRA предотвращает переобучение, в то время как его прогрессивная корректировка параметров улучшает эффективность тонкой настройки. Неструктурированная обратная связь снижает затраты памяти, что полезно для других методов селективной тонкой настройки. SaRA значительно улучшает генеративные возможности в задачах, таких как трансфер домена и редактирование изображений, превосходя методы, такие как LoRA. Для интеграции достаточно одной строки кода, демонстрируя превосходную производительность на моделях, таких как Stable Diffusion 1.5, 2.0 и 3.0 в различных приложениях.
Проверьте модель. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на нас в Twitter и присоединиться к нашей группе в LinkedIn. Если вам нравится наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему сообществу в Reddit.
БЕСПЛАТНЫЙ ВЕБИНАР ПО ИИ: “SAM 2 для видео: Как настраивать на ваши данные” (Ср, 25 сентября, 4:00 – 4:45 EST)
Источник: MarkTechPost
Применение ИИ в вашем бизнесе
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте SaRA: A Memory-Efficient Fine-Tuning Method for Enhancing Pre-Trained Diffusion Models.
Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.
Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.
Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.
На полученных данных и опыте расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/itinai. Следите за новостями о ИИ в нашем Телеграм-канале t.me/itinainews или в Twitter @itinairu45358.
Попробуйте AI Sales Bot https://itinai.ru/aisales. Этот AI ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж и снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru будущее уже здесь!
“`
