“`html
Преодоление вызовов инверсии градиента в федеративном обучении: алгоритм DAGER для точной реконструкции текста
Федеративное обучение позволяет совместное обучение моделей путем агрегации градиентов от нескольких клиентов, сохраняя их личные данные. Однако атаки инверсии градиента могут нарушить эту конфиденциальность, восстанавливая исходные данные из общих градиентов. Решение этой проблемы представляет особый интерес в чувствительных областях, таких как юриспруденция и медицина, где конфиденциальность имеет решающее значение.
Разработка алгоритма DAGER
Исследователи из INSAIT, Софийского университета, ETH Цюриха и LogicStar.ai разработали алгоритм DAGER, который точно восстанавливает целые пакеты входного текста. DAGER использует низкоранговую структуру градиентов слоев самовнимания и дискретную природу вложений токенов для проверки последовательностей токенов в данных клиента, обеспечивая точное восстановление пакетов без предварительных знаний. Этот метод эффективен для архитектур кодировщика и декодера, используя эвристический поиск и жадные подходы соответственно. DAGER превосходит предыдущие атаки по скорости, масштабируемости и качеству восстановления, восстанавливая пакеты размером до 128 для больших языковых моделей, таких как GPT-2, LLaMa-2 и BERT.
Оценка DAGER
Экспериментальная оценка DAGER демонстрирует его превосходную производительность по сравнению с предыдущими методами в различных сценариях. DAGER показал высокую эффективность на моделях, таких как BERT, GPT-2 и Llama2-7B, и наборах данных, таких как CoLA, SST-2, Rotten Tomatoes и ECHR, превосходя TAG и LAMP. DAGER достиг точных восстановлений последовательностей, значительно превосходя базовые значения для моделей на основе декодера и кодировщика. Его эффективность подтверждена снижением времени вычислений и устойчивостью к длинным последовательностям и большим моделям.
Заключение
Алгоритм DAGER подчеркивает уязвимость моделей на основе декодера к утечкам данных, подчеркивая необходимость надежных мер конфиденциальности в совместном обучении.
Подробнее ознакомьтесь с статьей. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter. Присоединяйтесь к нашему каналу в Telegram, Discord и группе в LinkedIn.
Если вам нравится наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему сообществу в Reddit.
Если вам нужны советы по внедрению ИИ, пишите нам на Telegram. Следите за новостями о ИИ в нашем Телеграм-канале или в Twitter.
Попробуйте AI Sales Bot. Этот AI ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж и снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab. Будущее уже здесь!
“`
