Исследователи из Университета Вашингтона и Meta AI представили простой метод контекстно-ориентированной декодировки (CAD), чтобы стимулировать языковую модель обращать внимание на свой контекст во время генерации.
Проблема контекстно-ориентированной декодировки (CAD)
Языковые модели (LM) показали выдающуюся эффективность в генерации последовательных и связных продолжений запроса или префикса документа. Однако они часто испытывают трудности в балансировании знаний, полученных в процессе предварительного обучения, и контекстуальных знаний, предоставленных во входном контексте, что приводит к недостоверной или галлюцинационной генерации текста.
Решение контекстно-ориентированной декодировки (CAD)
Исследователи представили контекстно-ориентированную декодировку (CAD) в качестве практического решения для решения этих проблем. CAD использует контрастное распределение вывода, которое усиливает разницу между вероятностями вывода, когда модель используется с контекстом и без него. Это стимулирует LM уделять достаточное внимание своему контексту во время генерации, что приводит к существенным улучшениям в задачах, где разрешение конфликта знаний является важным.
CAD эффективно уменьшает вес предварительных знаний, когда предоставляется более актуальная контекстуальная информация, не требуя дополнительного обучения. Он может использоваться с предварительно обученными LM и экспериментально показал превосходство над стандартными алгоритмами декодирования на различных наборах данных и семействах LM, включая OPT, GPT, LLaMA и FLAN-T5 для задач суммаризации.
Применение CAD к LLAMA30B в CNN-DM привело к увеличению ROUGE-L на 21%, увеличению factKB на 14,3% и увеличению BERT-P на 7,8%, демонстрируя его способность улучшать качество и достоверность сгенерированных резюме.
Практические решения искусственного интеллекта для бизнеса
Для бизнеса, стремящегося использовать искусственный интеллект, важно определить возможности автоматизации, определить KPI, выбрать подходящие решения и поэтапно их внедрить. ИИ может переосмыслить процессы продаж и взаимодействия с клиентами, предлагая практические решения, такие как AI Sales Bot от itinai.com/aisalesbot, разработанный для автоматизации взаимодействия с клиентами 24/7 и управления взаимодействиями на всех этапах путешествия клиента.
Для консультаций по управлению KPI и непрерывных идей по использованию ИИ бизнесы могут связаться с itinai.com по электронной почте hello@itinai.com или следить за обновлениями в Telegram t.me/itinainews и Twitter @itinaicom.
Список полезных ссылок:
AI Lab в Telegram @aiscrumbot – бесплатная консультация
Researchers from the University of Washington and Meta AI Present a Simple Context-Aware Decoding (CAD) Method to Encourage the Language Model to Attend to Its Context During Generation
MarkTechPost
Twitter – @itinaicom
