Увеличение надежности LLM: подход Lookback Lens к обнаружению галлюцинаций
Большие языковые модели (LLM), такие как GPT-4, обладают впечатляющими способностями в задачах генерации текста, таких как суммирование и ответы на вопросы. Однако они часто производят “галлюцинации”, генерируя контент, который фактически неверен или контекстуально несоответственен. Проблема особенно остра, когда LLM получают правильные факты, но все равно производят неточные выводы, называемые “контекстуальными галлюцинациями”. Эти ошибки подрывают надежность LLM в приложениях, где точность критически важна, таких как ответы на вопросы на основе документов и суммирование.
Практические решения и ценность
Исследователи из Массачусетского технологического института и Университета Вашингтона предлагают новый подход, который использует карты внимания LLM. Lookback Lens, уникальное и инновационное решение, основано на понимании того, что контекстуальные галлюцинации связаны с тем, насколько LLM обращает внимание на предоставленный контекст по сравнению с собственно сгенерированными токенами. Этот новый подход вводит “Lookback Lens”, простую, но эффективную модель обнаружения галлюцинаций. Lookback Lens использует отношение весов внимания на контекстные токены к общему весу внимания как своих токенов, так и новых. Эти отношения конкатенируются в признаковый вектор, который затем используется для обучения линейного классификатора для обнаружения галлюцинаций.
Эффективность Lookback Lens подтверждается экспериментами по задачам суммирования и ответов на вопросы. Результаты показывают, что Lookback Lens работает сравнимо или даже лучше, чем более сложные детекторы, которые используют все скрытые состояния LLM. Важно отметить, что Lookback Lens может быть перенесен на различные модели и задачи без повторного обучения, что подчеркивает его надежность и универсальность. Например, детектор, обученный на модели 7B, может быть применен к модели 13B, снижая галлюцинации на 3.2% в задаче суммирования XSum.
Исследователи предлагают стратегию декодирования с участием классификатора для дальнейшего снижения галлюцинаций в процессе генерации текста. Этот подход включает Lookback Lens в процесс декодирования, оценивая несколько токенов на каждом шаге и выбирая тот, который предположительно меньше всего вызовет галлюцинации. Эта стратегия снижает галлюцинации на 9.6% в задаче суммирования XSum, подчеркивая потенциал Lookback Lens в практических приложениях.
Проблема контекстуальных галлюцинаций в LLM является значительной и влияет на надежность этих моделей в критических приложениях. Lookback Lens представляет собой простое, но эффективное решение, использующее карты внимания для обнаружения и устранения галлюцинаций. Его способность к переносу на различные модели и задачи без повторного обучения дополнительно подчеркивает его полезность. Этот подход представляет собой перспективный шаг к более точному и надежному контенту, созданному LLM.
Ссылки и контакты
Проверьте статью и GitHub. Весь кредит за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на нас в Twitter.
Присоединяйтесь к нашему Telegram-каналу и группе в LinkedIn.
Если вам понравилась наша работа, вам понравится и наша рассылка.
Не забудьте присоединиться к нашему 46k+ ML SubReddit.
Статья опубликована на портале MarkTechPost.
Развивайтесь с помощью искусственного интеллекта
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте подход Lookback Lens к обнаружению галлюцинаций. Проанализируйте, как ИИ может изменить вашу работу, определите, где возможно применение автоматизации, и найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.
Подберите подходящее решение – сейчас очень много вариантов ИИ. Внедряйте ИИ-решения постепенно: начните с малого проекта, анализируйте результаты и KPI. На полученных данных и опыте расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам в Telegram. Следите за новостями о ИИ в нашем Телеграм-канале или в Twitter.
Попробуйте AI Sales Bot – этот AI-ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж и снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru – будущее уже здесь!
