“`html
Nearest Neighbor Speculative Decoding (NEST): Метод редактирования на этапе вывода для языковых моделей для улучшения фактичности и атрибуции с использованием спекулятивного декодирования ближайших соседей
Большие языковые модели (LLM) доказали свой потенциал в обработке нескольких задач и отличном выполнении в различных приложениях. Однако для LLM сложно генерировать точную информацию, особенно когда знания мало представлены в их обучающих данных. Для преодоления этого вызова ретриевальное увеличение комбинирует информационный поиск и поиск ближайшего соседа из непараметрического хранилища данных, что улучшает доказательственное и обусловленное рассуждение с LLM. Это приводит к тенденции снижения в полупараметрических LMs при генерации неподдерживаемого контента.
Методы улучшения
Многие работы были проведены для преодоления этих недостатков. Один из существующих методов – Retrieval Augmentation (RA), который использует внешние источники знаний для улучшения производительности LMs в задачах, требующих глубокого понимания. Продвижения в ретриевальном увеличении, такие как REALM, RAG и Atlas, интегрируют компонент ретриевала в предварительное обучение и настройку для этих последующих задач. Другой обсуждаемый метод – Speculative decoding, который использует небольшую модель для генерации черновиков для большой модели. Самый связанный метод – REST, который берет несколько черновиков из хранилища данных и использует префиксное борное дерево для поиска распределения предложений.
Предложенное решение
Исследователи из FAIR в Meta, Университета Ватерлоо, Университета Карнеги-Меллона и Университета Чикаго предложили метод ближайшего соседа спекулятивного декодирования (NEST). NEST – новый метод полупараметрического языкового моделирования, который может интегрировать текстовые отрезки реального мира любой длины в генерацию существующей LM, улучшая как качество, так и задержку. NEST расширяет стандартный метод kNN-LM путем интерполяции распределения вывода LM с распределением потенциальных следующих токенов, полученных из корпуса. Изначально он включает дополнительный этап поиска пассажа, что снижает необходимость хранить и искать все токены в корпусе, создавая баланс между точностью поиска и эффективностью.
NEST генерирует контент с тремя подэтапами на каждом этапе вывода. Эти шаги:
- Интерполяция на основе уверенности: Оценка относительной уверенности в ретриевале (RRC) используется для оценки неопределенности токен-ретривера, которая затем используется в качестве коэффициента интерполяции для смешивания вероятности вывода.
- Динамический выбор отрезка: NEST выбирает лучший токен, предсказанный смешанной вероятностью, и расширяется, чтобы включить отрезок от этого токена, когда уверенность в ретриевале токена превышает порог.
- Расслабленное спекулятивное декодирование: Когда выбран отрезок из нескольких токенов, он оценивается на основе смешанной вероятности, и принимается только префикс, который высоковероятен согласно смешанной вероятности.
Результаты и применение
NEST превосходит как базовую LM, так и стандартную kNN-LM в нулевой настройке с использованием моделей Llama-2-Chat различных размеров на задачах, таких как завершение текста и генерация информации о фактичности. Например, NEST, в сочетании с моделью Llama-2-Chat 70B, показывает улучшение ROUGE-1 на WikiText-103 на 42,3% и улучшение FActScore на биографии на 21,6%. Кроме того, NEST улучшает эффективность генерации длинных форм, производя несколько токенов на каждом временном шаге, и становится в 1,8 раза быстрее во времени вывода с Llama-2-Chat 70B, не влияя на атрибуцию или беглость.
В заключение, исследователи представили NEST, метод редактирования на этапе вывода для LMs, который улучшает их фактичность и атрибуцию с помощью спекулятивного декодирования ближайших соседей. NEST улучшает как проверочную путаницу, так и качество свободной генерации на 9 различных задачах. Однако некоторые ограничения предложенного метода:
- Результаты NEST могут содержать фактические ошибки в зависимости от точности поиска пассажа первого этапа и ретриевала токена второго этапа.
- Результаты могут быть лучше, если их тщательно настроить на соответствующих задачах, потому что интегрированная система без настройки может быть неоптимальной.
Ознакомьтесь с статьей. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на нас в Twitter. Присоединяйтесь к нашему каналу в Telegram, Discord и группе в LinkedIn.
Если вам нравится наша работа, вам понравится наш новостной бюллетень.
Не забудьте присоединиться к нашему SubReddit с более чем 43 тыс. подписчиков. Также ознакомьтесь с нашей платформой мероприятий по ИИ.
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте Nearest Neighbor Speculative Decoding (NEST): An Inference-Time Revision Method for Language Models to Enhance Factuality and Attribution Using Nearest-Neighbor Speculative Decoding.
Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.
Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.
Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.
На полученных данных и опыте расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/itinai. Следите за новостями о ИИ в нашем Телеграм-канале t.me/itinainews или в Twitter @itinairu45358.
Попробуйте AI Sales Bot https://itinai.ru/aisales. Этот AI ассистент в продажах, помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru будущее уже здесь!
“`
