Microsoft AI представляет Belief State Transformer (BST): улучшение моделирования последовательностей с учетом целей с помощью двунаправленного контекста

Введение в трансформеры и их возможности

Модели трансформеров произвели революцию в языковом моделировании, обеспечивая масштабную генерацию текста. Тем не менее, они сталкиваются с трудностями в задачах, требующих длительного планирования. Исследователи работают над улучшением архитектуры и алгоритмов для достижения поставленных целей.

Подходы к улучшению генерации текста

Некоторые исследования сосредоточены на двунаправленном моделировании контекста, что позволяет учитывать как прошлую, так и будущую информацию. Другие методы оптимизируют порядок генерации, но часто автогрессивные модели, работающие слева направо, показывают лучшие результаты.

Совсем недавно появилась концепция совместной тренировки трансформеров для прямого и обратного декодирования, что улучшает способность моделей поддерживать компактные состояния уверенности.

Эффективность многотокенного предсказания

Исследования показали, что предсказание нескольких токенов одновременно повышает эффективность генерации текста. Модели, обученные на многотокенном предсказании, продемонстрировали высокую производительность в крупных масштабах. Однако существующие методы имеют ограничения, которые необходимо преодолевать.

Модель Belief State Transformer (BST)

Исследователи из Microsoft Research и других университетов разработали модель Belief State Transformer (BST), которая улучшает предсказание следующего токена, учитывая контексты как префикса, так и суффикса. Это повышает эффективность на сложных задачах, таких как генерация текста с учетом цели и структурные предсказания.

Преимущества BST в моделировании последовательностей

BST использует как прямой, так и обратный кодировщики, что позволяет более эффективно изучать долгосрочные зависимости. Эксперименты показывают, что BST превосходит традиционные модели, обеспечивая более качественные текстовые представления и более быструю инференцию.

Практическое применение и результаты

Эксперименты показали, что BST превосходит модели, такие как Fill-in-the-Middle (FIM), в создании связных и структурированных нарративов. Это открывает новые возможности для генерации текста, что особенно полезно для создания историй и других контентных форматов.

Заключение

BST решает ограничения традиционных моделей, создавая компактное состояние уверенности для будущих предсказаний. Это делает его более эффективным для сложных задач. Дальнейшие исследования необходимы для оценки его масштабируемости и применения в более широких проблемах, что улучшит качество инференции.