Интегрирование человеческих ценностей в модели после их обучения с использованием алгоритмов на основе обучения требует настройки LLMs, что требует больше вычислительной мощности и занимает много времени. Кроме того, это приводит к появлению предвзятых и нежелательных ответов от пользователя.
Практическое решение:
Для эффективной адаптации модели к предпочтениям пользователя в реальном времени необходимо разработать модель, способную эффективно адаптироваться к предпочтениям пользователя путем интеграции алгоритмов, способных вмешиваться во время вывода. Этот метод позволит избежать повторного обучения моделей для достижения желаемых результатов путем замораживания базовой модели и уменьшения вычислительных затрат на настройку LLMs.
Примерное решение:
Исследователи разработали методы выравнивания во время вывода для интеграции человеческих ценностей после настройки LLMs с использованием неявных и явных функций без изменения базовой модели. Неявные функции используются для генерации токенов, проводя оценку слово за словом и предпочитая вывод с наивысшей вероятностью. В то время как явные функции требуют жесткой структуры для оценки больших фрагментов текста и генерации следующей последовательности слов с наивысшей вероятностью, сохраняя общий контекст. Явная функция не гибкая и вычислительно дорогостоящая, не решает оптимизацию на уровне токена, в то время как неявная функция сталкивается с проблемами интерпретируемости и требует частых прямых проходов, что приводит к низкой эффективности в реальном времени.
Практическое применение:
Для преодоления недостатков обеих функций предлагается метод Integrated Value Guidance (IVG), который объединяет оптимизацию на уровне токена неявной функции и широкий обзор явной функции. Этот метод помогает решить проблемы адаптации и устранить компромиссы в эффективности выравнивания, что приводит к снижению разрывов в производительности и упрощает его реализацию. Эти преимущества обеспечивают лучшую производительность на задачах, таких как контролируемая генерация настроения и конспектирование. IVG, в сочетании с более маленькими моделями, например, GPT-2, может конкурировать с более крупными моделями.
