“`html
Большие языковые модели (LLM) и их выравнивание с человеческими целями
Большие языковые модели (LLM) значительно продвинулись в последнее время, в основном благодаря их увеличенной способности эффективно следовать за командами человека. Усиление обучения от обратной связи человека (RLHF) является основной техникой для соответствия LLM человеческому намерению. Этот метод работает путем оптимизации функции вознаграждения, которая может быть перепараметризована в политике LLM или быть независимой моделью.
Выравнивание LLM
Данные о человеческих предпочтениях для пар запрос-ответ используются для выведения этой функции вознаграждения. Разнообразие ответов, найденных в данных предпочтений, является критическим компонентом эффективности этого выравнивания. Это разнообразие способствует развитию более адаптивных и мощных языковых моделей, предотвращая застревание моделей вознаграждения в локальных оптимумах.
Онлайн и оффлайн выравнивание
Выравнивание может быть выполнено в основном онлайн или оффлайн. Оффлайн выравнивание прилагает усилия для ручного создания разнообразных ответов для предопределенных запросов. Однако этот подход не очень успешен в охвате широкого спектра возможностей естественного языка. В отличие от этого, онлайн выравнивание использует итерационную процедуру, в которой новые данные предпочтений для обучения модели вознаграждения генерируются через обратную связь после выборки ответов из LLM.
Метод SELM
Для решения проблемы исследования областей вне распределения (OOD) была предложена методика с оптимистическими предположениями к высоко-вознаграждаемым ответам. Этот метод активно исследует OOD-области и решает проблему с помощью повторной параметризации функции вознаграждения, отказываясь от необходимости отдельной модели вознаграждения и повторного обновления LLM с простой целью.
Применение SELM
SELM направлен на улучшение эффективности исследования и уменьшение безразличного отношения к невидимым экстраполяциям по сравнению с прямой оптимизацией предпочтений (DPO). На основе экспериментальных данных, SELM может значительно улучшить производительность на бенчмарках по следованию инструкциям, таких как MT-Bench и AlpacaEval 2.0, когда модифицирован на моделях Zephyr-7B-SFT и Llama-3-8B-Instruct. SELM также хорошо себя показывает на ряде общепринятых академических стандартов в различных контекстах.
Заключение
Этот подход представляет собой значительное совершенствование в выравнивании LLM с человеческими намерениями и в конечном итоге приведет к более способным и надежным языковым моделям.
Подробнее ознакомьтесь с статьей и GitHub. Вся заслуга за это исследование принадлежит его исследователям. Также не забудьте подписаться на наш Twitter. Присоединяйтесь к нашему каналу в Telegram, Discord и группе в LinkedIn.
Если вам нравится наша работа, вам понравится наш рассылка.
Не забудьте присоединиться к нашему 43k+ ML SubReddit. Также ознакомьтесь с нашей платформой AI Events Platform.
Источник: MarkTechPost.
Применение искусственного интеллекта в вашем бизнесе
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте This Machine Learning Research from Microsoft Introduces an Active Preference Elicitation Method for the Online Alignment of Large Language Models.
Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.
Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.
Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.
На полученных данных и опыте расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам на Telegram. Следите за новостями о ИИ в нашем Телеграм-канале itinainews или в Twitter itinairu45358.
Попробуйте AI Sales Bot itinai.ru/aisales. Этот AI ассистент в продажах, помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru будущее уже здесь!
“`
