Введение в разнообразные DPO и ORPO
Креативное письмо — это область, которая требует разнообразия и воображения. В отличие от фактического или специализированного письма, где может быть только один правильный ответ, креативное письмо допускает множество допустимых ответов на заданную тему. Создание историй, поэм и нарративов может принимать самые разные формы, каждая из которых обладает своим уникальным стилем и смыслом.
Проблема недостатка разнообразия
Основная проблема заключается в том, как большие языковые модели (LLMs) дообучаются после первоначальной тренировки. Обычно методы дообучения ориентированы на улучшение качества, что приводит к созданию слишком похожих ответов на разные запросы. Это вызывает заметное снижение разнообразия выходного контента, что ограничивает выразительность модели.
Новое решение: Диверсифицированный DPO и ORPO
Исследователи из Midjourney и Нью-Йоркского университета предложили новые подходы в фазе дообучения — «Диверсифицированный DPO» и «Диверсифицированный ORPO». Эти методы используют оценку отклонения, которая показывает, насколько ответ отличается от других ответов на тот же запрос.
Как это работает
Отклонение используется как сигнал для обучения. Для каждой пары ответов (лучший и худший) вычисляется отклонение лучшего ответа с использованием семантических и стилистических эмбеддингов. Это позволяет модели создавать уникальные и качественные выходные данные без потери связности.
Преимущества нового подхода
Доказательства успешности новой методики показали, что модель Llama-3.1-8B с использованием Диверсифицированного DPO существенно улучшила качество и разнообразие выходных данных по сравнению с другими моделями.
Практические рекомендации для бизнеса
- Ищите возможности для автоматизации процессов, где ИИ может добавить максимальную ценность.
- Определите ключевые показатели эффективности (KPI), чтобы убедиться, что ваши инвестиции в ИИ приносят пользу.
- Выберите инструменты, соответствующие вашим потребностям, и настроите их под свои цели.
- Начните с небольшого проекта, соберите данные о его эффективности и постепенно расширяйте использование ИИ в вашей работе.
Свяжитесь с нами
Если вам нужно руководство по управлению ИИ в бизнесе, напишите нам на hello@itinai.ru. Чтобы быть в курсе последних новостей в сфере ИИ, подписывайтесь на наш Telegram.
Пример решения на базе ИИ
Обратите внимание на практический пример решения с использованием ИИ: продажный бот, который автоматизирует общение с клиентами круглосуточно и управляет взаимодействиями на всех этапах клиентского пути.
