Введение в «Thinkless»: Адаптивная структура для эффективного моделирования языка
Исследователи из Национального университета Сингапура разработали новую структуру под названием Thinkless, которая направлена на повышение эффективности языковых моделей, сокращая ненужные процессы рассуждения до 90%. Эта структура решает основную проблему современных языковых моделей, в которых часто используются обширные процессы рассуждения, даже для простых запросов, что приводит к увеличению использования токенов, увеличению времени ответа и повышенной задержке системы.
Текущие подходы
Современные методы оптимизации рассуждений в языковых моделях часто полагаются на статические эвристики или внешние модели, которые не используют возможности целевой модели. Статические подсказки, такие как «включить/выключить рассуждение», не предоставляют необходимого адаптивного контроля для реальных приложений. Thinkless устраняет эти ограничения, позволяя модели самостоятельно определять, когда следует использовать краткие или развернутые рассуждения.
Технический обзор
Thinkless использует метод декомпозированного группового относительного оптимизирования политики (DeGRPO), чтобы разделить фокус обучения модели между выбором режимов рассуждения и точностью ответов. Этот подход состоит из двух этапов:
1. Подготовительное дистиллирование
На этом этапе модель изначально обучается с использованием выходных данных от двух экспертных моделей: одной для кратких ответов и другой для детальных рассуждений. Эта фаза устанавливает прямую связь между контрольными токенами и предполагаемым форматом рассуждения.
2. Обучение с подкреплением
На этом этапе модель уточняет свою способность динамически выбирать режимы рассуждения. DeGRPO разделяет цели обучения, обеспечивая сбалансированные обновления для токенов
Метрики производительности
В ходе оценок Thinkless значительно снизил частоту использования развернутых рассуждений, сохраняя при этом высокий уровень точности:
- На бенчмарке Minerva Algebra Thinkless использовал токен
только 25.88% времени, достигая точности 94.59%. - На наборе данных AIME 2024 он достиг 27.33% точности при полном использовании режима рассуждения, демонстрируя устойчивость в сложных задачах рассуждения.
- На наборе данных GSM8K модель использовала токен
13.31% времени, при этом обеспечивая точность 84.18%.
Эти результаты подчеркивают адаптивность модели, позволяя эффективно управлять как простыми, так и сложными вопросами с минимальной ненужной обработкой.
Заключение
Работа, представленная Национальным университетом Сингапура, подчеркивает инновационное решение для неэффективности, наблюдаемой в традиционных практиках рассуждения в языковых моделях. Внедрив механизм для оценки сложности задач, Thinkless выравнивает глубину рассуждений с точностью ответов, улучшая общую производительность модели без зависимости от фиксированных правил.
Практические рекомендации по внедрению ИИ
Исследуйте, как технологии искусственного интеллекта могут изменить ваш подход к работе, например, используя Thinkless для уменьшения ненужных рассуждений до 90% с помощью DeGRPO:
- Ищите процессы, которые можно автоматизировать. Выявите моменты в взаимодействии с клиентами, где ИИ может добавить наибольшую ценность.
- Определите важные KPI, чтобы убедиться, что ваши инвестиции в ИИ действительно положительно влияют на бизнес.
- Выбирайте инструменты, которые соответствуют вашим потребностям и позволяют настраивать их на достижение ваших целей.
- Начните с небольшого проекта, собирайте данные о его эффективности, а затем постепенно расширяйте использование ИИ в вашей работе.
- Если вам нужна помощь в управлении ИИ в бизнесе, свяжитесь с нами по адресу hello@itinai.ru.
Подписывайтесь на наш Telegram https://t.me/itinai, чтобы быть в курсе последних новостей ИИ.
Пример решения на базе ИИ
Посмотрите практический пример: бот для продаж с сайта https://itinai.ru/aisales, предназначенный для автоматизации клиентских разговоров круглосуточно и управления взаимодействиями на всех этапах клиентского пути.
