ReTool: Инновационная платформа для оптимизации рассуждений LLM с помощью инструментов
Усиленное обучение (RL) является мощной техникой для улучшения рассуждений больших языковых моделей (LLM), позволяя им развивать и уточнять длинные цепочки мысли (CoT). Модели, такие как OpenAI o1 и DeepSeek R1, продемонстрировали высокую эффективность в задачах текстового рассуждения, однако сталкиваются с ограничениями в задачах, требующих точных числовых вычислений или символических манипуляций, таких как геометрические рассуждения, сложные вычисления или решение уравнений.
Основные функции ReTool
Недавние исследования показывают, что LLM могут развивать метакогнитивные способности через CoT-подсказки, а исследования эволюционировали от увеличения вычислительных ресурсов во время обучения к их использованию на этапе тестирования. ReTool предлагает ряд решений для задач математического решения:
- Динамическое выполнение кода: На этапе рассуждения возможности модели интегрируются с реальным исполнением кода в реальном времени.
- Автоматизированное усиленное обучение: Модель обучается, когда и как использовать инструменты на основе обратной связи о результатах.
Методы сбора данных
ReTool включает два основных этапа: начальная подготовка с использованием синтетических данных и последующее усиленное обучение с интеграцией выполнения кода. Для этого используется высококачественная математическая база данных из различных источников, включая открытые наборы данных, такие как OpenThoughts.
Результаты
Использование ReTool привело к значительному увеличению эффективности. Например, модель ReTool (Qwen2.5-32B-Instruct) достигла 67,0% точности на AIME2024 и 49,3% на AIME2025 после всего лишь 400 шагов обучения, что значительно превышает показатели традиционных текстовых подходов.
Заключение
В заключение, ReTool представляет собой новый RL-фреймворк, который позволяет LLM самостоятельно улучшать свои способности в математическом рассуждении, эффективно используя инструменты. Результаты показывают, что интегрированное использование инструментов в RL представляют собой перспективное направление для развития вычислительных возможностей LLM.
Как AI может трансформировать ваш бизнес
Исследуйте, как технологии искусственного интеллекта могут изменить ваш подход к работе:
- Автоматизация процессов взаимодействия с клиентами, где AI может принести наибольшую ценность.
- Идентификация ключевых показателей (KPI) для оценки положительного воздействия ваших инвестиций в AI.
- Выбор инструментов, которые соответствуют вашим целям и позволяют их настраивать.
- Начните с небольшого проекта, собирая данные о его эффективности, и постепенно расширяйте использование AI в вашей работе.
Если вам нужна помощь в управлении AI в бизнесе, свяжитесь с нами по адресу hello@itinai.ru.
Не забудьте подписаться на наш Telegram, чтобы быть в курсе последних новостей AI.
Рассмотрите практический пример решения на основе AI: бот для продаж от itinai.ru/aisales, предназначенный для автоматизации клиентских разговоров в любое время и управления взаимодействиями на всех этапах пути клиента.
