“`html
Недавние достижения в области LLMs позволили создавать языковые агенты, способные выполнять сложные многошаговые задачи, используя внешние инструменты для точного выполнения. Проприетарные модели или специальные конструкции для задачи доминируют среди существующих языковых агентов, часто вызывая высокие затраты и проблемы задержки из-за зависимости от API. Open-source LLMs фокусируются узко на многоходовом поиске ответов или включают сложные процессы обучения и вывода. Несмотря на вычислительные и фактические ограничения LLMs, языковые агенты предлагают многообещающий подход, методично используя внешние инструменты для решения сложных задач.
Ученые из Университета Вашингтона, Meta AI и Allen Institute for AI представили HUSKY, универсальный open-source языковой агент, разработанный для решения разнообразных сложных задач, включая числовые, табличные и знаниевые рассуждения. HUSKY работает через два ключевых этапа: генерация следующего действия и его выполнение с помощью экспертных моделей. Агент использует единое действие и интегрирует инструменты, такие как код, математика, поиск и здравый смысл. Несмотря на использование менее объемных моделей 7B, экстенсивное тестирование показывает, что HUSKY превосходит более крупные, передовые модели по различным бенчмаркам. Это демонстрирует надежный, масштабируемый подход к эффективному решению многошаговых рассуждений.
Языковые агенты стали важными для решения сложных задач, используя языковые модели для создания планов высокого уровня или назначения инструментов для конкретных шагов. Они обычно полагаются на закрытые или открытые модели. Ранее агенты использовали проприетарные модели для планирования и выполнения, что, хотя и эффективно, дорого и неэффективно из-за зависимости от API. Недавние достижения сосредотачиваются на open-source моделях, дистиллированных из более крупных учительских моделей, предлагающих больший контроль и эффективность, но часто специализируются в узких областях. В отличие от них, HUSKY использует широкий, единый подход с простым процессом кураторства данных, используя инструменты для написания кода, математических рассуждений, поиска и здравого смысла для эффективного решения разнообразных задач.
HUSKY – это языковой агент, разработанный для решения сложных многошаговых рассуждений через двухэтапный процесс: предсказание и выполнение действий. Он использует генератор действий для определения следующего шага и соответствующего инструмента, за которым следуют экспертные модели для выполнения этих действий. Экспертные модели обрабатывают задачи, такие как генерация кода, выполнение математических рассуждений и создание поисковых запросов. HUSKY итерирует этот процесс до достижения окончательного решения. Обученный на синтетических данных, HUSKY объединяет гибкость и эффективность в различных областях. Он оценивается на наборах данных, требующих различных инструментов, включая HUSKYQA, новый набор данных, разработанный для проверки числовых рассуждений и возможностей поиска информации.
HUSKY оценивается на разнообразных задачах, включая числовые, табличные и знаниевые рассуждения, а также смешанные задачи с использованием наборов данных, таких как GSM-8K, MATH и FinQA для обучения. HUSKY показывает значительные результаты на невидимых ранее задачах, постоянно превосходя других агентов, таких как REACT, CHAMELEON, и проприетарные модели, такие как GPT-4. Модель интегрирует инструменты и модули, специально разработанные для конкретных задач рассуждения, используя настройки моделей, таких как LLAMA и DeepSeekMath. Это обеспечивает точное, пошаговое решение проблем в различных областях, подчеркивая передовые возможности HUSKY в использовании нескольких инструментов и итеративном разбиении задач.
В заключение, HUSKY – это open-source языковой агент, разработанный для решения сложных многошаговых задач в различных областях, включая числовые, табличные и знаниевые рассуждения. Он использует унифицированный подход с генератором действий, предсказывающим шаги и выбирающим соответствующие инструменты, настроенные на базовых моделях. Эксперименты показывают, что HUSKY надежно выполняет задачи, благодаря обучению в областях специализации и перекрестного обучения. Варианты с различными специализированными моделями для математических рассуждений подчеркивают влияние выбора модели на производительность. Гибкая и масштабируемая архитектура HUSKY готова к решению все более разнообразных задач рассуждения, обеспечивая основу для развития передовых языковых агентов.
Статья. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на нас в Twitter. Присоединяйтесь к нашему Телеграм-каналу, Discord-каналу и группе LinkedIn.
Если вам нравится наша работа, вам понравится и наша рассылка.
Не забудьте присоединиться к нашему субреддиту Machine Learning.