“`html
Agent Symbolic Learning: An Artificial Intelligence AI Framework for Agent Learning that Jointly Optimizes All Symbolic Components within an Agent System
Большие языковые модели (LLMs) революционизировали область искусственного интеллекта, позволяя создавать языковых агентов, способных автономно решать сложные задачи. Однако разработка этих агентов сталкивается с существенными вызовами. Текущий подход включает в себя ручное декомпозирование задач на LLМ-конвейерах с использованием паттернов и инструментов. Этот процесс трудоемок и ориентирован на инженерию, что ограничивает адаптивность и надежность языковых агентов. Сложность данной настройки делает практически невозможным оптимизацию языковых агентов на разнообразных наборах данных в данных-центричном подходе, ограничивая их универсальность и применимость к новым задачам или распределениям данных. Исследователи теперь ищут способы перехода от этого инженерно-центричного подхода к более данных-центричной парадигме обучения языковых агентов.
Оптимизация агента
Предыдущие исследования пытались решить проблемы оптимизации языковых агентов через автоматизированное инженерное моделирование и методы оптимизации агентов. Эти подходы разделяются на две категории: паттерновые и поисковые. Паттерновые методы оптимизируют конкретные компоненты в конвейере агента, в то время как поисковые подходы находят оптимальные паттерны или узлы в комбинаторном пространстве. Однако у этих методов есть ограничения, включая сложности с комплексными задачами реального мира и склонность к локальным оптимумам. Они также не могут глобально оптимизировать весь системный агент. Другие направления исследований, такие как синтез данных для тонкой настройки LLM и изучение межзадачного обучения, показывают потенциал, но не полностью решают необходимость комплексной оптимизации системы агента.
Идея от AIWaves Inc.
Исследователи из AIWaves Inc. представляют фреймворк символического обучения агента как инновационный подход к обучению языковых агентов, вдохновленный нейронным обучением. Этот фреймворк проводит аналогию между языковыми агентами и нейронными сетями, отображая конвейер агента на вычислительные графы, узлы на слои и паттерны и инструменты на веса. Он отображает компоненты агента на элементы нейронной сети, позволяя процесс, аналогичный обратному распространению ошибки. Фреймворк выполняет агента, оценивает производительность с использованием “языковой потери” и генерирует “языковые градиенты” через обратное распространение. Эти градиенты направляют комплексную оптимизацию всех символических компонентов, включая паттерны, инструменты и общую структуру конвейера. Этот подход избегает локальных оптимумов, обеспечивает эффективное обучение для сложных задач и поддерживает множественные системы агентов. Он позволяет самостоятельную эволюцию агентов после развертывания, потенциально перенося исследования языковых агентов с инженерного подхода к данным-центричному.
Уникальный подход к обучению
Фреймворк символического обучения агента представляет уникальный подход к обучению языковых агентов, вдохновленный процессами нейронного обучения. Этот фреймворк отображает компоненты агента на элементы нейронной сети, позволяя процесс, аналогичный обратному распространению ошибки. Ключевые компоненты включают:
- Конвейер агента: представляет последовательность узлов, обрабатывающих входные данные.
- Узлы: отдельные шаги в конвейере, аналогичные слоям нейронной сети.
- Траектория: хранит информацию во время прямого прохода для обратного распространения градиента.
- Языковая потеря: текстовая мера расхождения между ожидаемыми и фактическими результатами.
- Языковой градиент: текстовый анализ для обновления компонентов агента.
Процесс обучения
Процедура обучения включает прямой проход, вычисление языковой потери, обратное распространение языковых градиентов и обновление на основе градиентов с использованием символических оптимизаторов. Эти оптимизаторы включают PromptOptimizer, ToolOptimizer и PipelineOptimizer, каждый из которых предназначен для обновления конкретных компонентов системы агента. Фреймворк также поддерживает пакетное обучение для более стабильной оптимизации.
Преимущества и применение
Фреймворк символического обучения агента демонстрирует превосходную производительность на обширных бенчмарках LLM, задачах разработки программного обеспечения и творческом письме. Он последовательно превосходит другие методы, показывая значительные улучшения на сложных бенчмарках, таких как MATH. В разработке программного обеспечения и творческом письме разрыв в производительности фреймворка увеличивается, превосходя специализированные алгоритмы и фреймворки. Его успех проистекает из комплексной оптимизации всей системы агента, эффективно обнаруживая оптимальные конвейеры и паттерны для каждого шага. Фреймворк показывает устойчивость и эффективность в оптимизации языковых агентов для сложных задач реального мира, где традиционные методы испытывают трудности, подчеркивая его потенциал для развития и применения языковых агентов.
Заключение и приглашение
Фреймворк символического обучения агента представляет инновационный подход к оптимизации языковых агентов. Вдохновленный связанным обучением, он совместно оптимизирует все символические компоненты в системе агента с использованием языковой потери, градиентов и оптимизаторов. Это позволяет агентам эффективно решать сложные задачи реального мира и самостоятельно эволюционировать после развертывания. Эксперименты демонстрируют его превосходство на различных уровнях сложности задач. Переход от модельно-центричных исследований агентов к данным-центричным представляет собой значительный шаг к искусственному общему интеллекту. Открытие кода и паттернов направлено на ускорение прогресса в этой области с потенциальной революцией разработки и применения языковых агентов.
Перейдите к статье. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter и присоединиться к нашей Telegram-группе и LinkedIn-группе. Если вам нравится наша работа, вам понравится и наш newsletter.
Не забудьте присоединиться к нашему сообществу более чем 46 тыс. участников на ML SubReddit.
Найдите предстоящие вебинары по ИИ здесь.
The post Agent Symbolic Learning: An Artificial Intelligence AI Framework for Agent Learning that Jointly Optimizes All Symbolic Components within an Agent System appeared first on MarkTechPost.