Как избавиться от повторяющихся сбоев агентов: система TRACE от Стэнфорда.

Что решает TRACE?

Агенты‑LLM часто тупятся из‑за отсутствия конкретных навыков: поиск нужной записи, проверка предусловий, правильный вызов инструмента и т.д. Обычные решения (RL, SFT) дают разреженный сигнал и тратят вычисления впустую, а широкие синтетические датасеты обучают тому, что модель уже умеет.

TRACE обнаруживает, что почти все падения обусловлены небольшим набором повторяющихся дефицитов. Каждый из них превращается в плотный, проверяемый сигнал обучения.

Как работает TRACE?

PIPELINE из четырёх автоматических шагов, каждый управляется LLM‑агентом через markdown‑промпты.

Шаг 1 — Контрастивный анализ способностей

Базовый агент генерирует рол‑ауты в целевой среде. Анализатор разделяет их на успешные и провальные, затем помечает каждую пару «траектория‑способность» как NA, PRESENT или LACKING. Сохраняются только контрастные способности с разрывом Δ ≥ 0.20 и покрытием ρ ≥ 0.10.

Шаг 2 — Синтез целевых сред

Для каждой оставшейся способности генерируется отдельная синтетическая среда, изолирующая её, но сохраняющая схему инструментов и форматы задач. Таски генерируются процедурно, а верность проверяется алгоритмически — без человеческой разметки.

Шаг 3 — Обучение адаптеров‑способностей

Для каждой способности создаётся LoRA‑адаптер, обучаемый в своей среде методом GRPO (Group Relative Policy Optimization). Базовая модель остаётся замороженной. GRPO группирует рол‑ауты по общему seed, нормализует награды внутри группы и тем самым выделяет вклад политики.

Шаг 4 — MoE‑композиция с токен‑уровневой маршрутизацией

Все адаптеры собираются в Mixture‑of‑Experts. На этапе вывода каждый токен направляется top‑1 к одному из адаптеров через лёгкие токен‑уровневые гейты. Модель может переключаться между экспертами «на лету».

Какие способности были обнаружены?

На наборе τ²‑Bench контрастный анализ выявил четыре дефицита:

• Структурированное рассуждение над данными.
• Многошаговое выполнение задач.
• Проверка предусловий.
• Точная работа с вызовами инструментов.

Эти четыре способности покрывали почти все сбои независимо от случайных запусков.

Практические сценарии

• Агент поддержки авиапассажиров: пользователь хочет отменить билет. Способность «проверка предусловий» определяет, подходит ли запрос к политике отмены, и лишь затем вызывает cancel_reservation.
• Ритейл‑агент, обрабатывающий несколько запросов за один диалог. Способность «многошаговое выполнение» не позволяет выйти после первой подзадачи.
• Кодирующий агент (SWE‑bench Verified). Способность «структурированное рассуждение» помогает найти нужный файл/функцию перед исправлением бага.

Сравнительные результаты

TRACE поднял τ²‑Bench на +15.3 пп и SWE‑bench Verified на +15 пп по сравнению с базовой моделью, а также обогнал самые сильные baselines (GEPA, SWE‑RL) на ≈ 8 пп.

При этом использовано менее ¼ числа рол‑аутов, что подтверждает высокую эффективность выборки.

Реализация

Для специалистов AI пайплайн полностью независим от конкретных бенчмарков и управляется markdown‑промптами. Ниже пример запуска одной способности.

MODEL="Qwen/Qwen3-30B-A3B-Instruct-2507"
NAME="structured_data_reasoning"
N_GPUS=4

# 1 — запуск замороженной модели с поддержкой LoRA
export VLLM_ALLOW_RUNTIME_LORA_UPDATING=True
vllm serve "$MODEL" --port 8000 --tensor-parallel-size 4 \
  --enable-lora --max-loras 2 --max-lora-rank 32 \
  --enable-auto-tool-choice --tool-call-parser hermes

# 2 — обучение LoRA‑адаптера для способности
export VLLM_BASE_URLS=http://localhost:8000
torchrun --nproc_per_node="$N_GPUS" --master-port=29501 -m train \
  --game "capability_$NAME" --model "$MODEL"

Каждый LoRA‑адаптер добавляет ~1.6 B обучаемых параметров (≈ 5.3 % от ядра). Гейт MoE — лишь 491 760 параметров. По умолчанию пороги ρ = 0.10, δ = 0.20 и требуемая согласованность 8‑из‑10 запусков.

Ключевые выводы

• Контрастный анализ ошибок — практический сигнал. Сравнение успешных и провальных траекторий выделяет конкретные дефициты.
• Целевые среды — экономия данных. Каждый рол‑аут в синтезированной среде обучает одну способность без «шума».
• Композиция экспертов превосходит один адаптер. MoE с токен‑уровневой маршрутизацией опережает лучшую однопотоковую модель на 7+ пунктов.
• Тренировка лучше подгонки подсказок. Параметры масштабируются монотонно, тогда как оптимизация Prompt‑ов быстро достигает плато.
• 27 B модель возглавила лидерборд. Qwen3.6‑27B с TRACE достиг 73.2 % Pass@1 на SWE‑bench Verified, превзойдя GPT‑5.2‑Codex.