Что такое Harness-1 и зачем он нужен
Большинство поисковых агентов пытаются одновременно решить две задачи: решить, какие запросы отправлять, и вести учёт всей найденной информации. Это приводит к тому, что обучение через reinforcement learning (RL) оптимизирует и поиск, и «букинг» – то есть всю рутину. Команда исследователей из University of Illinois Urbana‑Champaign, UC Berkeley и Chroma решила разделить работу: политику оставили отвечать за семантические решения, а всю «хозяйственную» часть—выборку, дедупликацию, тегирование и построение графа доказательств—переписали в stateful harness.
Как устроен stateful harness
Усилитель (harness) хранит всё, что обычно заполняет «растущий транскрипт»:
- Candidate pool — сжатые, дедуплицированные документы.
- Curated set — финальный набор из максимум 30 документов, помеченных важностью (very_high, high, fair, low).
- Evidence graph — выделенные сущности, даты, мостовые документы и одиночные «подсказки».
- Full‑text store — весь полученный текст, хранящийся вне prompt.
Политика управляет восемью инструментами: fan_out_search, search_corpus, grep_corpus, read_document, review_docs, curate, verify и end_search. После каждой операции harness обновляет состояние и отдает модели новое «наблюдение», из которого она генерирует следующую команду.
Обучение модели
Процесс обучения разделён на две фазы:
- SFT (Supervised Fine‑Tuning) — модель учится работать с интерфейсом harness, используя 899 отфильтрованных траекторий, генерируемых учителем GPT‑5.4. Для ускорения использован LoRA с рангом 32 и три эпохи.
- RL (Reinforcement Learning) — на основе on‑policy CISPO модель оптимизирует поисковые решения, получая награду только в конце эпизода (до 40 ходов). В качестве тренировочного набора использованы запросы SEC, а бонус за разнообразие инструментов предотвращает «запрограммированное» повторение одного действия.
Результаты и сравнение
Тестирование состоялось на восьми бенчмарках (веб, финансы, патенты, multi‑hop QA). Основная метрика — curated recall (доля релевантных документов в финальном наборе). Таблица ниже показывает средние показатели:
- Harness‑1 (20 B) — 0.730 curated recall, 0.807 trajectory recall.
- Следующий open‑модельный субагент Tongyi DeepResearch 30 B — 0.616 curated recall.
- Лучший закрытый конкурент Opus‑4.6 — 0.764 curated recall.
На «чужих» бенчмарках (не использованных в обучении) прирост составил +17.0 пунктов, что почти вдвое превышает рост на знакомых задачах (+7.9). Отключение всех механизмов harness приводит к падению recall на 12.2 %.
Практические сценарии применения
- Обзор литературы и патентов — граф доказательств упорядочивает сотни источников.
- Анализ финансовой отчётности — пример из SEC‑кейса показывает точное извлечение даты перехода руководства.
- Многошаговая факт‑чекка — инструменты
fan_out_searchиverifyпомогают уточнить неоднозначные сущности. - Модульный RAG — полученный curated set передаётся в frozen генератор, улучшая точность ответов.
Плюсы и минусы
Сильные стороны
- Лучший curated recall среди открытых моделей.
- Хорошая обобщаемость: значительные приросты на новых датасетах.
- Обучение на небольшом количестве уникальных примеров (4 352).
- Открытый чекпоинт и код harness, совместимы с vLLM, SGLang и Transformers.
Слабые места
- Граф доказательств построен на regex‑выделении, а не на полном entity linking.
- Инструмент
verify– прокси‑LLM, иногда ошибается с неоднозначными утверждениями. - Сжатие предложений через sentence‑BM25 может потерять контекст.
- В работе представлены лишь точечные оценки без доверительных интервалов.
Ключевые выводы
- Harness‑1 — 20 B поиск‑агент, который переносит всю «букинговую» работу в окружение, оставляя семантику политике.
- Средний curated recall = 0.730, опережая ближайший open‑модельный субагент на 11.4 пункта.
- Только Opus‑4.6 показал лучший результат среди всех протестированных моделей.
- На новых задачах прирост более чем в два раза больше, чем на знакомых данных.
- Весы модели и код harness доступны публично: Hugging Face, GitHub, статья — arXiv:2606.02373.
