Автосбор и биуровневый autoresearch: AI‑агент как исследователь

Что такое Loop Engineering?

Сравните два режима взаимодействия с ИИ. При традиционном подходе вы пишете запрос, получаете ответ и снова вводите новый запрос – это как набор «поисковой строки 2015 года». Loop Engineering меняет модель: вы задаёте одну цель, а система сама планирует, исполняет, проверяет результат и повторяет цикл, пока цель не будет достигнута. Цикл тратит ресурсы только тогда, когда можно измерить прогресс.

Три ключевых составляющих работающего цикла

Чтобы цикл был действительно полезным, в нём обязаны присутствовать три элемента.

• Верфикатор – оценивает каждый результат (тест, метрика, сборка). Без него агент просто будет «говорить» себе правду.
• Состояние – хранит, что уже пробовали, какие варианты провалились и что осталось сделать. Небольшой файл позволяет продолжить работу без полного перезапуска.
• Условие остановки – ограничивает бесконечный расход ресурсов. Цикл завершается, когда цель достигнута или после заданного числа попыток.

Karpathy Loop в репозитории autoresearch

7 марта 2026 года Андрей Карпати опубликовал opensource‑репозиторий autoresearch. В нём реализованы три вышеописанных компонента:

• Верфикатор – файл prepare.py вычисляет val_bpb (validation bits per byte).
• Состояние – журнал экспериментов сохраняет лучшие результаты и откаты.
• Условие остановки – фиксированное число экспериментов (примерно 12 в час).

За два дня работы над GPT‑2‑моделью цикл провёл около 700 экспериментов, из которых 20 принёс ощутимые улучшения, сократив время обучения с 2.02 ч до 1.80 ч (≈ 11 %).

Prompt vs Loop vs Bilevel Loop

Сравнительная таблица.

• Однократный запрос – вы задаёте каждое действие вручную.
• Karpathy Loop – вы задаёте цель один раз, внутренняя модель итеративно ищет улучшения.
• Bilevel Autoresearch – два уровня: внутренний цикл ищет улучшения, внешний контролирует сам процесс поиска.

Пять строительных блоков любой петли

• Автоматизация – запуск цикла по расписанию или триггеру.
• Навык – markdown‑файл с инструкциями, читаемый каждый запуск.
• Суб‑агенты – раздельные роли «писателя» и «ревьюера».
• Коннекторы – интеграция с Jira, Slack, Git и т.п.
• Верфикатор – окончательное «ворота», отбрасывающие плохие варианты.

Bilevel Autoresearch: цикл над циклом

Работа, описанная в статье Bilevel Autoresearch, добавляет внешний уровень, который анализирует, где внутренний цикл «застрял», и генерирует новые механизмы поиска. На том же benchmark‑е внешний цикл улучшил val_bpb в 5 раз по сравнению с одиночным.

Практические примеры применения

Любая задача, где есть чётко измеримый критерий, подходит:

• Модели – автотюнинг гиперпараметров до нужного val_bpb.
• Программный код – рефакторинг до прохождения всех тестов и сборки.
• Контент – переписывание текста до удовлетворения всех пунктов чек‑листа.
• Данные – настройка ETL‑pipeline до прохождения схемы и валидаций.

Попробуйте сами: однострочный запрос‑цикл

Скопируйте в любой LLM‑модель и наблюдайте за самокоррекцией:

You will work in a loop until the task meets the bar.

TASK:
[опишите точно, что нужно получить]

SUCCESS CRITERIA (be strict):
- [критерий 1]
- [критерий 2]
- [критерий 3]

LOOP PROTOCOL, repeat every turn:
1. PLAN   - state the single next step.
2. DO     - produce or improve the work.
3. VERIFY - score the result 1-10 on each criterion. Be honest.
4. DECIDE - if every criterion is 8+, print FINAL and stop.
            Otherwise print ITERATING and fix the weakest point first.

RULES:
- Never call it done until every criterion is 8 or higher.
- Each pass must fix the weakest score from the last VERIFY.
- Do not ask questions. Make a sensible assumption and continue.
Begin.

Для полноценного цикла добавьте автоматизацию, файл состояния и реальный верфикатор – тогда процесс станет полностью автономным.