Что такое Leanstral 1.5
Leanstral 1.5 — это код‑агент модель для Lean 4, системы доказательства теорем. Она умеет проверять каждый логический шаг механически, писать и дополнять доказательства, а также взаимодействовать с файловой системой и сервером языка Lean.
Архитектура основана на Mixture‑of‑Experts (MoE): 128 экспертов, 4 активных на токен. Это позволяет держать вычислительные затраты низкими, сохраняя большую общую ёмкость модели. Объём модели — 119 млрд параметров, при этом активируется лишь 6,5 млрд на токен. Длина контекста достигает 256 k токенов, вход поддерживает текст и изображения, а вывод — только текст.
Как Mistral обучала Leanstral 1.5
Обучение проходило в три этапа: предобучение, supervised fine‑tuning и reinforcement learning с использованием CISPO.
- Многотуровое окружение. Модель получает формулировку теоремы, генерирует доказательство, получает обратную связь от компилятора Lean и улучшает решение, пока не достигнет успеха или не исчерпает бюджет.
- Окружение код‑агента. Leanstral работает напрямую с файловой системой, выполняет bash‑команды и использует Lean Language Server, который в реальном времени отдаёт цели, ошибки и типовую информацию. Это позволяет автоматически дополнять доказательства, создавать вспомогательные леммы и сохранять контекст даже после его компрессии.
Корректность проверяется форком SafeVerify от Mistral.
Бенчмарки и производительность
Модель демонстрирует рекордные результаты на нескольких популярных наборах:
- miniF2F (валидация + тест). 100 % (полное насыщение).
- PutnamBench. 587 из 672 задач (≈87 %). Стоимость решения ≈ $4 за задачу.
- FATE‑H. 87 % (новый state‑of‑the‑art).
- FATE‑X. 34 % (новый state‑of‑the‑art).
- FLTEval. Pass@1 = 28.9 %, Pass@8 = 43.2 % (опережает Opus 4.6, который достиг 39.6 % при семикратных затратах).
Тест‑тайм скейлинг показывает, что увеличение токен‑бюджета позволяет решать всё больше задач: 44 задачи при 50 k токенов, 244 – 200 k, 493 – 1 M и 587 – 4 M токенов.
Стоимость решения задач
Сравнительно небольшие расходы Leanstral 1.5 делают её привлекательной:
- Leanstral 1.5 ≈ $4 за задачу (по оценкам Mistral).
- Aleph Prover ≈ $54–$68 за задачу.
- Seed‑Prover (high) ≈ $300 и более за задачу.
Таким образом, Leanstral 1.5 предлагает более чем в 10 раз дешевле решение при сопоставимом или лучшем качестве доказательств.
Практические рекомендации
- Выбор контекстного окна. При работе с большими формулировками используйте контекст до 256 k токенов; если нужен более длинный контекст, применяйте компрессию.
- Оптимизация бюджета. Для большинства задач достаточно токен‑бюджета 200 k – 1 M; увеличение до 4 M имеет смысл только для особо сложных теорем.
- Интеграция в CI/CD. Leanstral может работать в автоматических пайплайнах: запускайте её как часть проверки pull‑request‑ов, используя бесплатный API‑эндпоинт
leanstral-1-5. - Отладка. При неудачном доказательстве откройте лог компилятора Lean и позвольте модели проанализировать ошибки; обычно 2‑3 итерации достаточно для исправления.
