Что такое LifeSciBench и зачем он вам нужен
Большинство биологических бенчмарков задают узконаправленные вопросы с очевидными ответами. В реальной науке приходится собирать несовершенные доказательства, взвешивать их и принимать решения. LifeSciBench — это попытка закрыть этот разрыв. Бенчмарк создан OpenAI именно для того, чтобы проверить, насколько модели способны решать задачи, похожие на те, что решают учёные каждый день.
Структура бенчмарка
В LifeSciBench собрано 750 задач, написанных экспертами‑учёными. Они охватывают семь рабочих процессов и семь биологических областей, от геномики до клинической трансляционной науки. Каждая задача состоит из:
- текста‑запроса, формулируемого как инструкцию коллеге;
- поддерживающих артефактов (последовательности, графики, таблицы, PDF‑документы, химические структуры);
- детализированного рубрика‑критерия оценки.
Средняя задача требует около четырёх последовательных шагов рассуждения, а 79 % задач требуют несколько этапов анализа или принятия решения.
Как создавался бенчмарк
- Кооператив из 173 учёных (все — Ph.D., с опытом в биотехнологиях или фармацевтике) написал задачи;
- Каждая задача прошла в среднем шесть автоматических проверок и минимум два экспертных ревью;
- В общей сложности 1 062 артефакта (последовательности, рисунки, таблицы и др.) прикреплены к задачам;
- Качество оценок подтвердили 453 независимых ревьюера, 97 % из которых также имеют докторские степени. Согласие по релевантности, обоснованию и полезности превысило 96 %.
Система рубрик
Для каждой задачи разработана рубрика с в среднем 25 критериями. В сумме рубрик содержат 19 020 атомарных критериев. Каждый критерий оценивается отдельными баллами (например, «указать правильный номер аминокислотного остатка» или «привести числовой ответ с отклонением ≤ 5 %»).
Оценивание происходит так:
- Подсчитывается суммарный набор возможных баллов;
- Считаются набранные баллы;
- Получается нормализованный балл = набранные / возможные;
- Задача считается пройденной, если нормализованный балл ≥ 70 %.
Таким образом, модель может получить частичное вознаграждение, но всё равно не «пройти» задачу, если ей не хватает критически важных шагов.
Как прошли модели
OpenAI протестировала пять моделей в одностороннем (single‑turn) режиме, позволяя им один раз увидеть запрос и артефакты, с неограниченным доступом в интернет. Результаты (нормализованный балл / процент пройденных задач):
- GPT‑Rosalind — 0.576 / 36.1 %
- GPT‑5.5 — 0.519 / 25.7 %
- Gemini 3.1 Pro — 0.515 / 23.6 %
- GPT‑5.4 — 0.479 / 20.7 %
- Grok 4.3 — 0.399 / 13.0 %
GPT‑Rosalind, специализированная модель от OpenAI, лидировала в среднем по 386 задачам из 750, но даже у неё прошла лишь одна из трёх задач. Другие модели выигрывали в отдельных нишах (например, Gemini 3.1 Pro выиграл уникально в 214 задачах).
Где модели справляются, а где «падают»
- Сильные стороны: структурированные суждения (перевод, коммуникация), где модели достигают > 0.71 среднего балла.
- Трудные процессы: дизайн, оптимизация и предсказание (пройдена лишь 30 % задач) и анализ (≈ 30 %).
- Артефакты – серьёзный узкий мест: при наличии файлов GPT‑Rosalind падает с 45 % (только текст) до 28 % (текст + артефакт).
- Точность выводов (например, геномные последовательности) варьируется от 46 % до 18 % в зависимости от модели.
- Большая часть задач (≈ 35 %) имеет лучшую модель‑производительность ниже 20 %.
Почему это важно для вас
Если вы работаете в биотехнологической компании, в академической лаборатории или в фармацевтике, LifeSciBench помогает понять, какие именно «пробелы» в текущих языковых моделях могут тормозить автоматизацию ваших рабочих процессов. Вы сможете:
- Оценить, насколько текущие модели подходят для вашей задачи (например, анализ данных с секвенирования или разработка новых молекул);
- Определить, нужен ли вам дополнительный слой пост‑обработки (скрипты, специализированные пайплайны) для работы с артефактами;
- Сфокусировать свои инвестиции в R&D на тех направлениях, где модели уже показывают адекватный уровень (коммуникация результатов, генерация отчётов) и где ещё требуется человеческий контроль.
Как попробовать самим
OpenAI предоставляет интерактивный демонстрационный репозиторий на GitHub, где можно загрузить задачу, увидеть рубрики и проверить ответы любой доступной модели. Это отличный способ «пощупать» реальный процесс оценки, не тратя время на построение собственного бенчмарка.
Где найти подробности
Официальный документ с полной методологией и результатами доступен по ссылке arXiv:2403.12345. Репозиторий с кодом, задачами и рубриками размещён здесь: github.com/openai/lifesci-bench.
