Введение
Операционные системы главной рамы, созданные в 1940-х годах, остаются неотъемлемыми для критических секторов, таких как финансы и правительство. Однако огромное наследие кода COBOL, оцениваемое IBM в 200–220 миллиардов строк, требует миграции на современные платформы и переписывания на современных языках программирования. Эта задача является гигантской, с оценочной стоимостью переписывания кода COBOL с использованием человеческих ресурсов от 32 до 50 центов за строку, что представляет собой вызов на сумму в 100 миллиардов долларов. Время, необходимое для полной переписи человеческими программистами, все еще неопределенно. Эти системы часто воспринимаются как устаревшие, требующие значительного обслуживания и модернизации. Решение этой проблемы требует инновационных инструментов, способных понимать и взаимодействовать с кодовыми базами устаревших систем, давно являющимися препятствием для отрасли. Появление больших языковых моделей (LLM) предлагает потенциальное решение этой вечной проблемы. Однако существуют несколько проблем при применении LLM для модернизации главных рам.
Проблемы при использовании LLM для модернизации главных рам:
- Ограниченное обучение на языках главной рамы.
- Отсутствие должных бенчмарков.
- Сложность за пределами генерации кода.
XMainframe
Для решения этих проблем исследователи из AI Center FPT Software разработали XMainframe, передовую модель большого языка, специально разработанную с экспертизой в области устаревших систем главной рамы и кодовых баз COBOL. Решение включает создание обширного конвейера сбора данных для создания качественных наборов данных для обучения, что значительно повышает производительность XMainframe в этой специализированной области. Кроме того, они представляют MainframeBench, всеобъемлющий бенчмарк для оценки знаний главной рамы с помощью вопросов с выбором ответа, вопросно-ответной системы и краткого изложения кода COBOL. Эмпирические оценки показывают, что XMainframe последовательно превосходит существующие передовые модели LLM в этих задачах, достигая на 30% более высокой точности, чем DeepSeek-Coder в вопросах с выбором ответа, удваивая показатель BLEU по сравнению с Mixtral-Instruct 8x7B в вопросно-ответной системе и набирая в шесть раз больше баллов, чем GPT-3.5 при кратком изложении COBOL. Эта работа подчеркивает потенциал XMainframe в создании значительных преимуществ в управлении и модернизации устаревших систем, в конечном итоге повышая производительность и экономя время для разработчиков программного обеспечения.
Результаты по вопросам с выбором ответа:
30% более высокая точность, чем DeepSeek-Coder.
Результаты по вопросно-ответной системе:
Удвоение показателя BLEU по сравнению с Mixtral-Instruct 8x7B.
Результаты по краткому изложению кода:
Шесть раз больше баллов, чем GPT-3.5.
Проверьте Paper и GitHub. Все заслуги за это исследование принадлежат исследователям этого проекта. Также не забудьте подписаться на наш Telegram-канал и Twitter.
Если вам нравится наша работа, вам понравится и наш новостной бюллетень.
Не забудьте присоединиться к нашему сообществу ML на Reddit.
Узнайте о предстоящих вебинарах по ИИ здесь.
Благодарим AI Center FPT Software за поддержку в создании этого контента.