Достижение 78.55% успешных тестов с использованием коэволюционного подхода к генерации и исправлению модульных тестов на основе LLM

 TestART: Achieving 78.55% Pass Rate and 90.96% Coverage with a Co-Evolutionary Approach to LLM-Based Unit Test Generation and Repair

“`html

Unit Testing and AI: Practical Solutions and Value

Automated Unit Test Generation

Автоматизированное создание модульных тестов направлено на выявление и устранение ошибок на ранних этапах разработки. Традиционные методы генерации модульных тестов, такие как поисковые, основанные на ограничениях и случайные техники, используются для автоматизации создания модульных тестов с целью максимизации охвата компонентов программного обеспечения и минимизации вероятности обнаружения недетектированных ошибок.

Challenges in Automated Unit Test Generation

Основной вызов в автоматизированной генерации модульных тестов заключается в ограничениях существующих методов. Большие языковые модели (LLM), такие как ChatGPT, показали значительный потенциал в генерации модульных тестов, однако часто сталкиваются с проблемами в создании действительных тестовых случаев. Существующие методы, включая инструменты на основе поискового тестирования программного обеспечения (SBST) и LLM, предлагают различные подходы к решению этих проблем.

TestART: Co-Evolutionary Approach to LLM-Based Unit Test Generation and Repair

Исследователи из Нанкинского университета и Huawei Cloud Computing Technologies Co., Ltd. представили новый подход под названием TestART. Этот метод улучшает генерацию модульных тестов на основе LLM через коэволюционный процесс, интегрирующий автоматизированную генерацию с итеративным исправлением. TestART разработан для преодоления ограничений LLM путем включения техник исправления на основе шаблонов и механизмов внедрения подсказок.

Effectiveness of TestART

Эффективность TestART продемонстрирована через эксперименты на широко используемом бенчмарке Defects4J. Результаты показывают, что TestART значительно превосходит существующие методы, достигая показателей прохождения тестов в 78.55% и покрытия кода в 90.96%. Эти результаты подчеркивают превосходство TestART в создании высококачественных модульных тестов.

Для получения дополнительной информации ознакомьтесь с исследованием.

Все права на исследование принадлежат его авторам.

Следите за нашими новостями в Twitter и присоединяйтесь к нашим группам в Telegram и LinkedIn.

Не забудьте присоединиться к нашему сообществу в Reddit.

Найдите предстоящие вебинары по ИИ здесь.

Arcee AI Released DistillKit

Arcee AI выпустила DistillKit: открытый инструмент для моделирования дистилляции, обеспечивающий создание эффективных и высокопроизводительных малых языковых моделей.

Больше информации доступно на сайте.

“`

Полезные ссылки: