Análisis de LLMS Open Source para la generación de casos de prueba unitarios

Abstract

La generación de casos de prueba unitarios es una tarea importante en las pruebas de software, ya que permite detectar errores de manera temprana; sin embargo, es un proceso que demanda mucho tiempo y esfuerzo. Las primeras propuestas para abordar este problema aplican enfoques tradicionales que se basan en aleatoriedad, [1] y búsquedas [2]. Recientemente, ha surgido una nueva línea de investigación que explora el uso de Modelos de Lenguaje Grande (LLM por sus siglas en inglés) para la generación de pruebas unitarias, como ChatUniTest [3] y LLMforTDD [4]. Estas soluciones mejoran la cobertura de casos de prueba, pero se limitan a LLMs de licencia cerrada y generalmente requieren código fuente previo. Solo LLMforTDD se alinea con el enfoque de desarrollo guiado por pruebas (Test-Driven Development, TDD) [5], que prioriza crear casos de prueba antes del código. Este trabajo propone un análisis de LLMs open source para generación de casos de prueba unitarios en Java, siguiendo TDD. Mediante técnicas de fine-tuning y diseño de prompts, se busca comparar el rendimiento de estos modelos, identificando sus fortalezas y limitaciones, con el propósito de desarrollar una alternativa accesible y adaptable para la generación automática de pruebas unitarias.

Unit test case generation is an important task in software testing, as it allows early error detection; however, it is a process that requires significant time and effort. The first proposals to address this problem apply traditional approaches based on randomness and searches. Recently, a new line of research has emerged exploring the use of Large Language Models (LLMs) for unit test generation, such as ChatUniTest and LLMforTDD. These solutions improve test case coverage but are limited to closed-license LLMs and generally require prior source code. Only LLMforTDD aligns with the Test-Driven Development (TDD) approach, which prioritizes creating test cases before code. This work proposes an analysis of open-source LLMs for the generation of unit test cases in Java, following TDD. Through fine-tuning techniques and prompt design, the objective is to compare the performance of these models, identifying their strengths and limitations, with the purpose of developing an accessible and adaptable alternative for automatic test generation.