Um estudo sobre a aplicação de LLMs no teste software

Este trabalho explora a aplicação de Modelos de Linguagem de Grande Escala (LLMs) no processo de Teste de Software, com foco na geração automatizada de artefatos de teste. O objetivo foi desenvolver e validar uma abordagem baseada em prompts genéricos e reutilizáveis para apoiar tarefas específicas em testes funcionais, testes estruturais e testes automatizados. O guia de prompts detalha a criação de casos de teste para técnicas como particionamento em classe de equivalência, análise de valor limite, cobertura de linha, cobertura de ramificação e cobertura de condições, além da geração de scripts de automação. Para avaliar a eficácia e a qualidade dos testes gerados pelos LLMs, foi adotada uma metodologia experimental de caráter quantitativo. Métricas de cobertura de código, como cobertura de instrução e cobertura de ramificação, foram coletadas utilizando a ferramenta JaCoCo. Adicionalmente, a qualidade da detecção de falhas dos testes foi verificada através de teste de mutação, com a extração da pontuação de mutação pela ferramenta PIT. Os resultados obtidos contribuem para a compreensão do potencial dos LLMs em otimizar o processo de garantia de qualidade de software, destacando tanto suas capacidades na criação de testes quanto às áreas onde a automação ainda pode ser aprimorada para garantir maior robustez e eficácia.