Test Case Selector: Uma Ferramenta para Seleção de Testes

• Autor(a) principal: Nereida Dantas Mafra, Juliana
• Data de Publicação: 2010
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Institucional da UFPE
• dARK ID: ark:/64986/0013000005bjf
• Texto Completo: https://repositorio.ufpe.br/handle/123456789/2326
• topic: Teste de Software; Teste de Regressão; Seleção de Testes

Esta dissertação descreve a ferramenta Test Case Selector (TCS), desenvolvida para auxiliar o usuário a selecionar casos de teste. O Test Case Selector foi desenvolvido no contexto de uma cooperação industrial com a Motorola, onde seleção de testes de regressão não é uma tarefa fácil. Em geral, uma suíte possui milhares de casos de testes e, em um ciclo de regressão, apenas algumas centenas podem ser executados, de acordo com a capacidade dos times de execução. Tal seleção é feita manualmente. O processo de seleção do TCS atribui pontos a cada caso de teste de acordo com 4 critérios de seleção: número de execuções, taxa de falhas por execução, número de defeitos novos encontrados e complexidade do teste. O usuário atribui pesos a cada critério e o TCS calcula uma média ponderada para cada caso de teste. Os casos de teste que mais pontuaram são mais relevantes para o ciclo de regressão. Para avaliar a ferramenta TCS, desenvolvemos uma ferramenta auxiliar de cálculo de métricas e executamos 3 estudos de caso. A métrica M1 calcula a intersecção existente entre as técnicas manual e automática e as métricas M2:1 e M2:2 calculam a efetividade da seleção automática baseado no percentual de casos de teste que acham defeitos e no percentual de defeitos encontrados, respectivamente. O primeiro estudo de caso compara a seleção manual com a seleção automática, o segundo avalia a efetividade da seleção automática realizada pelo TCS e o terceiro ilustra um processo de extração de pesos a partir do histórico de execução. De acordo com os resultados analisados, verificamos que no primeiro estudo de caso, não houve semelhança significativa entre os casos de teste selecionados de forma manual e automática. No segundo estudo de caso, observamos que a efetividade obtida ao considerar pequenos intervalos não foi satisfatória e no terceiro, através do processo de melhoria contínua, conseguimos detectar critérios que foram eficazes no passado e obtivemos resultados mais efetivos. As principais contribuições deste trabalho são: a definição de 4 critérios para seleção de casos de teste caixa-preta baseados em informações históricas e julgamento de especialistas; a implementação de ferramentas para mecanizar a seleção de casos de teste e realizar o cálculo automático das métricas; estudos de caso ilustrando o uso da ferramenta TCS em suítes reais e um processo de seleção de casos de teste baseado em melhoria contínua