Seleção de Dados de Teste com Base na Aplicação de Testes de Mutação a Modelos de Árvore de Decisão

Detalhes bibliográficos
Autor(a) principal: Silveira, Beatriz Nogueira Carvalho da
Data de Publicação: 2024
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da USP
Texto Completo: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-10062024-105606/
Resumo: O teste de software é crucial para garantir a qualidade do software, verificando se ele se comporta conforme o esperado. Esta atividade desempenha um papel crucial na identificação de defeitos desde os estágios iniciais do processo de desenvolvimento. O teste de software é especialmente essencial em sistemas complexos ou críticos, como aqueles que utilizam técnicas de Aprendizagem de Máquina (AM), uma vez que os modelos podem apresentar incertezas e erros que afetam sua confiabilidade. Para enfrentar os desafios inerentes ao teste de sistemas baseados em AM, este trabalho propõe critérios de teste fundamentados em modelos de árvores de decisão. Desta forma, este projeto investiga a aplicação do teste de mutação à estrutura interna de modelos de árvores de decisão, visando apoiar a seleção de entradas de teste e, assim, aprimorar a validação de aplicações de AM. Nossa abordagem introduz pequenas modificações no modelo de árvore de decisão, resultando no que denominamos \"árvores mutantes\". As árvores mutantes geradas servem como referência para a seleção de conjuntos de dados de teste capazes de identificar classificações incorretas em modelos de AM. Para avaliar nossa abordagem, conduzimos um experimento que abrangeu 16 conjuntos de dados. Neste experimento, avaliamos a eficácia dos conjuntos de teste gerados por nossa abordagem em comparação com a seleção aleatória de dados de teste. Avaliamos o desempenho usando modelos de AM adicionais e aplicamos métricas amplamente aceitas para avaliar modelos de classificação em AM. Os resultados do experimento indicam que a abordagem proposta tem o potencial de aprimorar com sucesso a seleção de dados de teste para a validação de aplicações de AM.
id USP_521a4fa67f2f1a4bb742d1484889e1d9
oai_identifier_str oai:teses.usp.br:tde-10062024-105606
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str 2721
spelling Seleção de Dados de Teste com Base na Aplicação de Testes de Mutação a Modelos de Árvore de DecisãoTest Data Selection Based on Applying Mutation Testing to Decision Tree ModelsAprendizagem de máquinaÁrvore de decisãoDecision treeMachine learningMutation testingSoftware testingTeste de mutaçãoTeste de softwareO teste de software é crucial para garantir a qualidade do software, verificando se ele se comporta conforme o esperado. Esta atividade desempenha um papel crucial na identificação de defeitos desde os estágios iniciais do processo de desenvolvimento. O teste de software é especialmente essencial em sistemas complexos ou críticos, como aqueles que utilizam técnicas de Aprendizagem de Máquina (AM), uma vez que os modelos podem apresentar incertezas e erros que afetam sua confiabilidade. Para enfrentar os desafios inerentes ao teste de sistemas baseados em AM, este trabalho propõe critérios de teste fundamentados em modelos de árvores de decisão. Desta forma, este projeto investiga a aplicação do teste de mutação à estrutura interna de modelos de árvores de decisão, visando apoiar a seleção de entradas de teste e, assim, aprimorar a validação de aplicações de AM. Nossa abordagem introduz pequenas modificações no modelo de árvore de decisão, resultando no que denominamos \"árvores mutantes\". As árvores mutantes geradas servem como referência para a seleção de conjuntos de dados de teste capazes de identificar classificações incorretas em modelos de AM. Para avaliar nossa abordagem, conduzimos um experimento que abrangeu 16 conjuntos de dados. Neste experimento, avaliamos a eficácia dos conjuntos de teste gerados por nossa abordagem em comparação com a seleção aleatória de dados de teste. Avaliamos o desempenho usando modelos de AM adicionais e aplicamos métricas amplamente aceitas para avaliar modelos de classificação em AM. Os resultados do experimento indicam que a abordagem proposta tem o potencial de aprimorar com sucesso a seleção de dados de teste para a validação de aplicações de AM.Software testing is crucial to ensuring the quality of the software by checking that it behaves as expected. This activity plays a crucial role in identifying defects from the early stages of the development process. Software testing is especially essential in complex or critical systems, such as those using Machine Learning (ML) techniques, as models can introduce uncertainties and errors that affect their reliability. This work proposes testing criteria for ML based on decision tree models. These criteria aim to address the challenges inherent in testing ML-based systems. In this direction, this work investigates the definition of mutation testing to be applied in decision tree models. Mutant operators are adapted to the decision tree model where minor modifications to the decision tree result in mutant trees, which are references for selecting test data to validate ML applications. We conducted an experimental study to evaluate our proposed testing criteria compared to random testing. A set of 16 ML applications was used in this study, where a set of metrics to evaluate ML classification models was used to compare the testing criteria. The experiment results indicate that the proposed testing criteria have the potential to successfully improve the selection of test data for the validation of ML applications, offering initial studies to evaluate software testing criteria adapted for ML problems.Biblioteca Digitais de Teses e Dissertações da USPSouza, Simone do Rocio Senger deSilveira, Beatriz Nogueira Carvalho da2024-05-10info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/55/55134/tde-10062024-105606/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2024-06-10T14:02:02Zoai:teses.usp.br:tde-10062024-105606Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212024-06-10T14:02:02Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Seleção de Dados de Teste com Base na Aplicação de Testes de Mutação a Modelos de Árvore de Decisão
Test Data Selection Based on Applying Mutation Testing to Decision Tree Models
title Seleção de Dados de Teste com Base na Aplicação de Testes de Mutação a Modelos de Árvore de Decisão
spellingShingle Seleção de Dados de Teste com Base na Aplicação de Testes de Mutação a Modelos de Árvore de Decisão
Silveira, Beatriz Nogueira Carvalho da
Aprendizagem de máquina
Árvore de decisão
Decision tree
Machine learning
Mutation testing
Software testing
Teste de mutação
Teste de software
title_short Seleção de Dados de Teste com Base na Aplicação de Testes de Mutação a Modelos de Árvore de Decisão
title_full Seleção de Dados de Teste com Base na Aplicação de Testes de Mutação a Modelos de Árvore de Decisão
title_fullStr Seleção de Dados de Teste com Base na Aplicação de Testes de Mutação a Modelos de Árvore de Decisão
title_full_unstemmed Seleção de Dados de Teste com Base na Aplicação de Testes de Mutação a Modelos de Árvore de Decisão
title_sort Seleção de Dados de Teste com Base na Aplicação de Testes de Mutação a Modelos de Árvore de Decisão
author Silveira, Beatriz Nogueira Carvalho da
author_facet Silveira, Beatriz Nogueira Carvalho da
author_role author
dc.contributor.none.fl_str_mv Souza, Simone do Rocio Senger de
dc.contributor.author.fl_str_mv Silveira, Beatriz Nogueira Carvalho da
dc.subject.por.fl_str_mv Aprendizagem de máquina
Árvore de decisão
Decision tree
Machine learning
Mutation testing
Software testing
Teste de mutação
Teste de software
topic Aprendizagem de máquina
Árvore de decisão
Decision tree
Machine learning
Mutation testing
Software testing
Teste de mutação
Teste de software
description O teste de software é crucial para garantir a qualidade do software, verificando se ele se comporta conforme o esperado. Esta atividade desempenha um papel crucial na identificação de defeitos desde os estágios iniciais do processo de desenvolvimento. O teste de software é especialmente essencial em sistemas complexos ou críticos, como aqueles que utilizam técnicas de Aprendizagem de Máquina (AM), uma vez que os modelos podem apresentar incertezas e erros que afetam sua confiabilidade. Para enfrentar os desafios inerentes ao teste de sistemas baseados em AM, este trabalho propõe critérios de teste fundamentados em modelos de árvores de decisão. Desta forma, este projeto investiga a aplicação do teste de mutação à estrutura interna de modelos de árvores de decisão, visando apoiar a seleção de entradas de teste e, assim, aprimorar a validação de aplicações de AM. Nossa abordagem introduz pequenas modificações no modelo de árvore de decisão, resultando no que denominamos \"árvores mutantes\". As árvores mutantes geradas servem como referência para a seleção de conjuntos de dados de teste capazes de identificar classificações incorretas em modelos de AM. Para avaliar nossa abordagem, conduzimos um experimento que abrangeu 16 conjuntos de dados. Neste experimento, avaliamos a eficácia dos conjuntos de teste gerados por nossa abordagem em comparação com a seleção aleatória de dados de teste. Avaliamos o desempenho usando modelos de AM adicionais e aplicamos métricas amplamente aceitas para avaliar modelos de classificação em AM. Os resultados do experimento indicam que a abordagem proposta tem o potencial de aprimorar com sucesso a seleção de dados de teste para a validação de aplicações de AM.
publishDate 2024
dc.date.none.fl_str_mv 2024-05-10
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/55/55134/tde-10062024-105606/
url https://www.teses.usp.br/teses/disponiveis/55/55134/tde-10062024-105606/
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1809090582008561664

Registros relacionados