Relating bug report fields with resolution status: a case study with bugzilla.

Detalhes bibliográficos
Autor(a) principal: FERREIRA, José Manoel dos Santos.
Data de Publicação: 2023
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da UFCG
Texto Completo: http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/32949
Resumo: Os bug reports(BR) são artefatos essenciais para a garantia da qualidade do software. No entanto, o BR produzido, seja por testadores ou usuários, exige do relator uma quantidade considerável de dados, como resumo, etapas necessárias para reproduzir, comportamento esperado/real do sistema, gravidade/prioridade e até mesmo anexos (capturas de tela, vídeos ou arquivos de log). Pesquisas anteriores destacaram a frequência com que esses campos de dados são negligenciados; em resposta, várias diretrizes para escrever bons BR podem ser encontradas na literatura. No entanto, é razoável avaliar o impacto relativo desses campos relatados sobre o resultado dos bugs reportados, especialmente as condições em que eles são resolvidos. Por exemplo, quais campos são os mais importantes para ajudar os desenvolvedores a corrigir um bug? Neste estudo, realizamos uma investigação em um conjunto de dados de 69 mil bugs extraídos da plataforma Bugzilla. Avaliamos cinco modelos de aprendizado de máquina para classificar o status de resolução de bugs (entre FIXED, INVALID, INCOMPLETE, WONTFIX, WORKSFORME, MOVED, DUPLICATED e INACTIVE) e, em seguida, determinamos os recursos que mais influenciam a classificação FIXED. O processo de classificação envolve o emprego de técnicas padrão de aprendizado de máquina para otimização de modelos, incluindo balanceamento, agrupamento e fine-tuning. Notavelmente, o modelo Random Forest demonstrou excelente desempenho, alcançando 71,81% de precisão, 74,46% de acurácia e 72,32% de f-measure, com uma notável precisão de 95% na classificação de BR FIXED. Além disso, esse modelo nos permitiu identificar os campos mais influentes para a previsão de resolução. Entre os campos considerados, aqueles relacionados a dados textuais, como resumo, descrição e comentários, surgiram como contribuintes significativos para a classificação de importância do campo. Além disso, os anexos adicionados por meio da seção de comentários mostraram uma relevância considerável para a resolução do BR, assim como as alterações feitas durante o ciclo de vida do BR. Com base nesses resultados, fica evidente que o preenchimento de determinados campos nos BRs pode ajudar na correção dos bugs relatados. Consequentemente, as equipes de desenvolvimento podem se beneficiar dessas descobertas para estabelecer prioridades durante o processo de correção de bugs e alocar recursos de forma mais eficaz para a garantia de qualidade. Além disso, comunicar a importância desses campos aos usuários antes de enviar os BRs pode i resultar em envios mais focados e informativos, além de ajudar a aproveitar melhor o tempo deles.
id UFCG_6d0d0e80387d85dde78c0a178cd02362
oai_identifier_str oai:localhost:riufcg/32949
network_acronym_str UFCG
network_name_str Biblioteca Digital de Teses e Dissertações da UFCG
repository_id_str 4851
spelling Relating bug report fields with resolution status: a case study with bugzilla.Relacionando campos de relatório de bug com status de resolução: um estudo de caso com bugzilla.Software EngineeringComputer ScienceBug ReportsEngenharia de SoftwareInformáticaRelatórios de bugsEngenharia Elétrica e InformáticaOs bug reports(BR) são artefatos essenciais para a garantia da qualidade do software. No entanto, o BR produzido, seja por testadores ou usuários, exige do relator uma quantidade considerável de dados, como resumo, etapas necessárias para reproduzir, comportamento esperado/real do sistema, gravidade/prioridade e até mesmo anexos (capturas de tela, vídeos ou arquivos de log). Pesquisas anteriores destacaram a frequência com que esses campos de dados são negligenciados; em resposta, várias diretrizes para escrever bons BR podem ser encontradas na literatura. No entanto, é razoável avaliar o impacto relativo desses campos relatados sobre o resultado dos bugs reportados, especialmente as condições em que eles são resolvidos. Por exemplo, quais campos são os mais importantes para ajudar os desenvolvedores a corrigir um bug? Neste estudo, realizamos uma investigação em um conjunto de dados de 69 mil bugs extraídos da plataforma Bugzilla. Avaliamos cinco modelos de aprendizado de máquina para classificar o status de resolução de bugs (entre FIXED, INVALID, INCOMPLETE, WONTFIX, WORKSFORME, MOVED, DUPLICATED e INACTIVE) e, em seguida, determinamos os recursos que mais influenciam a classificação FIXED. O processo de classificação envolve o emprego de técnicas padrão de aprendizado de máquina para otimização de modelos, incluindo balanceamento, agrupamento e fine-tuning. Notavelmente, o modelo Random Forest demonstrou excelente desempenho, alcançando 71,81% de precisão, 74,46% de acurácia e 72,32% de f-measure, com uma notável precisão de 95% na classificação de BR FIXED. Além disso, esse modelo nos permitiu identificar os campos mais influentes para a previsão de resolução. Entre os campos considerados, aqueles relacionados a dados textuais, como resumo, descrição e comentários, surgiram como contribuintes significativos para a classificação de importância do campo. Além disso, os anexos adicionados por meio da seção de comentários mostraram uma relevância considerável para a resolução do BR, assim como as alterações feitas durante o ciclo de vida do BR. Com base nesses resultados, fica evidente que o preenchimento de determinados campos nos BRs pode ajudar na correção dos bugs relatados. Consequentemente, as equipes de desenvolvimento podem se beneficiar dessas descobertas para estabelecer prioridades durante o processo de correção de bugs e alocar recursos de forma mais eficaz para a garantia de qualidade. Além disso, comunicar a importância desses campos aos usuários antes de enviar os BRs pode i resultar em envios mais focados e informativos, além de ajudar a aproveitar melhor o tempo deles.Bug reports are critical artifacts in software quality assurance. However, bug reporting, whether by testers or users, is costly; it demands from the reporter a considerable amount of data, such as summary, steps required to reproduce, expected/actual system behavior, severity/priority, and even attachments (screenshots, videos, or log files). Previous research has highlighted how often these data fields are neglected; in response, several guidelines for writing good reports can be found in the literature. Nevertheless, it is reasonable to assess the relative impact of those reported fields on the outcome of the reported bugs, especially the conditions under which they get resolved. As an inquiry, which fields are the most important for helping developers fix a bug? This study investigates a 69k-bugs dataset extracted from the Bugzilla platform. We evaluate five machine learning models to classify the bug resolution status (among FIXED, INVALID, INCOMPLETE, WONTFIX, WORKSFORME, MOVED, DUPLICATED, and INACTIVE), then determine the features that influence the FIXED classification most. The classification process employs standard ML techniques for model optimization, including balancing, grouping, and fine-tuning. Notably, the Random Forest model demonstrated outstanding performance, achieving 71.81% precision, 74.46% accuracy, and 72.32% f-measure, with a remarkable 95% accuracy in classifying FIXED reports. Additionally, this model allowed us to identify the most influential fields for resolution prediction. Among the fields considered, those related to textual data, such as summary, description, and comments, emerged as significant contributors to the field’s importance ranking. Furthermore, attachments added through the comments section showed considerable relevance to bug report resolution, as did the changes made throughout the bug report’s lifecycle. Given these results, filling specific fields in the bug reports can significantly assist in fixing the reported bugs. Consequently, development teams may benefit from considering these findings to establish priorities during the bug-fixing process and allocate resources more effectively for quality assurance. Moreover, communicating the importance of these fields to reporters before submitting bug reports can lead to more focused and informative submissions and help to make better use of their time.Universidade Federal de Campina GrandeBrasilCentro de Engenharia Elétrica e Informática - CEEIPÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃOUFCGRAMALHO, Franklin de Souza.Ramalho, F.http://lattes.cnpq.br/2469816352786812MASSONI, Tiago Lima.MASSONI, T. L.http://lattes.cnpq.br/3563923906851611ALVES , Everton Leandro Galdino.MIRANDA , Breno Alexandro Ferreira de.FERREIRA, José Manoel dos Santos.2023-09-052023-11-20T13:56:11Z2023-11-202023-11-20T13:56:11Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/32949FERREIRA, José Manoel dos Santos. Relating bug report fields with resolution status: a case study with bugzilla. 2023. 93 f. Dissertação (Mestrado em Ciência da Computação) – Programa de Pós-Graduação em Ciência da Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande, Paraíba, Brasil, 2023.porinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFCGinstname:Universidade Federal de Campina Grande (UFCG)instacron:UFCG2023-11-20T13:56:11Zoai:localhost:riufcg/32949Biblioteca Digital de Teses e Dissertaçõeshttp://bdtd.ufcg.edu.br/PUBhttp://dspace.sti.ufcg.edu.br:8080/oai/requestbdtd@setor.ufcg.edu.br || bdtd@setor.ufcg.edu.bropendoar:48512023-11-20T13:56:11Biblioteca Digital de Teses e Dissertações da UFCG - Universidade Federal de Campina Grande (UFCG)false
dc.title.none.fl_str_mv Relating bug report fields with resolution status: a case study with bugzilla.
Relacionando campos de relatório de bug com status de resolução: um estudo de caso com bugzilla.
title Relating bug report fields with resolution status: a case study with bugzilla.
spellingShingle Relating bug report fields with resolution status: a case study with bugzilla.
FERREIRA, José Manoel dos Santos.
Software Engineering
Computer Science
Bug Reports
Engenharia de Software
Informática
Relatórios de bugs
Engenharia Elétrica e Informática
title_short Relating bug report fields with resolution status: a case study with bugzilla.
title_full Relating bug report fields with resolution status: a case study with bugzilla.
title_fullStr Relating bug report fields with resolution status: a case study with bugzilla.
title_full_unstemmed Relating bug report fields with resolution status: a case study with bugzilla.
title_sort Relating bug report fields with resolution status: a case study with bugzilla.
author FERREIRA, José Manoel dos Santos.
author_facet FERREIRA, José Manoel dos Santos.
author_role author
dc.contributor.none.fl_str_mv RAMALHO, Franklin de Souza.
Ramalho, F.
http://lattes.cnpq.br/2469816352786812
MASSONI, Tiago Lima.
MASSONI, T. L.
http://lattes.cnpq.br/3563923906851611
ALVES , Everton Leandro Galdino.
MIRANDA , Breno Alexandro Ferreira de.
dc.contributor.author.fl_str_mv FERREIRA, José Manoel dos Santos.
dc.subject.por.fl_str_mv Software Engineering
Computer Science
Bug Reports
Engenharia de Software
Informática
Relatórios de bugs
Engenharia Elétrica e Informática
topic Software Engineering
Computer Science
Bug Reports
Engenharia de Software
Informática
Relatórios de bugs
Engenharia Elétrica e Informática
description Os bug reports(BR) são artefatos essenciais para a garantia da qualidade do software. No entanto, o BR produzido, seja por testadores ou usuários, exige do relator uma quantidade considerável de dados, como resumo, etapas necessárias para reproduzir, comportamento esperado/real do sistema, gravidade/prioridade e até mesmo anexos (capturas de tela, vídeos ou arquivos de log). Pesquisas anteriores destacaram a frequência com que esses campos de dados são negligenciados; em resposta, várias diretrizes para escrever bons BR podem ser encontradas na literatura. No entanto, é razoável avaliar o impacto relativo desses campos relatados sobre o resultado dos bugs reportados, especialmente as condições em que eles são resolvidos. Por exemplo, quais campos são os mais importantes para ajudar os desenvolvedores a corrigir um bug? Neste estudo, realizamos uma investigação em um conjunto de dados de 69 mil bugs extraídos da plataforma Bugzilla. Avaliamos cinco modelos de aprendizado de máquina para classificar o status de resolução de bugs (entre FIXED, INVALID, INCOMPLETE, WONTFIX, WORKSFORME, MOVED, DUPLICATED e INACTIVE) e, em seguida, determinamos os recursos que mais influenciam a classificação FIXED. O processo de classificação envolve o emprego de técnicas padrão de aprendizado de máquina para otimização de modelos, incluindo balanceamento, agrupamento e fine-tuning. Notavelmente, o modelo Random Forest demonstrou excelente desempenho, alcançando 71,81% de precisão, 74,46% de acurácia e 72,32% de f-measure, com uma notável precisão de 95% na classificação de BR FIXED. Além disso, esse modelo nos permitiu identificar os campos mais influentes para a previsão de resolução. Entre os campos considerados, aqueles relacionados a dados textuais, como resumo, descrição e comentários, surgiram como contribuintes significativos para a classificação de importância do campo. Além disso, os anexos adicionados por meio da seção de comentários mostraram uma relevância considerável para a resolução do BR, assim como as alterações feitas durante o ciclo de vida do BR. Com base nesses resultados, fica evidente que o preenchimento de determinados campos nos BRs pode ajudar na correção dos bugs relatados. Consequentemente, as equipes de desenvolvimento podem se beneficiar dessas descobertas para estabelecer prioridades durante o processo de correção de bugs e alocar recursos de forma mais eficaz para a garantia de qualidade. Além disso, comunicar a importância desses campos aos usuários antes de enviar os BRs pode i resultar em envios mais focados e informativos, além de ajudar a aproveitar melhor o tempo deles.
publishDate 2023
dc.date.none.fl_str_mv 2023-09-05
2023-11-20T13:56:11Z
2023-11-20
2023-11-20T13:56:11Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/32949
FERREIRA, José Manoel dos Santos. Relating bug report fields with resolution status: a case study with bugzilla. 2023. 93 f. Dissertação (Mestrado em Ciência da Computação) – Programa de Pós-Graduação em Ciência da Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande, Paraíba, Brasil, 2023.
url http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/32949
identifier_str_mv FERREIRA, José Manoel dos Santos. Relating bug report fields with resolution status: a case study with bugzilla. 2023. 93 f. Dissertação (Mestrado em Ciência da Computação) – Programa de Pós-Graduação em Ciência da Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande, Paraíba, Brasil, 2023.
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Campina Grande
Brasil
Centro de Engenharia Elétrica e Informática - CEEI
PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO
UFCG
publisher.none.fl_str_mv Universidade Federal de Campina Grande
Brasil
Centro de Engenharia Elétrica e Informática - CEEI
PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO
UFCG
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFCG
instname:Universidade Federal de Campina Grande (UFCG)
instacron:UFCG
instname_str Universidade Federal de Campina Grande (UFCG)
instacron_str UFCG
institution UFCG
reponame_str Biblioteca Digital de Teses e Dissertações da UFCG
collection Biblioteca Digital de Teses e Dissertações da UFCG
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFCG - Universidade Federal de Campina Grande (UFCG)
repository.mail.fl_str_mv bdtd@setor.ufcg.edu.br || bdtd@setor.ufcg.edu.br
_version_ 1809744601414631424