The impact of experimentation guides in software engineering: a metanalysis
Autor(a) principal: | |
---|---|
Data de Publicação: | 2015 |
Tipo de documento: | Dissertação |
Idioma: | eng |
Título da fonte: | Repositório Institucional da UFPE |
Texto Completo: | https://repositorio.ufpe.br/handle/123456789/29361 |
Resumo: | Estudos empíricos são necessários para o desenvolvimento ou otimização de processos, métodos e ferramentas no desenvolvimento e manutenção de software. Para conduzir esse experimentos controlados há vários artigos científicos e livros dedidados a metodologia em engenharia de software experimental que chamaremos de guias de experimentação. Atualmente, há uma falta de consenso para o processo de experimentação. Há uma necessidade de avaliar o processo de experimentação propriamente dito. Além disso, a literatura atual é particularmente preocupante. Há um conhecimento com baixo poder estatístico, pouca validação e replicações, ocasionando deficiências no acúmulo e na transferência de conhecimento para a indústria. Em uma revisão preliminar, identificamos vários estudos que avaliam o domínio da engenharia de software nos aspectos seguintes: Poder estatístico e validação. Assim, decidimos medir o impacto de guias de experimentação em experimentos controlados. Para medir o impacto, 4 conclusões hipotéticas foram definidas em duas estratificações: uma estratificação de validacão, medida em termos do número de ameaças identificadas por cada experimento (H1), número de ações mitigativas tomadas (H2), percentual de mitigação por ameaça para cada estudo (H3); uma estratificação de poder estatístico, medida em termos do poder estatístico propriamente (H4). Para fins de comparação, experimentos controlados foram agrupados considerando os guias de experimentação referenciados ou não. 133 estudos de 2002 a 2014 foram incluídos nessa metanálise. 69 estudos referenciaram um guia de experimentação enquanto que 64 estudos não referenciaram um guia de experimentação. Ao todo, 722 ameaças, 402 ações mitigativas e 266 testes estatísticos foram encontrados. Para a estratificação de validação, todas as conclusões hipotéticas mostraram que há uma diferença entre o grupo de controle e o de intervenção que é estatisticamente significante. Estudos que referenciaram um guia de experimentação tendem a identificar e tratar mais ameaças, além de apresentarem um percentual de mitigação maior que o grupo de controle. Para a estratificação de poder estatístico, diferenças entre os dois grupos foram inexistentes. No entanto, ao comparar estudos que não referenciaram guias com os estudos que referenciaram o guia de Basili et al. a diferença ainda foi estatisticamente significante. Estudos que referenciaram Basili et al. atingiram um poder estatístico maior que os experimentos do grupo de controle. |
id |
UFPE_4ea7d53316a1cf3a17bb8e3c5c3713e3 |
---|---|
oai_identifier_str |
oai:repositorio.ufpe.br:123456789/29361 |
network_acronym_str |
UFPE |
network_name_str |
Repositório Institucional da UFPE |
repository_id_str |
2221 |
spelling |
COSTA, Italo Macêdo do Amaralhttp://lattes.cnpq.br/4168241296857904http://lattes.cnpq.br/0084300900034108SANTOS, Andre Luís de Medeiros2019-02-21T17:18:34Z2019-02-21T17:18:34Z2015-02-24https://repositorio.ufpe.br/handle/123456789/29361Estudos empíricos são necessários para o desenvolvimento ou otimização de processos, métodos e ferramentas no desenvolvimento e manutenção de software. Para conduzir esse experimentos controlados há vários artigos científicos e livros dedidados a metodologia em engenharia de software experimental que chamaremos de guias de experimentação. Atualmente, há uma falta de consenso para o processo de experimentação. Há uma necessidade de avaliar o processo de experimentação propriamente dito. Além disso, a literatura atual é particularmente preocupante. Há um conhecimento com baixo poder estatístico, pouca validação e replicações, ocasionando deficiências no acúmulo e na transferência de conhecimento para a indústria. Em uma revisão preliminar, identificamos vários estudos que avaliam o domínio da engenharia de software nos aspectos seguintes: Poder estatístico e validação. Assim, decidimos medir o impacto de guias de experimentação em experimentos controlados. Para medir o impacto, 4 conclusões hipotéticas foram definidas em duas estratificações: uma estratificação de validacão, medida em termos do número de ameaças identificadas por cada experimento (H1), número de ações mitigativas tomadas (H2), percentual de mitigação por ameaça para cada estudo (H3); uma estratificação de poder estatístico, medida em termos do poder estatístico propriamente (H4). Para fins de comparação, experimentos controlados foram agrupados considerando os guias de experimentação referenciados ou não. 133 estudos de 2002 a 2014 foram incluídos nessa metanálise. 69 estudos referenciaram um guia de experimentação enquanto que 64 estudos não referenciaram um guia de experimentação. Ao todo, 722 ameaças, 402 ações mitigativas e 266 testes estatísticos foram encontrados. Para a estratificação de validação, todas as conclusões hipotéticas mostraram que há uma diferença entre o grupo de controle e o de intervenção que é estatisticamente significante. Estudos que referenciaram um guia de experimentação tendem a identificar e tratar mais ameaças, além de apresentarem um percentual de mitigação maior que o grupo de controle. Para a estratificação de poder estatístico, diferenças entre os dois grupos foram inexistentes. No entanto, ao comparar estudos que não referenciaram guias com os estudos que referenciaram o guia de Basili et al. a diferença ainda foi estatisticamente significante. Estudos que referenciaram Basili et al. atingiram um poder estatístico maior que os experimentos do grupo de controle.Empirical studies are needed to develop or improve processes, methods and tools for software development and maintenance. There are several scientific articles and books dedicated to empirical software engineering methodology. From now on, we’re calling them experimentation guides. The literature shows a lack of consensus for the process of experimenting. Thus, there’s a need for evaluation on the experimentation process itself. Also, the current state is particularly worrying. There is body of knowledge with a low statistical power, poor validation and a few replications. In turn, this might lead to deficiencies in the accumulation of knowledge and the presentation of advice to industry. In a preliminary non-systematic literature review, We found several secondary studies that evaluate the software engineering domain in the following aspects: Statistical power and validation. Thus, we decided to measure the impact of experimentation guides in software engineering. In order to measure the impact, 4 hypothesized conclusions were taylored and grouped in two stratum: the validation stratum, in terms of the number of threats (H1), mitigative actions(H2) and the mitigation rate of each study(H3); and statistical power, in terms of the statistical power itself (H4). For comparison purposes, controlled experiments were grouped considering the experimentation guide referenced or not by each experiment. 133 studies ranging from 2002 to 2014 were included in the metanalysis. 69 studies mentioned a experimentation guide while 64 studies did not mention a experimentaiton guide. Overall, 722 threats, 402 mitigative actions and 266 statistical tests were retrieved. For the validation stratum, all the hypothesized conclusions showed a difference between the two groups that is statistically significant. Studies that reference a experimentation guide tend to identify and treat more threats, also they showed a higher rate of mitigation per study. For the statistical power stratum, overall differences between the two groups were nonexistent. However, when comparing studies that did not mention a experimentation guide with studies that referenced Basili et al. the difference was still statistically significant. Studies that referenced Basili et al. achieved a statistical power higher than the experiments among the control group.engUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessEngenharia de softwareExperimentos controladosThe impact of experimentation guides in software engineering: a metanalysisinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesismestradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPETHUMBNAILDISSERTAÇÃO Italo Macedo do Amaral Costa.pdf.jpgDISSERTAÇÃO Italo Macedo do Amaral Costa.pdf.jpgGenerated Thumbnailimage/jpeg1291https://repositorio.ufpe.br/bitstream/123456789/29361/5/DISSERTA%c3%87%c3%83O%20Italo%20Macedo%20do%20Amaral%20Costa.pdf.jpgc9c203b045a43828f5228e968e8480b1MD55ORIGINALDISSERTAÇÃO Italo Macedo do Amaral Costa.pdfDISSERTAÇÃO Italo Macedo do Amaral Costa.pdfapplication/pdf1104441https://repositorio.ufpe.br/bitstream/123456789/29361/1/DISSERTA%c3%87%c3%83O%20Italo%20Macedo%20do%20Amaral%20Costa.pdf0700bc2cff23c2d2d4001ae666903908MD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufpe.br/bitstream/123456789/29361/2/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-82311https://repositorio.ufpe.br/bitstream/123456789/29361/3/license.txt4b8a02c7f2818eaf00dcf2260dd5eb08MD53TEXTDISSERTAÇÃO Italo Macedo do Amaral Costa.pdf.txtDISSERTAÇÃO Italo Macedo do Amaral Costa.pdf.txtExtracted texttext/plain162603https://repositorio.ufpe.br/bitstream/123456789/29361/4/DISSERTA%c3%87%c3%83O%20Italo%20Macedo%20do%20Amaral%20Costa.pdf.txt478fb1b8f804908a6a1a68ed10ec9655MD54123456789/293612019-10-25 23:56:06.734oai:repositorio.ufpe.br:123456789/29361TGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKClRvZG8gZGVwb3NpdGFudGUgZGUgbWF0ZXJpYWwgbm8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgKFJJKSBkZXZlIGNvbmNlZGVyLCDDoCBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIChVRlBFKSwgdW1hIExpY2Vuw6dhIGRlIERpc3RyaWJ1acOnw6NvIE7Do28gRXhjbHVzaXZhIHBhcmEgbWFudGVyIGUgdG9ybmFyIGFjZXNzw612ZWlzIG9zIHNldXMgZG9jdW1lbnRvcywgZW0gZm9ybWF0byBkaWdpdGFsLCBuZXN0ZSByZXBvc2l0w7NyaW8uCgpDb20gYSBjb25jZXNzw6NvIGRlc3RhIGxpY2Vuw6dhIG7Do28gZXhjbHVzaXZhLCBvIGRlcG9zaXRhbnRlIG1hbnTDqW0gdG9kb3Mgb3MgZGlyZWl0b3MgZGUgYXV0b3IuCl9fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fXwoKTGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKCkFvIGNvbmNvcmRhciBjb20gZXN0YSBsaWNlbsOnYSBlIGFjZWl0w6EtbGEsIHZvY8OqIChhdXRvciBvdSBkZXRlbnRvciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMpOgoKYSkgRGVjbGFyYSBxdWUgY29uaGVjZSBhIHBvbMOtdGljYSBkZSBjb3B5cmlnaHQgZGEgZWRpdG9yYSBkbyBzZXUgZG9jdW1lbnRvOwpiKSBEZWNsYXJhIHF1ZSBjb25oZWNlIGUgYWNlaXRhIGFzIERpcmV0cml6ZXMgcGFyYSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGUEU7CmMpIENvbmNlZGUgw6AgVUZQRSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZGUgYXJxdWl2YXIsIHJlcHJvZHV6aXIsIGNvbnZlcnRlciAoY29tbyBkZWZpbmlkbyBhIHNlZ3VpciksIGNvbXVuaWNhciBlL291IGRpc3RyaWJ1aXIsIG5vIFJJLCBvIGRvY3VtZW50byBlbnRyZWd1ZSAoaW5jbHVpbmRvIG8gcmVzdW1vL2Fic3RyYWN0KSBlbSBmb3JtYXRvIGRpZ2l0YWwgb3UgcG9yIG91dHJvIG1laW87CmQpIERlY2xhcmEgcXVlIGF1dG9yaXphIGEgVUZQRSBhIGFycXVpdmFyIG1haXMgZGUgdW1hIGPDs3BpYSBkZXN0ZSBkb2N1bWVudG8gZSBjb252ZXJ0w6otbG8sIHNlbSBhbHRlcmFyIG8gc2V1IGNvbnRlw7pkbywgcGFyYSBxdWFscXVlciBmb3JtYXRvIGRlIGZpY2hlaXJvLCBtZWlvIG91IHN1cG9ydGUsIHBhcmEgZWZlaXRvcyBkZSBzZWd1cmFuw6dhLCBwcmVzZXJ2YcOnw6NvIChiYWNrdXApIGUgYWNlc3NvOwplKSBEZWNsYXJhIHF1ZSBvIGRvY3VtZW50byBzdWJtZXRpZG8gw6kgbyBzZXUgdHJhYmFsaG8gb3JpZ2luYWwgZSBxdWUgZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBhIHRlcmNlaXJvcyBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2Ugb3MgZGlyZWl0b3MgZGUgb3V0cmEgcGVzc29hIG91IGVudGlkYWRlOwpmKSBEZWNsYXJhIHF1ZSwgbm8gY2FzbyBkbyBkb2N1bWVudG8gc3VibWV0aWRvIGNvbnRlciBtYXRlcmlhbCBkbyBxdWFsIG7Do28gZGV0w6ltIG9zIGRpcmVpdG9zIGRlCmF1dG9yLCBvYnRldmUgYSBhdXRvcml6YcOnw6NvIGlycmVzdHJpdGEgZG8gcmVzcGVjdGl2byBkZXRlbnRvciBkZXNzZXMgZGlyZWl0b3MgcGFyYSBjZWRlciDDoApVRlBFIG9zIGRpcmVpdG9zIHJlcXVlcmlkb3MgcG9yIGVzdGEgTGljZW7Dp2EgZSBhdXRvcml6YXIgYSB1bml2ZXJzaWRhZGUgYSB1dGlsaXrDoS1sb3MgbGVnYWxtZW50ZS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBlc3NlIG1hdGVyaWFsIGN1am9zIGRpcmVpdG9zIHPDo28gZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3UgY29udGXDumRvIGRvIGRvY3VtZW50byBlbnRyZWd1ZTsKZykgU2UgbyBkb2N1bWVudG8gZW50cmVndWUgw6kgYmFzZWFkbyBlbSB0cmFiYWxobyBmaW5hbmNpYWRvIG91IGFwb2lhZG8gcG9yIG91dHJhIGluc3RpdHVpw6fDo28gcXVlIG7Do28gYSBVRlBFLMKgZGVjbGFyYSBxdWUgY3VtcHJpdSBxdWFpc3F1ZXIgb2JyaWdhw6fDtWVzIGV4aWdpZGFzIHBlbG8gcmVzcGVjdGl2byBjb250cmF0byBvdSBhY29yZG8uCgpBIFVGUEUgaWRlbnRpZmljYXLDoSBjbGFyYW1lbnRlIG8ocykgbm9tZShzKSBkbyhzKSBhdXRvciAoZXMpIGRvcyBkaXJlaXRvcyBkbyBkb2N1bWVudG8gZW50cmVndWUgZSBuw6NvIGZhcsOhIHF1YWxxdWVyIGFsdGVyYcOnw6NvLCBwYXJhIGFsw6ltIGRvIHByZXZpc3RvIG5hIGFsw61uZWEgYykuCg==Repositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212019-10-26T02:56:06Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false |
dc.title.pt_BR.fl_str_mv |
The impact of experimentation guides in software engineering: a metanalysis |
title |
The impact of experimentation guides in software engineering: a metanalysis |
spellingShingle |
The impact of experimentation guides in software engineering: a metanalysis COSTA, Italo Macêdo do Amaral Engenharia de software Experimentos controlados |
title_short |
The impact of experimentation guides in software engineering: a metanalysis |
title_full |
The impact of experimentation guides in software engineering: a metanalysis |
title_fullStr |
The impact of experimentation guides in software engineering: a metanalysis |
title_full_unstemmed |
The impact of experimentation guides in software engineering: a metanalysis |
title_sort |
The impact of experimentation guides in software engineering: a metanalysis |
author |
COSTA, Italo Macêdo do Amaral |
author_facet |
COSTA, Italo Macêdo do Amaral |
author_role |
author |
dc.contributor.authorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/4168241296857904 |
dc.contributor.advisorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/0084300900034108 |
dc.contributor.author.fl_str_mv |
COSTA, Italo Macêdo do Amaral |
dc.contributor.advisor1.fl_str_mv |
SANTOS, Andre Luís de Medeiros |
contributor_str_mv |
SANTOS, Andre Luís de Medeiros |
dc.subject.por.fl_str_mv |
Engenharia de software Experimentos controlados |
topic |
Engenharia de software Experimentos controlados |
description |
Estudos empíricos são necessários para o desenvolvimento ou otimização de processos, métodos e ferramentas no desenvolvimento e manutenção de software. Para conduzir esse experimentos controlados há vários artigos científicos e livros dedidados a metodologia em engenharia de software experimental que chamaremos de guias de experimentação. Atualmente, há uma falta de consenso para o processo de experimentação. Há uma necessidade de avaliar o processo de experimentação propriamente dito. Além disso, a literatura atual é particularmente preocupante. Há um conhecimento com baixo poder estatístico, pouca validação e replicações, ocasionando deficiências no acúmulo e na transferência de conhecimento para a indústria. Em uma revisão preliminar, identificamos vários estudos que avaliam o domínio da engenharia de software nos aspectos seguintes: Poder estatístico e validação. Assim, decidimos medir o impacto de guias de experimentação em experimentos controlados. Para medir o impacto, 4 conclusões hipotéticas foram definidas em duas estratificações: uma estratificação de validacão, medida em termos do número de ameaças identificadas por cada experimento (H1), número de ações mitigativas tomadas (H2), percentual de mitigação por ameaça para cada estudo (H3); uma estratificação de poder estatístico, medida em termos do poder estatístico propriamente (H4). Para fins de comparação, experimentos controlados foram agrupados considerando os guias de experimentação referenciados ou não. 133 estudos de 2002 a 2014 foram incluídos nessa metanálise. 69 estudos referenciaram um guia de experimentação enquanto que 64 estudos não referenciaram um guia de experimentação. Ao todo, 722 ameaças, 402 ações mitigativas e 266 testes estatísticos foram encontrados. Para a estratificação de validação, todas as conclusões hipotéticas mostraram que há uma diferença entre o grupo de controle e o de intervenção que é estatisticamente significante. Estudos que referenciaram um guia de experimentação tendem a identificar e tratar mais ameaças, além de apresentarem um percentual de mitigação maior que o grupo de controle. Para a estratificação de poder estatístico, diferenças entre os dois grupos foram inexistentes. No entanto, ao comparar estudos que não referenciaram guias com os estudos que referenciaram o guia de Basili et al. a diferença ainda foi estatisticamente significante. Estudos que referenciaram Basili et al. atingiram um poder estatístico maior que os experimentos do grupo de controle. |
publishDate |
2015 |
dc.date.issued.fl_str_mv |
2015-02-24 |
dc.date.accessioned.fl_str_mv |
2019-02-21T17:18:34Z |
dc.date.available.fl_str_mv |
2019-02-21T17:18:34Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufpe.br/handle/123456789/29361 |
url |
https://repositorio.ufpe.br/handle/123456789/29361 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.rights.driver.fl_str_mv |
Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
dc.publisher.program.fl_str_mv |
Programa de Pos Graduacao em Ciencia da Computacao |
dc.publisher.initials.fl_str_mv |
UFPE |
dc.publisher.country.fl_str_mv |
Brasil |
publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFPE instname:Universidade Federal de Pernambuco (UFPE) instacron:UFPE |
instname_str |
Universidade Federal de Pernambuco (UFPE) |
instacron_str |
UFPE |
institution |
UFPE |
reponame_str |
Repositório Institucional da UFPE |
collection |
Repositório Institucional da UFPE |
bitstream.url.fl_str_mv |
https://repositorio.ufpe.br/bitstream/123456789/29361/5/DISSERTA%c3%87%c3%83O%20Italo%20Macedo%20do%20Amaral%20Costa.pdf.jpg https://repositorio.ufpe.br/bitstream/123456789/29361/1/DISSERTA%c3%87%c3%83O%20Italo%20Macedo%20do%20Amaral%20Costa.pdf https://repositorio.ufpe.br/bitstream/123456789/29361/2/license_rdf https://repositorio.ufpe.br/bitstream/123456789/29361/3/license.txt https://repositorio.ufpe.br/bitstream/123456789/29361/4/DISSERTA%c3%87%c3%83O%20Italo%20Macedo%20do%20Amaral%20Costa.pdf.txt |
bitstream.checksum.fl_str_mv |
c9c203b045a43828f5228e968e8480b1 0700bc2cff23c2d2d4001ae666903908 e39d27027a6cc9cb039ad269a5db8e34 4b8a02c7f2818eaf00dcf2260dd5eb08 478fb1b8f804908a6a1a68ed10ec9655 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE) |
repository.mail.fl_str_mv |
attena@ufpe.br |
_version_ |
1802310632011202560 |