Understanding and supporting the decision-making whether to use grey literature in software engineering research
Autor(a) principal: | |
---|---|
Data de Publicação: | 2022 |
Tipo de documento: | Tese |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFPE |
Texto Completo: | https://repositorio.ufpe.br/handle/123456789/46136 |
Resumo: | Recentemente, há um interesse crescente em explorar a Literatura Cinza (LC) na pesquisa de Engenharia de Software (ES). No entanto, existem pesquisadores céticos ao seu uso, devido às preocupações de credibilidade. Ainda, a área carece de investigações para apoiar o seu uso em Estudos Secundários (ESSs). Portanto, nesta tese, focamos em melhorar a compreensão sobre a LC e propomos estratégias para apoiar seu uso em ESSs. Para isso, primeiramente entrevistamos 76 pesquisadores brasileiros de ES para entender suas percepções e experiências sobre LC. Identificamos diversos motivos para usar, razões para evitar, benefícios e limitações de seu uso, e critérios para avaliar a credibilidade da LC. Em seguida, investigamos 34 pesquisadores brasileiros de ES, para entender como estes avaliam a credibilidade dos diferentes tipos de LC. Em segundo lugar, com base em um estudo terciário, analisamos 126 ESSs para apresentar tendências, conceitos empregados, tipos de LC e métodos usados para selecionar e realizar a avaliação da qualidade da LC. Nossas descobertas mostraram um recente crescimento no uso de LC. Não identificamos uma definição comum de LC, e há diferentes interpretações de seus tipos entre os estudos investigados. Curiosamente, apenas cerca de 1/4 das fontes de LC não estão mais disponíveis. Terceiro, conduzimos outro estudo terciário, onde avaliamos nove Revisões Multivocais da Literatura. Identificamos que o uso da LC contribuiu com esses estudos, principalmente fornecendo recomendações e explicando tópicos. Além disso, encontramos informações que não seriam encontradas nos estudos se a LC não fosse considerada. Quarto, realizamos dois grupos focais envolvendo dez pesquisadores de ES para avaliar as diretrizes de Garousi. Em geral, as diretrizes são úteis, embora vários problemas tenham sido percebidos. Fornecemos recomendações para lidar com esses problemas e melhorar as diretrizes. Por fim, com base na condução desses estudos, propusemos dois processos. Um processo para apoiar a tomada de decisão dos pesquisadores para avaliar se devem incluir LC em um ESS. E outro com recomendações para melhorar a condução de ESSs com o uso de LC. Para concluir, a LC mostrou-se importante para a pesquisa de ES. No entanto, existem desafios que os pesquisadores podem enfrentar. Nos esforçamos para mitigar esses desafios, como, por exemplo, fornecendo critérios para avaliar sua credibilidade e recomendações para os pesquisadores lidarem melhor com o seu uso. |
id |
UFPE_d93b8af45f2d281980b94ceac4e454f8 |
---|---|
oai_identifier_str |
oai:repositorio.ufpe.br:123456789/46136 |
network_acronym_str |
UFPE |
network_name_str |
Repositório Institucional da UFPE |
repository_id_str |
2221 |
spelling |
KAMEI, Fernando Kenjihttp://lattes.cnpq.br/5033020411757389http://lattes.cnpq.br/6456667887502521http://lattes.cnpq.br/1631238943341152SOARES, Sérgio Castelo BrancoPINTO, Gustavo Henrique Lima2022-09-02T14:10:43Z2022-09-02T14:10:43Z2022-03-22KAMEI, Fernando Kenji. Understanding and supporting the decision-making whether to use grey literature in software engineering research. 2022. Tese (Doutorado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2022.https://repositorio.ufpe.br/handle/123456789/46136Recentemente, há um interesse crescente em explorar a Literatura Cinza (LC) na pesquisa de Engenharia de Software (ES). No entanto, existem pesquisadores céticos ao seu uso, devido às preocupações de credibilidade. Ainda, a área carece de investigações para apoiar o seu uso em Estudos Secundários (ESSs). Portanto, nesta tese, focamos em melhorar a compreensão sobre a LC e propomos estratégias para apoiar seu uso em ESSs. Para isso, primeiramente entrevistamos 76 pesquisadores brasileiros de ES para entender suas percepções e experiências sobre LC. Identificamos diversos motivos para usar, razões para evitar, benefícios e limitações de seu uso, e critérios para avaliar a credibilidade da LC. Em seguida, investigamos 34 pesquisadores brasileiros de ES, para entender como estes avaliam a credibilidade dos diferentes tipos de LC. Em segundo lugar, com base em um estudo terciário, analisamos 126 ESSs para apresentar tendências, conceitos empregados, tipos de LC e métodos usados para selecionar e realizar a avaliação da qualidade da LC. Nossas descobertas mostraram um recente crescimento no uso de LC. Não identificamos uma definição comum de LC, e há diferentes interpretações de seus tipos entre os estudos investigados. Curiosamente, apenas cerca de 1/4 das fontes de LC não estão mais disponíveis. Terceiro, conduzimos outro estudo terciário, onde avaliamos nove Revisões Multivocais da Literatura. Identificamos que o uso da LC contribuiu com esses estudos, principalmente fornecendo recomendações e explicando tópicos. Além disso, encontramos informações que não seriam encontradas nos estudos se a LC não fosse considerada. Quarto, realizamos dois grupos focais envolvendo dez pesquisadores de ES para avaliar as diretrizes de Garousi. Em geral, as diretrizes são úteis, embora vários problemas tenham sido percebidos. Fornecemos recomendações para lidar com esses problemas e melhorar as diretrizes. Por fim, com base na condução desses estudos, propusemos dois processos. Um processo para apoiar a tomada de decisão dos pesquisadores para avaliar se devem incluir LC em um ESS. E outro com recomendações para melhorar a condução de ESSs com o uso de LC. Para concluir, a LC mostrou-se importante para a pesquisa de ES. No entanto, existem desafios que os pesquisadores podem enfrentar. Nos esforçamos para mitigar esses desafios, como, por exemplo, fornecendo critérios para avaliar sua credibilidade e recomendações para os pesquisadores lidarem melhor com o seu uso.Recently, there has been growing interest in exploring Grey Literature (GL) in Software Engineering (SE) research. However, researchers are skeptical of its use due to credibility concerns. Still, the area lacks investigation to support its use in Secondary Studies (SSs). Therefore, in this thesis, we focus on improving GL’s understanding and propose strategies to support its use in SSs. For this, we first interviewed 76 Brazilian SE researchers to understand their perceptions and experiences about GL. We identified several reasons to use and avoid, beyond the benefits and limitations of its use, and criteria for assessing GL credibility. Afterward, we investigated 34 Brazilian researchers to understand their experience assessing the credibility of the different GL types. Second, based on a tertiary study, we analyzed the use of GL in 126 SSs to present trends, concepts employed, GL types used, and methods used to select and perform quality assessment of GL. Our findings showed a recent increase in GL use. We did not identify a common definition of GL, and there are different interpretations of the GL types among the investigated studies. Interestingly, only about 1/4 of the LC fonts are no longer available. Third, we conducted another tertiary study, where we assessed how GL use contributed to nine Multivocal Literature Reviews. We noted that GL contributed to these studies, mainly providing recommendations and explaining topics. In addition, we perceived that some information would not have been presented in the studies if the studies did not consider GL. Fourth, we conducted two focus groups with ten SE researchers to assess Garousi’s guidelines. The investigated researchers generally considered the guidelines helpful, although many issues have been noted. We provide recommendations to address these issues and improve guidelines. Finally, based on these four studies, we proposed two processes. One is a decision-making process to help SE researchers decide whether to include GL in a SS. The other process with recommendations to improve the conduction of SSs with GL. To conclude, GL showed to be an important source for SE research. However, there are challenges that researchers may face in using it. We endeavored to mitigate these challenges by providing criteria to assess GL credibility and recommendations for researchers to better deal with its use.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessEngenharia de softwareLiteratura cinzaUnderstanding and supporting the decision-making whether to use grey literature in software engineering researchinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisdoutoradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPEORIGINALTESE Fernando Kenji Kamei.pdfTESE Fernando Kenji Kamei.pdfapplication/pdf4044643https://repositorio.ufpe.br/bitstream/123456789/46136/1/TESE%20Fernando%20Kenji%20Kamei.pdf09bb4a2ca2c5c7506ac352c2b45eabacMD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufpe.br/bitstream/123456789/46136/2/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-82142https://repositorio.ufpe.br/bitstream/123456789/46136/3/license.txt6928b9260b07fb2755249a5ca9903395MD53TEXTTESE Fernando Kenji Kamei.pdf.txtTESE Fernando Kenji Kamei.pdf.txtExtracted texttext/plain553347https://repositorio.ufpe.br/bitstream/123456789/46136/4/TESE%20Fernando%20Kenji%20Kamei.pdf.txta01ac872467fa36421135fddef4d1b09MD54THUMBNAILTESE Fernando Kenji Kamei.pdf.jpgTESE Fernando Kenji Kamei.pdf.jpgGenerated Thumbnailimage/jpeg1229https://repositorio.ufpe.br/bitstream/123456789/46136/5/TESE%20Fernando%20Kenji%20Kamei.pdf.jpg0104c4dd8ba456145e3e11a107d50537MD55123456789/461362022-09-03 02:44:41.893oai:repositorio.ufpe.br:123456789/46136VGVybW8gZGUgRGVww7NzaXRvIExlZ2FsIGUgQXV0b3JpemHDp8OjbyBwYXJhIFB1YmxpY2HDp8OjbyBkZSBEb2N1bWVudG9zIG5vIFJlcG9zaXTDs3JpbyBEaWdpdGFsIGRhIFVGUEUKIAoKRGVjbGFybyBlc3RhciBjaWVudGUgZGUgcXVlIGVzdGUgVGVybW8gZGUgRGVww7NzaXRvIExlZ2FsIGUgQXV0b3JpemHDp8OjbyB0ZW0gbyBvYmpldGl2byBkZSBkaXZ1bGdhw6fDo28gZG9zIGRvY3VtZW50b3MgZGVwb3NpdGFkb3Mgbm8gUmVwb3NpdMOzcmlvIERpZ2l0YWwgZGEgVUZQRSBlIGRlY2xhcm8gcXVlOgoKSSAtICBvIGNvbnRlw7pkbyBkaXNwb25pYmlsaXphZG8gw6kgZGUgcmVzcG9uc2FiaWxpZGFkZSBkZSBzdWEgYXV0b3JpYTsKCklJIC0gbyBjb250ZcO6ZG8gw6kgb3JpZ2luYWwsIGUgc2UgbyB0cmFiYWxobyBlL291IHBhbGF2cmFzIGRlIG91dHJhcyBwZXNzb2FzIGZvcmFtIHV0aWxpemFkb3MsIGVzdGFzIGZvcmFtIGRldmlkYW1lbnRlIHJlY29uaGVjaWRhczsKCklJSSAtIHF1YW5kbyB0cmF0YXItc2UgZGUgVHJhYmFsaG8gZGUgQ29uY2x1c8OjbyBkZSBDdXJzbywgRGlzc2VydGHDp8OjbyBvdSBUZXNlOiBvIGFycXVpdm8gZGVwb3NpdGFkbyBjb3JyZXNwb25kZSDDoCB2ZXJzw6NvIGZpbmFsIGRvIHRyYWJhbGhvOwoKSVYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIFRyYWJhbGhvIGRlIENvbmNsdXPDo28gZGUgQ3Vyc28sIERpc3NlcnRhw6fDo28gb3UgVGVzZTogZXN0b3UgY2llbnRlIGRlIHF1ZSBhIGFsdGVyYcOnw6NvIGRhIG1vZGFsaWRhZGUgZGUgYWNlc3NvIGFvIGRvY3VtZW50byBhcMOzcyBvIGRlcMOzc2l0byBlIGFudGVzIGRlIGZpbmRhciBvIHBlcsOtb2RvIGRlIGVtYmFyZ28sIHF1YW5kbyBmb3IgZXNjb2xoaWRvIGFjZXNzbyByZXN0cml0bywgc2Vyw6EgcGVybWl0aWRhIG1lZGlhbnRlIHNvbGljaXRhw6fDo28gZG8gKGEpIGF1dG9yIChhKSBhbyBTaXN0ZW1hIEludGVncmFkbyBkZSBCaWJsaW90ZWNhcyBkYSBVRlBFIChTSUIvVUZQRSkuCgogClBhcmEgdHJhYmFsaG9zIGVtIEFjZXNzbyBBYmVydG86CgpOYSBxdWFsaWRhZGUgZGUgdGl0dWxhciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGUgYXV0b3IgcXVlIHJlY2FlbSBzb2JyZSBlc3RlIGRvY3VtZW50bywgZnVuZGFtZW50YWRvIG5hIExlaSBkZSBEaXJlaXRvIEF1dG9yYWwgbm8gOS42MTAsIGRlIDE5IGRlIGZldmVyZWlybyBkZSAxOTk4LCBhcnQuIDI5LCBpbmNpc28gSUlJLCBhdXRvcml6byBhIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRlIFBlcm5hbWJ1Y28gYSBkaXNwb25pYmlsaXphciBncmF0dWl0YW1lbnRlLCBzZW0gcmVzc2FyY2ltZW50byBkb3MgZGlyZWl0b3MgYXV0b3JhaXMsIHBhcmEgZmlucyBkZSBsZWl0dXJhLCBpbXByZXNzw6NvIGUvb3UgZG93bmxvYWQgKGFxdWlzacOnw6NvKSBhdHJhdsOpcyBkbyBzaXRlIGRvIFJlcG9zaXTDs3JpbyBEaWdpdGFsIGRhIFVGUEUgbm8gZW5kZXJlw6dvIGh0dHA6Ly93d3cucmVwb3NpdG9yaW8udWZwZS5iciwgYSBwYXJ0aXIgZGEgZGF0YSBkZSBkZXDDs3NpdG8uCgogClBhcmEgdHJhYmFsaG9zIGVtIEFjZXNzbyBSZXN0cml0bzoKCk5hIHF1YWxpZGFkZSBkZSB0aXR1bGFyIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBkZSBhdXRvciBxdWUgcmVjYWVtIHNvYnJlIGVzdGUgZG9jdW1lbnRvLCBmdW5kYW1lbnRhZG8gbmEgTGVpIGRlIERpcmVpdG8gQXV0b3JhbCBubyA5LjYxMCBkZSAxOSBkZSBmZXZlcmVpcm8gZGUgMTk5OCwgYXJ0LiAyOSwgaW5jaXNvIElJSSwgYXV0b3Jpem8gYSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIGEgZGlzcG9uaWJpbGl6YXIgZ3JhdHVpdGFtZW50ZSwgc2VtIHJlc3NhcmNpbWVudG8gZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBwYXJhIGZpbnMgZGUgbGVpdHVyYSwgaW1wcmVzc8OjbyBlL291IGRvd25sb2FkIChhcXVpc2nDp8OjbykgYXRyYXbDqXMgZG8gc2l0ZSBkbyBSZXBvc2l0w7NyaW8gRGlnaXRhbCBkYSBVRlBFIG5vIGVuZGVyZcOnbyBodHRwOi8vd3d3LnJlcG9zaXRvcmlvLnVmcGUuYnIsIHF1YW5kbyBmaW5kYXIgbyBwZXLDrW9kbyBkZSBlbWJhcmdvIGNvbmRpemVudGUgYW8gdGlwbyBkZSBkb2N1bWVudG8sIGNvbmZvcm1lIGluZGljYWRvIG5vIGNhbXBvIERhdGEgZGUgRW1iYXJnby4KRepositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212022-09-03T05:44:41Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false |
dc.title.pt_BR.fl_str_mv |
Understanding and supporting the decision-making whether to use grey literature in software engineering research |
title |
Understanding and supporting the decision-making whether to use grey literature in software engineering research |
spellingShingle |
Understanding and supporting the decision-making whether to use grey literature in software engineering research KAMEI, Fernando Kenji Engenharia de software Literatura cinza |
title_short |
Understanding and supporting the decision-making whether to use grey literature in software engineering research |
title_full |
Understanding and supporting the decision-making whether to use grey literature in software engineering research |
title_fullStr |
Understanding and supporting the decision-making whether to use grey literature in software engineering research |
title_full_unstemmed |
Understanding and supporting the decision-making whether to use grey literature in software engineering research |
title_sort |
Understanding and supporting the decision-making whether to use grey literature in software engineering research |
author |
KAMEI, Fernando Kenji |
author_facet |
KAMEI, Fernando Kenji |
author_role |
author |
dc.contributor.authorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/5033020411757389 |
dc.contributor.advisorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/6456667887502521 |
dc.contributor.advisor-coLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/1631238943341152 |
dc.contributor.author.fl_str_mv |
KAMEI, Fernando Kenji |
dc.contributor.advisor1.fl_str_mv |
SOARES, Sérgio Castelo Branco |
dc.contributor.advisor-co1.fl_str_mv |
PINTO, Gustavo Henrique Lima |
contributor_str_mv |
SOARES, Sérgio Castelo Branco PINTO, Gustavo Henrique Lima |
dc.subject.por.fl_str_mv |
Engenharia de software Literatura cinza |
topic |
Engenharia de software Literatura cinza |
description |
Recentemente, há um interesse crescente em explorar a Literatura Cinza (LC) na pesquisa de Engenharia de Software (ES). No entanto, existem pesquisadores céticos ao seu uso, devido às preocupações de credibilidade. Ainda, a área carece de investigações para apoiar o seu uso em Estudos Secundários (ESSs). Portanto, nesta tese, focamos em melhorar a compreensão sobre a LC e propomos estratégias para apoiar seu uso em ESSs. Para isso, primeiramente entrevistamos 76 pesquisadores brasileiros de ES para entender suas percepções e experiências sobre LC. Identificamos diversos motivos para usar, razões para evitar, benefícios e limitações de seu uso, e critérios para avaliar a credibilidade da LC. Em seguida, investigamos 34 pesquisadores brasileiros de ES, para entender como estes avaliam a credibilidade dos diferentes tipos de LC. Em segundo lugar, com base em um estudo terciário, analisamos 126 ESSs para apresentar tendências, conceitos empregados, tipos de LC e métodos usados para selecionar e realizar a avaliação da qualidade da LC. Nossas descobertas mostraram um recente crescimento no uso de LC. Não identificamos uma definição comum de LC, e há diferentes interpretações de seus tipos entre os estudos investigados. Curiosamente, apenas cerca de 1/4 das fontes de LC não estão mais disponíveis. Terceiro, conduzimos outro estudo terciário, onde avaliamos nove Revisões Multivocais da Literatura. Identificamos que o uso da LC contribuiu com esses estudos, principalmente fornecendo recomendações e explicando tópicos. Além disso, encontramos informações que não seriam encontradas nos estudos se a LC não fosse considerada. Quarto, realizamos dois grupos focais envolvendo dez pesquisadores de ES para avaliar as diretrizes de Garousi. Em geral, as diretrizes são úteis, embora vários problemas tenham sido percebidos. Fornecemos recomendações para lidar com esses problemas e melhorar as diretrizes. Por fim, com base na condução desses estudos, propusemos dois processos. Um processo para apoiar a tomada de decisão dos pesquisadores para avaliar se devem incluir LC em um ESS. E outro com recomendações para melhorar a condução de ESSs com o uso de LC. Para concluir, a LC mostrou-se importante para a pesquisa de ES. No entanto, existem desafios que os pesquisadores podem enfrentar. Nos esforçamos para mitigar esses desafios, como, por exemplo, fornecendo critérios para avaliar sua credibilidade e recomendações para os pesquisadores lidarem melhor com o seu uso. |
publishDate |
2022 |
dc.date.accessioned.fl_str_mv |
2022-09-02T14:10:43Z |
dc.date.available.fl_str_mv |
2022-09-02T14:10:43Z |
dc.date.issued.fl_str_mv |
2022-03-22 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
format |
doctoralThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
KAMEI, Fernando Kenji. Understanding and supporting the decision-making whether to use grey literature in software engineering research. 2022. Tese (Doutorado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2022. |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufpe.br/handle/123456789/46136 |
identifier_str_mv |
KAMEI, Fernando Kenji. Understanding and supporting the decision-making whether to use grey literature in software engineering research. 2022. Tese (Doutorado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2022. |
url |
https://repositorio.ufpe.br/handle/123456789/46136 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
http://creativecommons.org/licenses/by-nc-nd/3.0/br/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
http://creativecommons.org/licenses/by-nc-nd/3.0/br/ |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
dc.publisher.program.fl_str_mv |
Programa de Pos Graduacao em Ciencia da Computacao |
dc.publisher.initials.fl_str_mv |
UFPE |
dc.publisher.country.fl_str_mv |
Brasil |
publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFPE instname:Universidade Federal de Pernambuco (UFPE) instacron:UFPE |
instname_str |
Universidade Federal de Pernambuco (UFPE) |
instacron_str |
UFPE |
institution |
UFPE |
reponame_str |
Repositório Institucional da UFPE |
collection |
Repositório Institucional da UFPE |
bitstream.url.fl_str_mv |
https://repositorio.ufpe.br/bitstream/123456789/46136/1/TESE%20Fernando%20Kenji%20Kamei.pdf https://repositorio.ufpe.br/bitstream/123456789/46136/2/license_rdf https://repositorio.ufpe.br/bitstream/123456789/46136/3/license.txt https://repositorio.ufpe.br/bitstream/123456789/46136/4/TESE%20Fernando%20Kenji%20Kamei.pdf.txt https://repositorio.ufpe.br/bitstream/123456789/46136/5/TESE%20Fernando%20Kenji%20Kamei.pdf.jpg |
bitstream.checksum.fl_str_mv |
09bb4a2ca2c5c7506ac352c2b45eabac e39d27027a6cc9cb039ad269a5db8e34 6928b9260b07fb2755249a5ca9903395 a01ac872467fa36421135fddef4d1b09 0104c4dd8ba456145e3e11a107d50537 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE) |
repository.mail.fl_str_mv |
attena@ufpe.br |
_version_ |
1802310712840683520 |