Understanding and supporting the decision-making whether to use grey literature in software engineering research

Detalhes bibliográficos
Autor(a) principal: KAMEI, Fernando Kenji
Data de Publicação: 2022
Tipo de documento: Tese
Idioma: por
Título da fonte: Repositório Institucional da UFPE
Texto Completo: https://repositorio.ufpe.br/handle/123456789/46136
Resumo: Recentemente, há um interesse crescente em explorar a Literatura Cinza (LC) na pesquisa de Engenharia de Software (ES). No entanto, existem pesquisadores céticos ao seu uso, devido às preocupações de credibilidade. Ainda, a área carece de investigações para apoiar o seu uso em Estudos Secundários (ESSs). Portanto, nesta tese, focamos em melhorar a compreensão sobre a LC e propomos estratégias para apoiar seu uso em ESSs. Para isso, primeiramente entrevistamos 76 pesquisadores brasileiros de ES para entender suas percepções e experiências sobre LC. Identificamos diversos motivos para usar, razões para evitar, benefícios e limitações de seu uso, e critérios para avaliar a credibilidade da LC. Em seguida, investigamos 34 pesquisadores brasileiros de ES, para entender como estes avaliam a credibilidade dos diferentes tipos de LC. Em segundo lugar, com base em um estudo terciário, analisamos 126 ESSs para apresentar tendências, conceitos empregados, tipos de LC e métodos usados para selecionar e realizar a avaliação da qualidade da LC. Nossas descobertas mostraram um recente crescimento no uso de LC. Não identificamos uma definição comum de LC, e há diferentes interpretações de seus tipos entre os estudos investigados. Curiosamente, apenas cerca de 1/4 das fontes de LC não estão mais disponíveis. Terceiro, conduzimos outro estudo terciário, onde avaliamos nove Revisões Multivocais da Literatura. Identificamos que o uso da LC contribuiu com esses estudos, principalmente fornecendo recomendações e explicando tópicos. Além disso, encontramos informações que não seriam encontradas nos estudos se a LC não fosse considerada. Quarto, realizamos dois grupos focais envolvendo dez pesquisadores de ES para avaliar as diretrizes de Garousi. Em geral, as diretrizes são úteis, embora vários problemas tenham sido percebidos. Fornecemos recomendações para lidar com esses problemas e melhorar as diretrizes. Por fim, com base na condução desses estudos, propusemos dois processos. Um processo para apoiar a tomada de decisão dos pesquisadores para avaliar se devem incluir LC em um ESS. E outro com recomendações para melhorar a condução de ESSs com o uso de LC. Para concluir, a LC mostrou-se importante para a pesquisa de ES. No entanto, existem desafios que os pesquisadores podem enfrentar. Nos esforçamos para mitigar esses desafios, como, por exemplo, fornecendo critérios para avaliar sua credibilidade e recomendações para os pesquisadores lidarem melhor com o seu uso.
id UFPE_d93b8af45f2d281980b94ceac4e454f8
oai_identifier_str oai:repositorio.ufpe.br:123456789/46136
network_acronym_str UFPE
network_name_str Repositório Institucional da UFPE
repository_id_str 2221
spelling KAMEI, Fernando Kenjihttp://lattes.cnpq.br/5033020411757389http://lattes.cnpq.br/6456667887502521http://lattes.cnpq.br/1631238943341152SOARES, Sérgio Castelo BrancoPINTO, Gustavo Henrique Lima2022-09-02T14:10:43Z2022-09-02T14:10:43Z2022-03-22KAMEI, Fernando Kenji. Understanding and supporting the decision-making whether to use grey literature in software engineering research. 2022. Tese (Doutorado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2022.https://repositorio.ufpe.br/handle/123456789/46136Recentemente, há um interesse crescente em explorar a Literatura Cinza (LC) na pesquisa de Engenharia de Software (ES). No entanto, existem pesquisadores céticos ao seu uso, devido às preocupações de credibilidade. Ainda, a área carece de investigações para apoiar o seu uso em Estudos Secundários (ESSs). Portanto, nesta tese, focamos em melhorar a compreensão sobre a LC e propomos estratégias para apoiar seu uso em ESSs. Para isso, primeiramente entrevistamos 76 pesquisadores brasileiros de ES para entender suas percepções e experiências sobre LC. Identificamos diversos motivos para usar, razões para evitar, benefícios e limitações de seu uso, e critérios para avaliar a credibilidade da LC. Em seguida, investigamos 34 pesquisadores brasileiros de ES, para entender como estes avaliam a credibilidade dos diferentes tipos de LC. Em segundo lugar, com base em um estudo terciário, analisamos 126 ESSs para apresentar tendências, conceitos empregados, tipos de LC e métodos usados para selecionar e realizar a avaliação da qualidade da LC. Nossas descobertas mostraram um recente crescimento no uso de LC. Não identificamos uma definição comum de LC, e há diferentes interpretações de seus tipos entre os estudos investigados. Curiosamente, apenas cerca de 1/4 das fontes de LC não estão mais disponíveis. Terceiro, conduzimos outro estudo terciário, onde avaliamos nove Revisões Multivocais da Literatura. Identificamos que o uso da LC contribuiu com esses estudos, principalmente fornecendo recomendações e explicando tópicos. Além disso, encontramos informações que não seriam encontradas nos estudos se a LC não fosse considerada. Quarto, realizamos dois grupos focais envolvendo dez pesquisadores de ES para avaliar as diretrizes de Garousi. Em geral, as diretrizes são úteis, embora vários problemas tenham sido percebidos. Fornecemos recomendações para lidar com esses problemas e melhorar as diretrizes. Por fim, com base na condução desses estudos, propusemos dois processos. Um processo para apoiar a tomada de decisão dos pesquisadores para avaliar se devem incluir LC em um ESS. E outro com recomendações para melhorar a condução de ESSs com o uso de LC. Para concluir, a LC mostrou-se importante para a pesquisa de ES. No entanto, existem desafios que os pesquisadores podem enfrentar. Nos esforçamos para mitigar esses desafios, como, por exemplo, fornecendo critérios para avaliar sua credibilidade e recomendações para os pesquisadores lidarem melhor com o seu uso.Recently, there has been growing interest in exploring Grey Literature (GL) in Software Engineering (SE) research. However, researchers are skeptical of its use due to credibility concerns. Still, the area lacks investigation to support its use in Secondary Studies (SSs). Therefore, in this thesis, we focus on improving GL’s understanding and propose strategies to support its use in SSs. For this, we first interviewed 76 Brazilian SE researchers to understand their perceptions and experiences about GL. We identified several reasons to use and avoid, beyond the benefits and limitations of its use, and criteria for assessing GL credibility. Afterward, we investigated 34 Brazilian researchers to understand their experience assessing the credibility of the different GL types. Second, based on a tertiary study, we analyzed the use of GL in 126 SSs to present trends, concepts employed, GL types used, and methods used to select and perform quality assessment of GL. Our findings showed a recent increase in GL use. We did not identify a common definition of GL, and there are different interpretations of the GL types among the investigated studies. Interestingly, only about 1/4 of the LC fonts are no longer available. Third, we conducted another tertiary study, where we assessed how GL use contributed to nine Multivocal Literature Reviews. We noted that GL contributed to these studies, mainly providing recommendations and explaining topics. In addition, we perceived that some information would not have been presented in the studies if the studies did not consider GL. Fourth, we conducted two focus groups with ten SE researchers to assess Garousi’s guidelines. The investigated researchers generally considered the guidelines helpful, although many issues have been noted. We provide recommendations to address these issues and improve guidelines. Finally, based on these four studies, we proposed two processes. One is a decision-making process to help SE researchers decide whether to include GL in a SS. The other process with recommendations to improve the conduction of SSs with GL. To conclude, GL showed to be an important source for SE research. However, there are challenges that researchers may face in using it. We endeavored to mitigate these challenges by providing criteria to assess GL credibility and recommendations for researchers to better deal with its use.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessEngenharia de softwareLiteratura cinzaUnderstanding and supporting the decision-making whether to use grey literature in software engineering researchinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisdoutoradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPEORIGINALTESE Fernando Kenji Kamei.pdfTESE Fernando Kenji Kamei.pdfapplication/pdf4044643https://repositorio.ufpe.br/bitstream/123456789/46136/1/TESE%20Fernando%20Kenji%20Kamei.pdf09bb4a2ca2c5c7506ac352c2b45eabacMD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufpe.br/bitstream/123456789/46136/2/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-82142https://repositorio.ufpe.br/bitstream/123456789/46136/3/license.txt6928b9260b07fb2755249a5ca9903395MD53TEXTTESE Fernando Kenji Kamei.pdf.txtTESE Fernando Kenji Kamei.pdf.txtExtracted texttext/plain553347https://repositorio.ufpe.br/bitstream/123456789/46136/4/TESE%20Fernando%20Kenji%20Kamei.pdf.txta01ac872467fa36421135fddef4d1b09MD54THUMBNAILTESE Fernando Kenji Kamei.pdf.jpgTESE Fernando Kenji Kamei.pdf.jpgGenerated Thumbnailimage/jpeg1229https://repositorio.ufpe.br/bitstream/123456789/46136/5/TESE%20Fernando%20Kenji%20Kamei.pdf.jpg0104c4dd8ba456145e3e11a107d50537MD55123456789/461362022-09-03 02:44:41.893oai:repositorio.ufpe.br:123456789/46136VGVybW8gZGUgRGVww7NzaXRvIExlZ2FsIGUgQXV0b3JpemHDp8OjbyBwYXJhIFB1YmxpY2HDp8OjbyBkZSBEb2N1bWVudG9zIG5vIFJlcG9zaXTDs3JpbyBEaWdpdGFsIGRhIFVGUEUKIAoKRGVjbGFybyBlc3RhciBjaWVudGUgZGUgcXVlIGVzdGUgVGVybW8gZGUgRGVww7NzaXRvIExlZ2FsIGUgQXV0b3JpemHDp8OjbyB0ZW0gbyBvYmpldGl2byBkZSBkaXZ1bGdhw6fDo28gZG9zIGRvY3VtZW50b3MgZGVwb3NpdGFkb3Mgbm8gUmVwb3NpdMOzcmlvIERpZ2l0YWwgZGEgVUZQRSBlIGRlY2xhcm8gcXVlOgoKSSAtICBvIGNvbnRlw7pkbyBkaXNwb25pYmlsaXphZG8gw6kgZGUgcmVzcG9uc2FiaWxpZGFkZSBkZSBzdWEgYXV0b3JpYTsKCklJIC0gbyBjb250ZcO6ZG8gw6kgb3JpZ2luYWwsIGUgc2UgbyB0cmFiYWxobyBlL291IHBhbGF2cmFzIGRlIG91dHJhcyBwZXNzb2FzIGZvcmFtIHV0aWxpemFkb3MsIGVzdGFzIGZvcmFtIGRldmlkYW1lbnRlIHJlY29uaGVjaWRhczsKCklJSSAtIHF1YW5kbyB0cmF0YXItc2UgZGUgVHJhYmFsaG8gZGUgQ29uY2x1c8OjbyBkZSBDdXJzbywgRGlzc2VydGHDp8OjbyBvdSBUZXNlOiBvIGFycXVpdm8gZGVwb3NpdGFkbyBjb3JyZXNwb25kZSDDoCB2ZXJzw6NvIGZpbmFsIGRvIHRyYWJhbGhvOwoKSVYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIFRyYWJhbGhvIGRlIENvbmNsdXPDo28gZGUgQ3Vyc28sIERpc3NlcnRhw6fDo28gb3UgVGVzZTogZXN0b3UgY2llbnRlIGRlIHF1ZSBhIGFsdGVyYcOnw6NvIGRhIG1vZGFsaWRhZGUgZGUgYWNlc3NvIGFvIGRvY3VtZW50byBhcMOzcyBvIGRlcMOzc2l0byBlIGFudGVzIGRlIGZpbmRhciBvIHBlcsOtb2RvIGRlIGVtYmFyZ28sIHF1YW5kbyBmb3IgZXNjb2xoaWRvIGFjZXNzbyByZXN0cml0bywgc2Vyw6EgcGVybWl0aWRhIG1lZGlhbnRlIHNvbGljaXRhw6fDo28gZG8gKGEpIGF1dG9yIChhKSBhbyBTaXN0ZW1hIEludGVncmFkbyBkZSBCaWJsaW90ZWNhcyBkYSBVRlBFIChTSUIvVUZQRSkuCgogClBhcmEgdHJhYmFsaG9zIGVtIEFjZXNzbyBBYmVydG86CgpOYSBxdWFsaWRhZGUgZGUgdGl0dWxhciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGUgYXV0b3IgcXVlIHJlY2FlbSBzb2JyZSBlc3RlIGRvY3VtZW50bywgZnVuZGFtZW50YWRvIG5hIExlaSBkZSBEaXJlaXRvIEF1dG9yYWwgbm8gOS42MTAsIGRlIDE5IGRlIGZldmVyZWlybyBkZSAxOTk4LCBhcnQuIDI5LCBpbmNpc28gSUlJLCBhdXRvcml6byBhIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRlIFBlcm5hbWJ1Y28gYSBkaXNwb25pYmlsaXphciBncmF0dWl0YW1lbnRlLCBzZW0gcmVzc2FyY2ltZW50byBkb3MgZGlyZWl0b3MgYXV0b3JhaXMsIHBhcmEgZmlucyBkZSBsZWl0dXJhLCBpbXByZXNzw6NvIGUvb3UgZG93bmxvYWQgKGFxdWlzacOnw6NvKSBhdHJhdsOpcyBkbyBzaXRlIGRvIFJlcG9zaXTDs3JpbyBEaWdpdGFsIGRhIFVGUEUgbm8gZW5kZXJlw6dvIGh0dHA6Ly93d3cucmVwb3NpdG9yaW8udWZwZS5iciwgYSBwYXJ0aXIgZGEgZGF0YSBkZSBkZXDDs3NpdG8uCgogClBhcmEgdHJhYmFsaG9zIGVtIEFjZXNzbyBSZXN0cml0bzoKCk5hIHF1YWxpZGFkZSBkZSB0aXR1bGFyIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBkZSBhdXRvciBxdWUgcmVjYWVtIHNvYnJlIGVzdGUgZG9jdW1lbnRvLCBmdW5kYW1lbnRhZG8gbmEgTGVpIGRlIERpcmVpdG8gQXV0b3JhbCBubyA5LjYxMCBkZSAxOSBkZSBmZXZlcmVpcm8gZGUgMTk5OCwgYXJ0LiAyOSwgaW5jaXNvIElJSSwgYXV0b3Jpem8gYSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIGEgZGlzcG9uaWJpbGl6YXIgZ3JhdHVpdGFtZW50ZSwgc2VtIHJlc3NhcmNpbWVudG8gZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBwYXJhIGZpbnMgZGUgbGVpdHVyYSwgaW1wcmVzc8OjbyBlL291IGRvd25sb2FkIChhcXVpc2nDp8OjbykgYXRyYXbDqXMgZG8gc2l0ZSBkbyBSZXBvc2l0w7NyaW8gRGlnaXRhbCBkYSBVRlBFIG5vIGVuZGVyZcOnbyBodHRwOi8vd3d3LnJlcG9zaXRvcmlvLnVmcGUuYnIsIHF1YW5kbyBmaW5kYXIgbyBwZXLDrW9kbyBkZSBlbWJhcmdvIGNvbmRpemVudGUgYW8gdGlwbyBkZSBkb2N1bWVudG8sIGNvbmZvcm1lIGluZGljYWRvIG5vIGNhbXBvIERhdGEgZGUgRW1iYXJnby4KRepositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212022-09-03T05:44:41Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false
dc.title.pt_BR.fl_str_mv Understanding and supporting the decision-making whether to use grey literature in software engineering research
title Understanding and supporting the decision-making whether to use grey literature in software engineering research
spellingShingle Understanding and supporting the decision-making whether to use grey literature in software engineering research
KAMEI, Fernando Kenji
Engenharia de software
Literatura cinza
title_short Understanding and supporting the decision-making whether to use grey literature in software engineering research
title_full Understanding and supporting the decision-making whether to use grey literature in software engineering research
title_fullStr Understanding and supporting the decision-making whether to use grey literature in software engineering research
title_full_unstemmed Understanding and supporting the decision-making whether to use grey literature in software engineering research
title_sort Understanding and supporting the decision-making whether to use grey literature in software engineering research
author KAMEI, Fernando Kenji
author_facet KAMEI, Fernando Kenji
author_role author
dc.contributor.authorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/5033020411757389
dc.contributor.advisorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/6456667887502521
dc.contributor.advisor-coLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/1631238943341152
dc.contributor.author.fl_str_mv KAMEI, Fernando Kenji
dc.contributor.advisor1.fl_str_mv SOARES, Sérgio Castelo Branco
dc.contributor.advisor-co1.fl_str_mv PINTO, Gustavo Henrique Lima
contributor_str_mv SOARES, Sérgio Castelo Branco
PINTO, Gustavo Henrique Lima
dc.subject.por.fl_str_mv Engenharia de software
Literatura cinza
topic Engenharia de software
Literatura cinza
description Recentemente, há um interesse crescente em explorar a Literatura Cinza (LC) na pesquisa de Engenharia de Software (ES). No entanto, existem pesquisadores céticos ao seu uso, devido às preocupações de credibilidade. Ainda, a área carece de investigações para apoiar o seu uso em Estudos Secundários (ESSs). Portanto, nesta tese, focamos em melhorar a compreensão sobre a LC e propomos estratégias para apoiar seu uso em ESSs. Para isso, primeiramente entrevistamos 76 pesquisadores brasileiros de ES para entender suas percepções e experiências sobre LC. Identificamos diversos motivos para usar, razões para evitar, benefícios e limitações de seu uso, e critérios para avaliar a credibilidade da LC. Em seguida, investigamos 34 pesquisadores brasileiros de ES, para entender como estes avaliam a credibilidade dos diferentes tipos de LC. Em segundo lugar, com base em um estudo terciário, analisamos 126 ESSs para apresentar tendências, conceitos empregados, tipos de LC e métodos usados para selecionar e realizar a avaliação da qualidade da LC. Nossas descobertas mostraram um recente crescimento no uso de LC. Não identificamos uma definição comum de LC, e há diferentes interpretações de seus tipos entre os estudos investigados. Curiosamente, apenas cerca de 1/4 das fontes de LC não estão mais disponíveis. Terceiro, conduzimos outro estudo terciário, onde avaliamos nove Revisões Multivocais da Literatura. Identificamos que o uso da LC contribuiu com esses estudos, principalmente fornecendo recomendações e explicando tópicos. Além disso, encontramos informações que não seriam encontradas nos estudos se a LC não fosse considerada. Quarto, realizamos dois grupos focais envolvendo dez pesquisadores de ES para avaliar as diretrizes de Garousi. Em geral, as diretrizes são úteis, embora vários problemas tenham sido percebidos. Fornecemos recomendações para lidar com esses problemas e melhorar as diretrizes. Por fim, com base na condução desses estudos, propusemos dois processos. Um processo para apoiar a tomada de decisão dos pesquisadores para avaliar se devem incluir LC em um ESS. E outro com recomendações para melhorar a condução de ESSs com o uso de LC. Para concluir, a LC mostrou-se importante para a pesquisa de ES. No entanto, existem desafios que os pesquisadores podem enfrentar. Nos esforçamos para mitigar esses desafios, como, por exemplo, fornecendo critérios para avaliar sua credibilidade e recomendações para os pesquisadores lidarem melhor com o seu uso.
publishDate 2022
dc.date.accessioned.fl_str_mv 2022-09-02T14:10:43Z
dc.date.available.fl_str_mv 2022-09-02T14:10:43Z
dc.date.issued.fl_str_mv 2022-03-22
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv KAMEI, Fernando Kenji. Understanding and supporting the decision-making whether to use grey literature in software engineering research. 2022. Tese (Doutorado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2022.
dc.identifier.uri.fl_str_mv https://repositorio.ufpe.br/handle/123456789/46136
identifier_str_mv KAMEI, Fernando Kenji. Understanding and supporting the decision-making whether to use grey literature in software engineering research. 2022. Tese (Doutorado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2022.
url https://repositorio.ufpe.br/handle/123456789/46136
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by-nc-nd/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc-nd/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.publisher.program.fl_str_mv Programa de Pos Graduacao em Ciencia da Computacao
dc.publisher.initials.fl_str_mv UFPE
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPE
instname:Universidade Federal de Pernambuco (UFPE)
instacron:UFPE
instname_str Universidade Federal de Pernambuco (UFPE)
instacron_str UFPE
institution UFPE
reponame_str Repositório Institucional da UFPE
collection Repositório Institucional da UFPE
bitstream.url.fl_str_mv https://repositorio.ufpe.br/bitstream/123456789/46136/1/TESE%20Fernando%20Kenji%20Kamei.pdf
https://repositorio.ufpe.br/bitstream/123456789/46136/2/license_rdf
https://repositorio.ufpe.br/bitstream/123456789/46136/3/license.txt
https://repositorio.ufpe.br/bitstream/123456789/46136/4/TESE%20Fernando%20Kenji%20Kamei.pdf.txt
https://repositorio.ufpe.br/bitstream/123456789/46136/5/TESE%20Fernando%20Kenji%20Kamei.pdf.jpg
bitstream.checksum.fl_str_mv 09bb4a2ca2c5c7506ac352c2b45eabac
e39d27027a6cc9cb039ad269a5db8e34
6928b9260b07fb2755249a5ca9903395
a01ac872467fa36421135fddef4d1b09
0104c4dd8ba456145e3e11a107d50537
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)
repository.mail.fl_str_mv attena@ufpe.br
_version_ 1802310712840683520