A method for the evaluation of the quality of games for computing education

Detalhes bibliográficos
Autor(a) principal: Petri, Giani
Data de Publicação: 2018
Tipo de documento: Tese
Idioma: eng
Título da fonte: Repositório Institucional da UFSC
Texto Completo: https://repositorio.ufsc.br/handle/123456789/198380
Resumo: Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2018.
id UFSC_b845652f3120497052791dbccddccf42
oai_identifier_str oai:repositorio.ufsc.br:123456789/198380
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str 2373
spelling Universidade Federal de Santa CatarinaPetri, GianiWangenheim, Christiane Anneliese Gresse von2019-07-25T11:42:03Z2019-07-25T11:42:03Z2018360310https://repositorio.ufsc.br/handle/123456789/198380Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2018.Jogos educacionais são considerados uma estratégia instrucional eficiente e efetiva em diversas áreas do conhecimento, inclusive na computação. Especialmente para o ensino de engenharia de software, jogos têm sido utilizados com o objetivo de fornecer mais oportunidades de aprendizagem prática, contribuindo para a aprendizagem, motivação, engajamento, etc. dos estudantes de computação. No entanto, para confirmar esses benefícios esperados é importante avaliar sistematicamente esses jogos. Porém, atualmente, há poucas abordagens, que forneçam um suporte sistemático para a avaliação de jogos. Entre as poucas abordagens existentes, um modelo de avaliação proeminente parece ser o MEEGA (Model for the Evaluation of Educational Games), que avalia jogos em termos de motivação, experiência do usuário e aprendizagem. No entanto, resultados de uma avaliação em larga escala do modelo MEEGA, mostram limitações em termos de sua validade, indicando uma sobreposição conceitual entre os fatores de motivação e experiência do usuário. Além disso, o modelo MEEGA não define um processo de avaliação de jogos. Nesse contexto, há uma ausência de abordagens válidas e confiáveis, e que forneçam um suporte sistemático, para a definição, execução e análise de dados de avaliações de jogos educacionais. Diante disso, o objetivo desta pesquisa é desenvolver e avaliar um método de avaliação, MEEGA+, que forneça um suporte abrangente para a avaliação da qualidade de jogos usados como estratégia instrucional para o ensino de computação/engenharia de software. Ele é composto por um modelo de avaliação que define fatores de qualidade para serem avaliados por meio de um instrumento de medição padronizado; uma escala, que classifica o jogo avaliado em níveis de qualidade; e um processo de avaliação de jogos. 62 estudos de caso foram conduzidos de modo a avaliar a confiabilidade e validade do instrumento de medição do método MEEGA+, envolvendo uma amostra de 1048 estudantes. Os resultados da análise da confiabilidade indicam uma excelente consistência interna do instrumento de medição do método MEEGA+ (Alfa de Cronbach a=.927). Além disso, os resultados da análise da validade confirmam a estrutura original do método MEEGA+, indicando que a qualidade de jogos para o ensino de computação/engenharia de software é avaliada em termos de usabilidade e experiência do jogador. Adicionalmente, resultados de uma avaliação sob a perspectiva de especialistas, indicam que o método MEEGA+ também é correto, autêntico, consistente e não ambíguo. Portanto, os resultados desta pesquisa indicam que o MEEGA+ é um método válido e confiável e que fornece um suporte sistemático para a avaliação da qualidade de jogos. Assim, o método MEEGA+ pode ser usado por desenvolvedores de jogos, instrutores e pesquisadores de modo a avaliar a qualidade de jogos como base para identificar melhorias e/ou adotá-los na prática para o ensino de computação/engenharia de software.Abstract : Educational games are supposed to be an effective and efficient instructional strategy for teaching and learning in diverse knowledge areas, including computing. Especially in software engineering education, games have been used in order to provide more practical learning opportunities to computing students, contributing to students learning, motivation, engagement, etc. Thus, in order to confirm these expected benefits, it is important to systematically evaluate such games. However, currently, there are only few approaches, which provide a systematic and comprehensive support for game evaluations. Among the few existing approaches, a prominent evaluation model seems to be MEEGA (Model for the Evaluation of Educational Games), which evaluates games in terms of motivation, user experience and learning. However, results of a large-scale analysis of the MEEGA model, have identified limitations regarding its validity, indicating an overlap of the theoretical concepts of motivation and user experience. In addition, the MEEGA model does not provide a process for game evaluations. In this context, there is a lack of a valid and reliable approach and that provides a systematic support in the definition, execution and data analysis from evaluations of educational games. In this regard, the objective of this research is to develop and evaluate an evaluation method (MEEGA+) providing a comprehensive support for quality evaluations of games used as an instructional strategy for computing/software engineering education. The MEEGA+ method has been systematically developed based on the results of systematic mapping studies. It is composed of an evaluation model defining quality factors to be evaluated through a standardized measurement instrument; a scale, which classifies the evaluated game according to its quality level; and a process, defining phases, activities and work products, guiding researchers on how to plan, execute and analyse the results of game evaluations. In order to evaluate the MEEGA+ method in terms of reliability and validity of its measurement instrument, 62 case studies were conducted involving a sample of 1048 students. Results of the reliability analysis indicate an excellent internal consistency of the MEEGA+ measurement instrument (Cronbach s alpha a=.927). In addition, results of the validity analysis confirm the original structure of the MEEGA+ model, indicating that the quality of games for software engineering education is evaluated in terms of usability and player experience. Moreover, results of a comprehensive evaluation of the MEEGA+ method, based on the experts perspective, indicate that the MEEGA+ method is also correct, authentic, consistent, and unambiguous. Thus, the results of our research indicate that the MEEGA+ is a valid and reliable method and provides a systematic support for quality evaluation of games. It can be used by game creators, instructors and researchers in order to evaluate the quality of games as a basis for their improvement and effective and efficient adoption in practice for computing/software engineering education.333 p.| il., gráfs.engInformáticaComputaçãoJogos educativosEngenharia de softwareA method for the evaluation of the quality of games for computing educationinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSCinfo:eu-repo/semantics/openAccessORIGINALPGCC1132-T.pdfPGCC1132-T.pdfapplication/pdf4694106https://repositorio.ufsc.br/bitstream/123456789/198380/-1/PGCC1132-T.pdf1b5a0e6f78ddf2132c537752c7dd8370MD5-1123456789/1983802019-07-25 08:42:03.234oai:repositorio.ufsc.br:123456789/198380Repositório de PublicaçõesPUBhttp://150.162.242.35/oai/requestopendoar:23732019-07-25T11:42:03Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv A method for the evaluation of the quality of games for computing education
title A method for the evaluation of the quality of games for computing education
spellingShingle A method for the evaluation of the quality of games for computing education
Petri, Giani
Informática
Computação
Jogos educativos
Engenharia de software
title_short A method for the evaluation of the quality of games for computing education
title_full A method for the evaluation of the quality of games for computing education
title_fullStr A method for the evaluation of the quality of games for computing education
title_full_unstemmed A method for the evaluation of the quality of games for computing education
title_sort A method for the evaluation of the quality of games for computing education
author Petri, Giani
author_facet Petri, Giani
author_role author
dc.contributor.none.fl_str_mv Universidade Federal de Santa Catarina
dc.contributor.author.fl_str_mv Petri, Giani
dc.contributor.advisor1.fl_str_mv Wangenheim, Christiane Anneliese Gresse von
contributor_str_mv Wangenheim, Christiane Anneliese Gresse von
dc.subject.classification.none.fl_str_mv Informática
Computação
Jogos educativos
Engenharia de software
topic Informática
Computação
Jogos educativos
Engenharia de software
description Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2018.
publishDate 2018
dc.date.issued.fl_str_mv 2018
dc.date.accessioned.fl_str_mv 2019-07-25T11:42:03Z
dc.date.available.fl_str_mv 2019-07-25T11:42:03Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufsc.br/handle/123456789/198380
dc.identifier.other.none.fl_str_mv 360310
identifier_str_mv 360310
url https://repositorio.ufsc.br/handle/123456789/198380
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 333 p.| il., gráfs.
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
bitstream.url.fl_str_mv https://repositorio.ufsc.br/bitstream/123456789/198380/-1/PGCC1132-T.pdf
bitstream.checksum.fl_str_mv 1b5a0e6f78ddf2132c537752c7dd8370
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv
_version_ 1766805306094911488

Registros relacionados