Análise quantitativa da concordância entre usuários avaliadores de objetos de aprendizagem: um estudo de caso com dados do repositório Merlot

Detalhes bibliográficos
Autor(a) principal: Stein, Mayara Sousa
Data de Publicação: 2020
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFSC
Texto Completo: https://repositorio.ufsc.br/handle/123456789/220426
Resumo: Dissertação (mestrado) - Universidade Federal de Santa Catarina, Campus Araranguá, Programa de Pós-Graduação em Tecnologias da Informação e Comunicação, Araranguá, 2020.
id UFSC_dee0f6262fd10fc218b5f57b8dbef30d
oai_identifier_str oai:repositorio.ufsc.br:123456789/220426
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str 2373
spelling Análise quantitativa da concordância entre usuários avaliadores de objetos de aprendizagem: um estudo de caso com dados do repositório MerlotTecnologias da informação e comunicaçãoObjetos de aprendizagemRepositórios institucionaisDissertação (mestrado) - Universidade Federal de Santa Catarina, Campus Araranguá, Programa de Pós-Graduação em Tecnologias da Informação e Comunicação, Araranguá, 2020.Com o aumento contínuo do uso de objetos de aprendizagem é importante que os repositórios de objetos de aprendizagem (ROA) adotem estratégias para a garantia da qualidade dos recursos. Exemplos dessas estratégias são o sistema de avaliação por pares de especialistas, avaliação realizada pelos usuários com pontuação e/ou comentários, premiação do editor, entre outros. Por exemplo, o Merlot busca garantir a qualidade dos recursos por meio de avaliações e pontuações fornecidas por pares-revisores (especialistas) e pela comunidade de usuários de diferentes áreas. Como podem ocorrer discrepâncias na avaliação da qualidade dos objetos de aprendizagem, é necessário entender o grau de concordância entre os usuários que são avaliadores no Merlot. Diante disso, o presente trabalho tem como objetivo analisar a concordância e a existência de associações entre os usuários que realizaram avaliações dentro do repositório Merlot. Para isso, foram realizados dois estudos de caso com dados coletados no Merlot. O primeiro estudo de caso avaliou a concordância entre pares de avaliadores que classificaram o mesmo conjunto de recursos considerando suas disciplinas preferidas e área de especialização. O segundo estudo de caso mediu a associação entre as classificações das médias das notas fornecidas pelos avaliadores provenientes de diferentes categorias de disciplina. Os resultados apontaram que os usuários avaliadores apresentam grande divergência nas avaliações fornecidas para o mesmo recurso. Além disso, as classificações das médias dos recursos considerando os avaliadores de diferentes categorias de disciplina não mostraram correlação. Os resultados aqui encontrados podem ser utilizados para aprimorar os mecanismos de garantia da qualidade dentro dos repositórios, bem como para o desenvolvimento de novas formas de apresentação das informações relacionadas à qualidade dos recursos.Abstract: With the continuous increase in learning objects usage it is important that learning object repositories (LOR) adopt measures to assure the quality of their resources. Examples of these strategies are the peer review system, the assessment carried out by users with scores or/and comments, editor awards, among others. For instance, Merlot seeks to ensure the quality of the resources by using evaluations and scores provided by peer-reviewers (experts) and the community of users from different areas. As discrepancies in the assessment of the quality of learning objects may occur, it is necessary to understand the degree of agreement between users that are evaluators in Merlot. Considering this, the present work aims to analyze the agreement and the existence of associations between the users who performed evaluations inside the Merlot repository. For that, two case studies were carried out with data collected from Merlot. The first case study assessed the agreement between pairs of evaluators who rated the same set of resources and considering their preferred disciplines and area of expertise. The second case study measured the association between the average ratings of the resources given by evaluators coming from different categories of discipline. Results pointed out that evaluators present a great disagreement in the ratings they give for the same resource. Moreover, the average ratings of the resources considering the evaluators from differnt categories of discipline have shown no correlation. The results found here may be used to improve the mechanisms for quality assurance inside the repositories as well as the development of new forms of presenting the information related to the quality of the resources.Cechinel, CristianRamos, Vinicius Faria CulmantUniversidade Federal de Santa CatarinaStein, Mayara Sousa2021-02-26T14:50:46Z2021-02-26T14:50:46Z2020info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesis106 p.| il., gráfs.application/pdf371003https://repositorio.ufsc.br/handle/123456789/220426porreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSCinfo:eu-repo/semantics/openAccess2021-02-26T14:50:46Zoai:repositorio.ufsc.br:123456789/220426Repositório InstitucionalPUBhttp://150.162.242.35/oai/requestopendoar:23732021-02-26T14:50:46Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv Análise quantitativa da concordância entre usuários avaliadores de objetos de aprendizagem: um estudo de caso com dados do repositório Merlot
title Análise quantitativa da concordância entre usuários avaliadores de objetos de aprendizagem: um estudo de caso com dados do repositório Merlot
spellingShingle Análise quantitativa da concordância entre usuários avaliadores de objetos de aprendizagem: um estudo de caso com dados do repositório Merlot
Stein, Mayara Sousa
Tecnologias da informação e comunicação
Objetos de aprendizagem
Repositórios institucionais
title_short Análise quantitativa da concordância entre usuários avaliadores de objetos de aprendizagem: um estudo de caso com dados do repositório Merlot
title_full Análise quantitativa da concordância entre usuários avaliadores de objetos de aprendizagem: um estudo de caso com dados do repositório Merlot
title_fullStr Análise quantitativa da concordância entre usuários avaliadores de objetos de aprendizagem: um estudo de caso com dados do repositório Merlot
title_full_unstemmed Análise quantitativa da concordância entre usuários avaliadores de objetos de aprendizagem: um estudo de caso com dados do repositório Merlot
title_sort Análise quantitativa da concordância entre usuários avaliadores de objetos de aprendizagem: um estudo de caso com dados do repositório Merlot
author Stein, Mayara Sousa
author_facet Stein, Mayara Sousa
author_role author
dc.contributor.none.fl_str_mv Cechinel, Cristian
Ramos, Vinicius Faria Culmant
Universidade Federal de Santa Catarina
dc.contributor.author.fl_str_mv Stein, Mayara Sousa
dc.subject.por.fl_str_mv Tecnologias da informação e comunicação
Objetos de aprendizagem
Repositórios institucionais
topic Tecnologias da informação e comunicação
Objetos de aprendizagem
Repositórios institucionais
description Dissertação (mestrado) - Universidade Federal de Santa Catarina, Campus Araranguá, Programa de Pós-Graduação em Tecnologias da Informação e Comunicação, Araranguá, 2020.
publishDate 2020
dc.date.none.fl_str_mv 2020
2021-02-26T14:50:46Z
2021-02-26T14:50:46Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv 371003
https://repositorio.ufsc.br/handle/123456789/220426
identifier_str_mv 371003
url https://repositorio.ufsc.br/handle/123456789/220426
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 106 p.| il., gráfs.
application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv
_version_ 1808651972757159936

Registros relacionados