Reliability and agreement among evaluators: applications in the educational area

Detalhes bibliográficos
Autor(a) principal: Matos, Daniel Abud Seabra
Data de Publicação: 2014
Tipo de documento: Artigo
Idioma: por
Título da fonte: Estudos em Avaliação Educacional
Texto Completo: https://publicacoes.fcc.org.br/eae/article/view/2750
Resumo: The aims of this study were to: (1) investigate the strategies for verifying reliability and agreement among evaluators, focusing on the applications in the educational area; (2) conduct a review of the national literature on the techniques of reliability and agreement among judges and their areas of application; and (3) illustrate the application of the techniques of reliability and agreement among evaluators by analyzing the corrections of the Vestibular (college entrance exam) essays from one public university in Minas Gerais. We used the intraclass correlation coefficient to analyze the reliability and agreement among evaluators in the correction of the essays from 2005 to 2010. We identified little use, in the educational research, of agreement techniques among evaluators. As for the analysis of the correction of essays, some results were satisfactory (example: mean reliability of the evaluators for total scores of the essays) and others were unsatisfactory (example: low agreement in some criteria of correction).
id FCC-2_d08f96ff7c7587514cbd68740d6040b9
oai_identifier_str oai:ojs.publicacoes.fcc.org.br:article/2750
network_acronym_str FCC-2
network_name_str Estudos em Avaliação Educacional
repository_id_str
spelling Reliability and agreement among evaluators: applications in the educational areaConfiabilidad y concordancia entre jueces: aplicaciones en el área educativaConfiabilidade e concordância entre juízes: aplicações na área educacionalTaxa de ConfiabilidadeConcurso VestibularJuízesRedaçãoRate of ReliabilityVestibular examinationEvaluatorsEssayTasa de ConfiabilidadExamen para Ingreso a la UniversidadJuecesRedacciónThe aims of this study were to: (1) investigate the strategies for verifying reliability and agreement among evaluators, focusing on the applications in the educational area; (2) conduct a review of the national literature on the techniques of reliability and agreement among judges and their areas of application; and (3) illustrate the application of the techniques of reliability and agreement among evaluators by analyzing the corrections of the Vestibular (college entrance exam) essays from one public university in Minas Gerais. We used the intraclass correlation coefficient to analyze the reliability and agreement among evaluators in the correction of the essays from 2005 to 2010. We identified little use, in the educational research, of agreement techniques among evaluators. As for the analysis of the correction of essays, some results were satisfactory (example: mean reliability of the evaluators for total scores of the essays) and others were unsatisfactory (example: low agreement in some criteria of correction).Los objetivos de la presente investigación fueron los siguientes: (1) investigar las estrategias de verificación de la confiabilidad y concordancia entre jueces, enfatizando las aplicaciones en el área educativa; (2) realizar una revisión de la literatura nacional sobre las técnicas de confiabilidad y concordancia entre jueces y sus áreas de aplicación; y (3) ilustrar la aplicación de las técnicas de confiabilidad y concordancia entre jueces por medio del análisis de las correcciones de las redacciones del examen de ingreso a una universidad pública de Minas Gerais. Utilizamos el coeficiente de correlación intraclase para analizar la confiabilidade y concordancia entre jueces en la corrección de las redacciones en el periodo de 2005 a 2010. Identificamos poco uso, en las investigaciones educativas, de técnicas de concordancia entre jueces. En lo que se refiere al análisis de la corrección de las redacciones, algunos de los resultados fueron satisfactorios (ejemplo: confiabilidad media de los jueces para las notas totales de las redacciones) y otros insatisfactorios (ejemplo: baja concordancia en algunos criterios de corrección).Os objetivos desta pesquisa foram: (1) investigar as estratégias de verificação da confiabilidade e concordância entre juízes, enfatizando as aplicações na área educacional; (2) realizar uma revisão da literatura nacional sobre as técnicas de confiabilidade e concordância entre juízes e suas áreas de aplicação; e (3) ilustrar a aplicação das técnicas de confiabilidade e concordância entre juízes por meio da análise das correções das redações do vestibular de uma universidade pública de Minas Gerais. Utilizamos o coeficiente de correlação intraclasse para analisar a confiabilidade e concordância entre juízes na correção das redações no período de 2005 a 2010. Identificamos pouco uso, nas pesquisas educacionais, de técnicas de concordância entre juízes. Quanto à análise da correção das redações, alguns resultados foram satisfatórios (exemplo: confiabilidade média dos juízes para as notas totais das redações) e outros insatisfatórios (exemplo: concordância baixa em alguns critérios de correção).Fundação Carlos Chagas2014-12-30info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionapplication/pdfhttps://publicacoes.fcc.org.br/eae/article/view/275010.18222/eae255920142750Estudos em Avaliação Educacional; Vol. 25 No. 59: set./dez. 2014; 298-324Estudos em Avaliação Educacional; Vol. 25 Núm. 59: set./dez. 2014; 298-324Estudos em Avaliação Educacional; Vol. 25 No. 59: set./dez. 2014; 298-324Estudos em Avaliação Educacional; V. 25 N. 59: set./dez. 2014; 298-324Estudos em Avaliação Educacional; v. 25 n. 59: set./dez. 2014; 298-3241984-932X0103-6831reponame:Estudos em Avaliação Educacionalinstname:Fundação Carlos Chagas (FCC)instacron:FCCporhttps://publicacoes.fcc.org.br/eae/article/view/2750/2856Copyright (c) 2015 Estudos em Avaliação Educacionalinfo:eu-repo/semantics/openAccessMatos, Daniel Abud Seabra2023-10-06T21:18:44Zoai:ojs.publicacoes.fcc.org.br:article/2750Revistahttp://publicacoes.fcc.org.br/ojs/index.php/eae/indexONGhttp://publicacoes.fcc.org.br/ojs/index.php/eae/oaieae@fcc.org.br||ngimenes@fcc.org.br1984-932X0103-6831opendoar:2023-10-06T21:18:44Estudos em Avaliação Educacional - Fundação Carlos Chagas (FCC)false
dc.title.none.fl_str_mv Reliability and agreement among evaluators: applications in the educational area
Confiabilidad y concordancia entre jueces: aplicaciones en el área educativa
Confiabilidade e concordância entre juízes: aplicações na área educacional
title Reliability and agreement among evaluators: applications in the educational area
spellingShingle Reliability and agreement among evaluators: applications in the educational area
Matos, Daniel Abud Seabra
Taxa de Confiabilidade
Concurso Vestibular
Juízes
Redação
Rate of Reliability
Vestibular examination
Evaluators
Essay
Tasa de Confiabilidad
Examen para Ingreso a la Universidad
Jueces
Redacción
title_short Reliability and agreement among evaluators: applications in the educational area
title_full Reliability and agreement among evaluators: applications in the educational area
title_fullStr Reliability and agreement among evaluators: applications in the educational area
title_full_unstemmed Reliability and agreement among evaluators: applications in the educational area
title_sort Reliability and agreement among evaluators: applications in the educational area
author Matos, Daniel Abud Seabra
author_facet Matos, Daniel Abud Seabra
author_role author
dc.contributor.author.fl_str_mv Matos, Daniel Abud Seabra
dc.subject.por.fl_str_mv Taxa de Confiabilidade
Concurso Vestibular
Juízes
Redação
Rate of Reliability
Vestibular examination
Evaluators
Essay
Tasa de Confiabilidad
Examen para Ingreso a la Universidad
Jueces
Redacción
topic Taxa de Confiabilidade
Concurso Vestibular
Juízes
Redação
Rate of Reliability
Vestibular examination
Evaluators
Essay
Tasa de Confiabilidad
Examen para Ingreso a la Universidad
Jueces
Redacción
description The aims of this study were to: (1) investigate the strategies for verifying reliability and agreement among evaluators, focusing on the applications in the educational area; (2) conduct a review of the national literature on the techniques of reliability and agreement among judges and their areas of application; and (3) illustrate the application of the techniques of reliability and agreement among evaluators by analyzing the corrections of the Vestibular (college entrance exam) essays from one public university in Minas Gerais. We used the intraclass correlation coefficient to analyze the reliability and agreement among evaluators in the correction of the essays from 2005 to 2010. We identified little use, in the educational research, of agreement techniques among evaluators. As for the analysis of the correction of essays, some results were satisfactory (example: mean reliability of the evaluators for total scores of the essays) and others were unsatisfactory (example: low agreement in some criteria of correction).
publishDate 2014
dc.date.none.fl_str_mv 2014-12-30
dc.type.driver.fl_str_mv info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
format article
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://publicacoes.fcc.org.br/eae/article/view/2750
10.18222/eae255920142750
url https://publicacoes.fcc.org.br/eae/article/view/2750
identifier_str_mv 10.18222/eae255920142750
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv https://publicacoes.fcc.org.br/eae/article/view/2750/2856
dc.rights.driver.fl_str_mv Copyright (c) 2015 Estudos em Avaliação Educacional
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Copyright (c) 2015 Estudos em Avaliação Educacional
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Fundação Carlos Chagas
publisher.none.fl_str_mv Fundação Carlos Chagas
dc.source.none.fl_str_mv Estudos em Avaliação Educacional; Vol. 25 No. 59: set./dez. 2014; 298-324
Estudos em Avaliação Educacional; Vol. 25 Núm. 59: set./dez. 2014; 298-324
Estudos em Avaliação Educacional; Vol. 25 No. 59: set./dez. 2014; 298-324
Estudos em Avaliação Educacional; V. 25 N. 59: set./dez. 2014; 298-324
Estudos em Avaliação Educacional; v. 25 n. 59: set./dez. 2014; 298-324
1984-932X
0103-6831
reponame:Estudos em Avaliação Educacional
instname:Fundação Carlos Chagas (FCC)
instacron:FCC
instname_str Fundação Carlos Chagas (FCC)
instacron_str FCC
institution FCC
reponame_str Estudos em Avaliação Educacional
collection Estudos em Avaliação Educacional
repository.name.fl_str_mv Estudos em Avaliação Educacional - Fundação Carlos Chagas (FCC)
repository.mail.fl_str_mv eae@fcc.org.br||ngimenes@fcc.org.br
_version_ 1795332421897420800

Registros relacionados