Reliability and agreement among evaluators: applications in the educational area
Autor(a) principal: | |
---|---|
Data de Publicação: | 2014 |
Tipo de documento: | Artigo |
Idioma: | por |
Título da fonte: | Estudos em Avaliação Educacional |
Texto Completo: | https://publicacoes.fcc.org.br/eae/article/view/2750 |
Resumo: | The aims of this study were to: (1) investigate the strategies for verifying reliability and agreement among evaluators, focusing on the applications in the educational area; (2) conduct a review of the national literature on the techniques of reliability and agreement among judges and their areas of application; and (3) illustrate the application of the techniques of reliability and agreement among evaluators by analyzing the corrections of the Vestibular (college entrance exam) essays from one public university in Minas Gerais. We used the intraclass correlation coefficient to analyze the reliability and agreement among evaluators in the correction of the essays from 2005 to 2010. We identified little use, in the educational research, of agreement techniques among evaluators. As for the analysis of the correction of essays, some results were satisfactory (example: mean reliability of the evaluators for total scores of the essays) and others were unsatisfactory (example: low agreement in some criteria of correction). |
id |
FCC-2_d08f96ff7c7587514cbd68740d6040b9 |
---|---|
oai_identifier_str |
oai:ojs.publicacoes.fcc.org.br:article/2750 |
network_acronym_str |
FCC-2 |
network_name_str |
Estudos em Avaliação Educacional |
repository_id_str |
|
spelling |
Reliability and agreement among evaluators: applications in the educational areaConfiabilidad y concordancia entre jueces: aplicaciones en el área educativaConfiabilidade e concordância entre juízes: aplicações na área educacionalTaxa de ConfiabilidadeConcurso VestibularJuízesRedaçãoRate of ReliabilityVestibular examinationEvaluatorsEssayTasa de ConfiabilidadExamen para Ingreso a la UniversidadJuecesRedacciónThe aims of this study were to: (1) investigate the strategies for verifying reliability and agreement among evaluators, focusing on the applications in the educational area; (2) conduct a review of the national literature on the techniques of reliability and agreement among judges and their areas of application; and (3) illustrate the application of the techniques of reliability and agreement among evaluators by analyzing the corrections of the Vestibular (college entrance exam) essays from one public university in Minas Gerais. We used the intraclass correlation coefficient to analyze the reliability and agreement among evaluators in the correction of the essays from 2005 to 2010. We identified little use, in the educational research, of agreement techniques among evaluators. As for the analysis of the correction of essays, some results were satisfactory (example: mean reliability of the evaluators for total scores of the essays) and others were unsatisfactory (example: low agreement in some criteria of correction).Los objetivos de la presente investigación fueron los siguientes: (1) investigar las estrategias de verificación de la confiabilidad y concordancia entre jueces, enfatizando las aplicaciones en el área educativa; (2) realizar una revisión de la literatura nacional sobre las técnicas de confiabilidad y concordancia entre jueces y sus áreas de aplicación; y (3) ilustrar la aplicación de las técnicas de confiabilidad y concordancia entre jueces por medio del análisis de las correcciones de las redacciones del examen de ingreso a una universidad pública de Minas Gerais. Utilizamos el coeficiente de correlación intraclase para analizar la confiabilidade y concordancia entre jueces en la corrección de las redacciones en el periodo de 2005 a 2010. Identificamos poco uso, en las investigaciones educativas, de técnicas de concordancia entre jueces. En lo que se refiere al análisis de la corrección de las redacciones, algunos de los resultados fueron satisfactorios (ejemplo: confiabilidad media de los jueces para las notas totales de las redacciones) y otros insatisfactorios (ejemplo: baja concordancia en algunos criterios de corrección).Os objetivos desta pesquisa foram: (1) investigar as estratégias de verificação da confiabilidade e concordância entre juízes, enfatizando as aplicações na área educacional; (2) realizar uma revisão da literatura nacional sobre as técnicas de confiabilidade e concordância entre juízes e suas áreas de aplicação; e (3) ilustrar a aplicação das técnicas de confiabilidade e concordância entre juízes por meio da análise das correções das redações do vestibular de uma universidade pública de Minas Gerais. Utilizamos o coeficiente de correlação intraclasse para analisar a confiabilidade e concordância entre juízes na correção das redações no período de 2005 a 2010. Identificamos pouco uso, nas pesquisas educacionais, de técnicas de concordância entre juízes. Quanto à análise da correção das redações, alguns resultados foram satisfatórios (exemplo: confiabilidade média dos juízes para as notas totais das redações) e outros insatisfatórios (exemplo: concordância baixa em alguns critérios de correção).Fundação Carlos Chagas2014-12-30info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionapplication/pdfhttps://publicacoes.fcc.org.br/eae/article/view/275010.18222/eae255920142750Estudos em Avaliação Educacional; Vol. 25 No. 59: set./dez. 2014; 298-324Estudos em Avaliação Educacional; Vol. 25 Núm. 59: set./dez. 2014; 298-324Estudos em Avaliação Educacional; Vol. 25 No. 59: set./dez. 2014; 298-324Estudos em Avaliação Educacional; V. 25 N. 59: set./dez. 2014; 298-324Estudos em Avaliação Educacional; v. 25 n. 59: set./dez. 2014; 298-3241984-932X0103-6831reponame:Estudos em Avaliação Educacionalinstname:Fundação Carlos Chagas (FCC)instacron:FCCporhttps://publicacoes.fcc.org.br/eae/article/view/2750/2856Copyright (c) 2015 Estudos em Avaliação Educacionalinfo:eu-repo/semantics/openAccessMatos, Daniel Abud Seabra2023-10-06T21:18:44Zoai:ojs.publicacoes.fcc.org.br:article/2750Revistahttp://publicacoes.fcc.org.br/ojs/index.php/eae/indexONGhttp://publicacoes.fcc.org.br/ojs/index.php/eae/oaieae@fcc.org.br||ngimenes@fcc.org.br1984-932X0103-6831opendoar:2023-10-06T21:18:44Estudos em Avaliação Educacional - Fundação Carlos Chagas (FCC)false |
dc.title.none.fl_str_mv |
Reliability and agreement among evaluators: applications in the educational area Confiabilidad y concordancia entre jueces: aplicaciones en el área educativa Confiabilidade e concordância entre juízes: aplicações na área educacional |
title |
Reliability and agreement among evaluators: applications in the educational area |
spellingShingle |
Reliability and agreement among evaluators: applications in the educational area Matos, Daniel Abud Seabra Taxa de Confiabilidade Concurso Vestibular Juízes Redação Rate of Reliability Vestibular examination Evaluators Essay Tasa de Confiabilidad Examen para Ingreso a la Universidad Jueces Redacción |
title_short |
Reliability and agreement among evaluators: applications in the educational area |
title_full |
Reliability and agreement among evaluators: applications in the educational area |
title_fullStr |
Reliability and agreement among evaluators: applications in the educational area |
title_full_unstemmed |
Reliability and agreement among evaluators: applications in the educational area |
title_sort |
Reliability and agreement among evaluators: applications in the educational area |
author |
Matos, Daniel Abud Seabra |
author_facet |
Matos, Daniel Abud Seabra |
author_role |
author |
dc.contributor.author.fl_str_mv |
Matos, Daniel Abud Seabra |
dc.subject.por.fl_str_mv |
Taxa de Confiabilidade Concurso Vestibular Juízes Redação Rate of Reliability Vestibular examination Evaluators Essay Tasa de Confiabilidad Examen para Ingreso a la Universidad Jueces Redacción |
topic |
Taxa de Confiabilidade Concurso Vestibular Juízes Redação Rate of Reliability Vestibular examination Evaluators Essay Tasa de Confiabilidad Examen para Ingreso a la Universidad Jueces Redacción |
description |
The aims of this study were to: (1) investigate the strategies for verifying reliability and agreement among evaluators, focusing on the applications in the educational area; (2) conduct a review of the national literature on the techniques of reliability and agreement among judges and their areas of application; and (3) illustrate the application of the techniques of reliability and agreement among evaluators by analyzing the corrections of the Vestibular (college entrance exam) essays from one public university in Minas Gerais. We used the intraclass correlation coefficient to analyze the reliability and agreement among evaluators in the correction of the essays from 2005 to 2010. We identified little use, in the educational research, of agreement techniques among evaluators. As for the analysis of the correction of essays, some results were satisfactory (example: mean reliability of the evaluators for total scores of the essays) and others were unsatisfactory (example: low agreement in some criteria of correction). |
publishDate |
2014 |
dc.date.none.fl_str_mv |
2014-12-30 |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/article info:eu-repo/semantics/publishedVersion |
format |
article |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://publicacoes.fcc.org.br/eae/article/view/2750 10.18222/eae255920142750 |
url |
https://publicacoes.fcc.org.br/eae/article/view/2750 |
identifier_str_mv |
10.18222/eae255920142750 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.none.fl_str_mv |
https://publicacoes.fcc.org.br/eae/article/view/2750/2856 |
dc.rights.driver.fl_str_mv |
Copyright (c) 2015 Estudos em Avaliação Educacional info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Copyright (c) 2015 Estudos em Avaliação Educacional |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
Fundação Carlos Chagas |
publisher.none.fl_str_mv |
Fundação Carlos Chagas |
dc.source.none.fl_str_mv |
Estudos em Avaliação Educacional; Vol. 25 No. 59: set./dez. 2014; 298-324 Estudos em Avaliação Educacional; Vol. 25 Núm. 59: set./dez. 2014; 298-324 Estudos em Avaliação Educacional; Vol. 25 No. 59: set./dez. 2014; 298-324 Estudos em Avaliação Educacional; V. 25 N. 59: set./dez. 2014; 298-324 Estudos em Avaliação Educacional; v. 25 n. 59: set./dez. 2014; 298-324 1984-932X 0103-6831 reponame:Estudos em Avaliação Educacional instname:Fundação Carlos Chagas (FCC) instacron:FCC |
instname_str |
Fundação Carlos Chagas (FCC) |
instacron_str |
FCC |
institution |
FCC |
reponame_str |
Estudos em Avaliação Educacional |
collection |
Estudos em Avaliação Educacional |
repository.name.fl_str_mv |
Estudos em Avaliação Educacional - Fundação Carlos Chagas (FCC) |
repository.mail.fl_str_mv |
eae@fcc.org.br||ngimenes@fcc.org.br |
_version_ |
1795332421897420800 |