Confiabilidade e concordância entre juízes : aplicações na área educacional.

Detalhes bibliográficos
Autor(a) principal: Matos, Daniel Abud Seabra
Data de Publicação: 2014
Tipo de documento: Artigo
Idioma: por
Título da fonte: Repositório Institucional da UFOP
Texto Completo: http://www.repositorio.ufop.br/handle/123456789/5716
http://dx.doi.org/10.18222/eae255920142750
Resumo: Os objetivos desta pesquisa foram: (1) investigar as estratégias de verificação da confiabilidade e concordância entre juízes, enfatizando as aplicações na área educacional; (2) realizar uma revisão da literatura nacional sobre as técnicas de confiabilidade e concordância entre juízes e suas áreas de aplicação; e (3) ilustrar a aplicação das técnicas de confiabilidade e concordância entre juízes por meio da análise das correções das redações do vestibular de uma universidade pública de Minas Gerais. Utilizamos o coeficiente de correlação intraclasse para analisar a confiabilidade e concordância entre juízes na correção das redações no período de 2005 a 2010. Identificamos pouco uso, nas pesquisas educacionais, de técnicas de concordância entre juízes. Quanto à análise da correção das redações, alguns resultados foram satisfatórios (exemplo: confiabilidade média dos juízes para as notas totais das redações) e outros insatisfatórios (exemplo: concordância baixa em alguns critérios de correção).
id UFOP_e438565798147961547e5c284b505305
oai_identifier_str oai:localhost:123456789/5716
network_acronym_str UFOP
network_name_str Repositório Institucional da UFOP
repository_id_str 3233
spelling Matos, Daniel Abud Seabra2015-11-03T13:26:08Z2015-11-03T13:26:08Z2014MATOS, D. A. S. Confiabilidade e concordância entre juízes: aplicações na área educacional. Estudos em Avaliação Educacional, São Paulo, v. 25, n. 59, p. 298-324, set./dez. 2015. Disponível em: <http://publicacoes.fcc.org.br/ojs/index.php/eae/article/view/2750/2856>. Acesso em: 27 out. 2015.1984-932Xhttp://www.repositorio.ufop.br/handle/123456789/5716http://dx.doi.org/10.18222/eae255920142750Os objetivos desta pesquisa foram: (1) investigar as estratégias de verificação da confiabilidade e concordância entre juízes, enfatizando as aplicações na área educacional; (2) realizar uma revisão da literatura nacional sobre as técnicas de confiabilidade e concordância entre juízes e suas áreas de aplicação; e (3) ilustrar a aplicação das técnicas de confiabilidade e concordância entre juízes por meio da análise das correções das redações do vestibular de uma universidade pública de Minas Gerais. Utilizamos o coeficiente de correlação intraclasse para analisar a confiabilidade e concordância entre juízes na correção das redações no período de 2005 a 2010. Identificamos pouco uso, nas pesquisas educacionais, de técnicas de concordância entre juízes. Quanto à análise da correção das redações, alguns resultados foram satisfatórios (exemplo: confiabilidade média dos juízes para as notas totais das redações) e outros insatisfatórios (exemplo: concordância baixa em alguns critérios de correção).The aims of this study were to: (1) investigate the strategies for verifying reliability and agreement among evaluators, focusing on the applications in the educational area; (2) conduct a review of the national literature on the techniques of reliability and agreement among judges and their areas of application; and (3) illustrate the application of the techniques of reliability and agreement among evaluators by analyzing the corrections of the Vestibular (college entrance exam) essays from one public university in Minas Gerais. We used the intraclass correlation coefficient to analyze the reliability and agreement among evaluators in the correction of the essays from 2005 to 2010. We identified little use, in the educational research, of agreement techniques among evaluators. As for the analysis of the correction of essays, some results were satisfactory (example: mean reliability of the evaluators for total scores of the essays) and others were unsatisfactory (example: low agreement in some criteria of correction).Taxa de confiabilidadeConcurso vestibularJuízesRedaçãoConfiabilidade e concordância entre juízes : aplicações na área educacional.info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/articleOs trabalhos publicados na Estudos em Avaliação Educacional estão sob licença Creative Commons Attribution que permite copiar, distribuir, transmitir e adaptar o trabalho desde que sejam citados o autor e o licenciante. Fonte: Estudos em Avaliação Educacional <http://publicacoes.fcc.org.br/ojs/index.php/eae/about/submissions#copyrightNotice>. Acesso em: 09 nov. 2016.info:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFOPinstname:Universidade Federal de Ouro Preto (UFOP)instacron:UFOPLICENSElicense.txtlicense.txttext/plain; charset=utf-82636http://www.repositorio.ufop.br/bitstream/123456789/5716/2/license.txtc2ffdd99e58acf69202dff00d361f23aMD52ORIGINALARTIGO_ConfiabilidadeConcordânciaJuízes.pdfARTIGO_ConfiabilidadeConcordânciaJuízes.pdfapplication/pdf362338http://www.repositorio.ufop.br/bitstream/123456789/5716/1/ARTIGO_ConfiabilidadeConcord%c3%a2nciaJu%c3%adzes.pdfd1fd3023475f958b052d987e4671da0eMD51123456789/57162019-08-05 10:27:59.375oai:localhost:123456789/5716PGh0bWw+Cjxib2R5Pgo8ZGl2IGFsaWduPSJqdXN0aWZ5Ij48c3Ryb25nPkxpY2VuJmNjZWRpbDthIGRvIFJlcG9zaXQmb2FjdXRlO3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRlIE91cm8gUHJldG88L3N0cm9uZz4KICA8YnI+CiAgPGJyPgogIEFvIGNvbmNvcmRhciBjb20gZXN0YSBsaWNlbiZjY2VkaWw7YSwgdm9jJmVjaXJjOyhzKSBhdXRvcihlcykgb3UgdGl0dWxhcihlcykgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRhIG9icmEgYXF1aSBkZXNjcml0YSBjb25jZWRlKG0pICZhZ3JhdmU7CiAgPGJyPgogIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRlIE91cm8gUHJldG8gKFVGT1ApIGdlc3RvcmEgZG8gUmVwb3NpdCZvYWN1dGU7cmlvIEluc3RpdHVjaW9uYWwgZGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgT3VybyBQcmV0bwogIDxicj4KICAoUkktVUZPUCksIG8gZGlyZWl0byBuJmF0aWxkZTtvLWV4Y2x1c2l2byBkZSByZXByb2R1emlyLCBjb252ZXJ0ZXIgKGNvbW8gZGVmaW5pZG8gYWJhaXhvKSBlL291IGRpc3RyaWJ1aXIgbyBkb2N1bWVudG8gZGVwb3NpdGFkbwogIDxicj4KICBlbSBmb3JtYXRvIGltcHJlc3NvLCBlbGV0ciZvY2lyYztuaWNvIG91IGVtIHF1YWxxdWVyIG91dHJvIG1laW8uCiAgPGJyPgogIDxicj4KICBWb2MmZWNpcmM7KHMpIGNvbmNvcmRhKG0pIHF1ZSBhIFVGT1AsIGdlc3RvcmEgZG8gUkktVUZPUCwgcG9kZSwgc2VtIGFsdGVyYXIgbyBjb250ZSZ1YWN1dGU7ZG8sIGNvbnZlcnRlciBvIGFycXVpdm8gZGVwb3NpdGFkbyBhCiAgPGJyPgogIHF1YWxxdWVyIG1laW8gb3UgZm9ybWF0byBjb20gZmlucyBkZSBwcmVzZXJ2YSZjY2VkaWw7JmF0aWxkZTtvLiBWb2MmZWNpcmM7KHMpIHRhbWImZWFjdXRlO20gY29uY29yZGEobSkgcXVlIGEgVUZPUCwgZ2VzdG9yYSBkbyBSSS1VRk9QLCBwb2RlCiAgPGJyPgogIG1hbnRlciBtYWlzIGRlIHVtYSBjJm9hY3V0ZTtwaWEgZGVzdGUgZGVwJm9hY3V0ZTtzaXRvIHBhcmEgZmlucyBkZSBzZWd1cmFuJmNjZWRpbDthLCA8ZW0+YmFjay11cDwvZW0+IGUvb3UgcHJlc2VydmEmY2NlZGlsOyZhdGlsZGU7by4KICA8YnI+CiAgPGJyPgogIFZvYyZlY2lyYzsocykgZGVjbGFyYShtKSBxdWUgYSBhcHJlc2VudGEmY2NlZGlsOyZhdGlsZGU7byBkbyBzZXUgdHJhYmFsaG8gJmVhY3V0ZTsgb3JpZ2luYWwgZSBxdWUgdm9jJmVjaXJjOyhzKSBwb2RlKG0pIGNvbmNlZGVyIG9zIGRpcmVpdG9zIGNvbnRpZG9zCiAgPGJyPgogIG5lc3RhIGxpY2VuJmNjZWRpbDthLiBWb2MmZWNpcmM7KHMpIHRhbWImZWFjdXRlO20gZGVjbGFyYShtKSBxdWUgbyBlbnZpbyAmZWFjdXRlOyBkZSBzZXUgY29uaGVjaW1lbnRvIGUgbiZhdGlsZGU7byBpbmZyaW5nZSBvcyBkaXJlaXRvcyBhdXRvcmFpcyBkZSBvdXRyYQogIDxicj4KICBwZXNzb2Egb3UgaW5zdGl0dWkmY2NlZGlsOyZhdGlsZGU7by4gQ2FzbyBvIGRvY3VtZW50byBhIHNlciBkZXBvc2l0YWRvIGNvbnRlbmhhIG1hdGVyaWFsIHBhcmEgbyBxdWFsIHZvYyZlY2lyYzsocykgbiZhdGlsZGU7byBkZXQmZWFjdXRlO20gYSB0aXR1bGFyaWRhZGUKICA8YnI+CiAgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2MmZWNpcmM7KHMpIGRlY2xhcmEobSkgcXVlIG9idGV2ZSBhIHBlcm1pc3MmYXRpbGRlO28gaXJyZXN0cml0YSBkbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBkZSBjb25jZWRlciAmYWdyYXZlOwogIDxicj4KICBVRk9QLCBnZXN0b3JhIGRvIFJJLVVGT1Agb3MgZGlyZWl0b3MgcmVxdWVyaWRvcyBwb3IgZXN0YSBsaWNlbiZjY2VkaWw7YSBlIHF1ZSBvcyBtYXRlcmlhaXMgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zLCBlc3QmYXRpbGRlO28KICA8YnI+CiAgZGV2aWRhbWVudGUgaWRlbnRpZmljYWRvcyBlIHJlY29uaGVjaWRvcyBubyB0ZXh0byBvdSBjb250ZSZ1YWN1dGU7ZG8gZGEgYXByZXNlbnRhJmNjZWRpbDsmYXRpbGRlO28uCiAgPGJyPgogIDxicj4KICBDQVNPIE8gVFJBQkFMSE8gREVQT1NJVEFETyBURU5IQSBTSURPIEZJTkFOQ0lBRE8gT1UgQVBPSUFETyBQT1IgVU0gJk9hY3V0ZTtSRyZBdGlsZGU7TywgUVVFIE4mQXRpbGRlO08gQSBJTlNUSVRVSSZDY2VkaWw7JkF0aWxkZTtPIERFU1RFCiAgPGJyPgogIFJFU1BPU0lUJk9hY3V0ZTtSSU86IFZPQyZFY2lyYzsgREVDTEFSQSBURVIgQ1VNUFJJRE8gVE9ET1MgT1MgRElSRUlUT1MgREUgUkVWSVMmQXRpbGRlO08gRSBRVUFJU1FVRVIgT1VUUkFTIE9CUklHQSZDY2VkaWw7Jk90aWxkZTtFUwogIDxicj4KICBSRVFVRVJJREFTIFBFTE8gQ09OVFJBVE8gT1UgQUNPUkRPLiAKICA8YnI+CiAgPGJyPgogIE8gcmVwb3NpdCZvYWN1dGU7cmlvIGlkZW50aWZpY2FyJmFhY3V0ZTsgY2xhcmFtZW50ZSBvIHNldShzKSBub21lKHMpIGNvbW8gYXV0b3IoZXMpIG91IHRpdHVsYXIoZXMpIGRvIGRpcmVpdG8gZGUgYXV0b3IoZXMpIGRvIGRvY3VtZW50bwogIDxicj4KICBzdWJtZXRpZG8gZSBkZWNsYXJhIHF1ZSBuJmF0aWxkZTtvIGZhciZhYWN1dGU7IHF1YWxxdWVyIGFsdGVyYSZjY2VkaWw7JmF0aWxkZTtvIGFsJmVhY3V0ZTttIGRhcyBwZXJtaXRpZGFzIHBvciBlc3RhIGxpY2VuJmNjZWRpbDthLjwvcD4KPC9kaXY+CjwvYm9keT4KPC9odG1sPgo=Repositório InstitucionalPUBhttp://www.repositorio.ufop.br/oai/requestrepositorio@ufop.edu.bropendoar:32332019-08-05T14:27:59Repositório Institucional da UFOP - Universidade Federal de Ouro Preto (UFOP)false
dc.title.pt_BR.fl_str_mv Confiabilidade e concordância entre juízes : aplicações na área educacional.
title Confiabilidade e concordância entre juízes : aplicações na área educacional.
spellingShingle Confiabilidade e concordância entre juízes : aplicações na área educacional.
Matos, Daniel Abud Seabra
Taxa de confiabilidade
Concurso vestibular
Juízes
Redação
title_short Confiabilidade e concordância entre juízes : aplicações na área educacional.
title_full Confiabilidade e concordância entre juízes : aplicações na área educacional.
title_fullStr Confiabilidade e concordância entre juízes : aplicações na área educacional.
title_full_unstemmed Confiabilidade e concordância entre juízes : aplicações na área educacional.
title_sort Confiabilidade e concordância entre juízes : aplicações na área educacional.
author Matos, Daniel Abud Seabra
author_facet Matos, Daniel Abud Seabra
author_role author
dc.contributor.author.fl_str_mv Matos, Daniel Abud Seabra
dc.subject.por.fl_str_mv Taxa de confiabilidade
Concurso vestibular
Juízes
Redação
topic Taxa de confiabilidade
Concurso vestibular
Juízes
Redação
description Os objetivos desta pesquisa foram: (1) investigar as estratégias de verificação da confiabilidade e concordância entre juízes, enfatizando as aplicações na área educacional; (2) realizar uma revisão da literatura nacional sobre as técnicas de confiabilidade e concordância entre juízes e suas áreas de aplicação; e (3) ilustrar a aplicação das técnicas de confiabilidade e concordância entre juízes por meio da análise das correções das redações do vestibular de uma universidade pública de Minas Gerais. Utilizamos o coeficiente de correlação intraclasse para analisar a confiabilidade e concordância entre juízes na correção das redações no período de 2005 a 2010. Identificamos pouco uso, nas pesquisas educacionais, de técnicas de concordância entre juízes. Quanto à análise da correção das redações, alguns resultados foram satisfatórios (exemplo: confiabilidade média dos juízes para as notas totais das redações) e outros insatisfatórios (exemplo: concordância baixa em alguns critérios de correção).
publishDate 2014
dc.date.issued.fl_str_mv 2014
dc.date.accessioned.fl_str_mv 2015-11-03T13:26:08Z
dc.date.available.fl_str_mv 2015-11-03T13:26:08Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/article
format article
status_str publishedVersion
dc.identifier.citation.fl_str_mv MATOS, D. A. S. Confiabilidade e concordância entre juízes: aplicações na área educacional. Estudos em Avaliação Educacional, São Paulo, v. 25, n. 59, p. 298-324, set./dez. 2015. Disponível em: <http://publicacoes.fcc.org.br/ojs/index.php/eae/article/view/2750/2856>. Acesso em: 27 out. 2015.
dc.identifier.uri.fl_str_mv http://www.repositorio.ufop.br/handle/123456789/5716
dc.identifier.issn.none.fl_str_mv 1984-932X
dc.identifier.doi.none.fl_str_mv http://dx.doi.org/10.18222/eae255920142750
identifier_str_mv MATOS, D. A. S. Confiabilidade e concordância entre juízes: aplicações na área educacional. Estudos em Avaliação Educacional, São Paulo, v. 25, n. 59, p. 298-324, set./dez. 2015. Disponível em: <http://publicacoes.fcc.org.br/ojs/index.php/eae/article/view/2750/2856>. Acesso em: 27 out. 2015.
1984-932X
url http://www.repositorio.ufop.br/handle/123456789/5716
http://dx.doi.org/10.18222/eae255920142750
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFOP
instname:Universidade Federal de Ouro Preto (UFOP)
instacron:UFOP
instname_str Universidade Federal de Ouro Preto (UFOP)
instacron_str UFOP
institution UFOP
reponame_str Repositório Institucional da UFOP
collection Repositório Institucional da UFOP
bitstream.url.fl_str_mv http://www.repositorio.ufop.br/bitstream/123456789/5716/2/license.txt
http://www.repositorio.ufop.br/bitstream/123456789/5716/1/ARTIGO_ConfiabilidadeConcord%c3%a2nciaJu%c3%adzes.pdf
bitstream.checksum.fl_str_mv c2ffdd99e58acf69202dff00d361f23a
d1fd3023475f958b052d987e4671da0e
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFOP - Universidade Federal de Ouro Preto (UFOP)
repository.mail.fl_str_mv repositorio@ufop.edu.br
_version_ 1801685778067095552