Evidence of Content Validity of the Enade Psychology Assessment

Detalhes bibliográficos
Autor(a) principal: Jesus, Girlene Ribeiro de
Data de Publicação: 2021
Outros Autores: Rêgo, Renata Manuelly de Lima, Souza, Victor Vasconcelos de
Tipo de documento: Artigo
Idioma: por
Título da fonte: Estudos em Avaliação Educacional
Texto Completo: https://publicacoes.fcc.org.br/eae/article/view/4897
Resumo: This study aims to analyze evidence of validity based on the content of the psychology test applied in the Exame Nacional de Desempenho dos Estudantes (Enade) [National Exam of Student Proficiency] of 2015. We used Blueprint, a tool recommended in the international literature for test design. There were significant discrepancies between the skills and abilities presented in the test specifications, and in the cognitive demand demanded in almost all multiple-choice questions. Furthermore, there are skills and abilities presented in test specifications that were not in the test, and other skills and abilities that were represented by only one item, which compromise measurement reliability. We conclude that the evidence based on the content for this test shows the necessity to use tools to improve this primary source of evidence. 
id FCC-2_d7cc02ac042d6398e425b7da30531c00
oai_identifier_str oai:ojs.publicacoes.fcc.org.br:article/4897
network_acronym_str FCC-2
network_name_str Estudos em Avaliação Educacional
repository_id_str
spelling Evidence of Content Validity of the Enade Psychology AssessmentEvidencias de validez de contenido de la prueba de psicología del EnadeEvidências de validade de conteúdo da prova de psicologia do EnadeValidadeExame Nacional de Desempenho dos Estudantes (Enade)BlueprintDemanda CognitivaAvaliação da educação superiorValidezExame Nacional de Desempenho dos Estudantes (Enade)BlueprintDemanda CognitivaValidityNational Exam of Student Proficiency (Enade)BlueprintCognitive DemandThis study aims to analyze evidence of validity based on the content of the psychology test applied in the Exame Nacional de Desempenho dos Estudantes (Enade) [National Exam of Student Proficiency] of 2015. We used Blueprint, a tool recommended in the international literature for test design. There were significant discrepancies between the skills and abilities presented in the test specifications, and in the cognitive demand demanded in almost all multiple-choice questions. Furthermore, there are skills and abilities presented in test specifications that were not in the test, and other skills and abilities that were represented by only one item, which compromise measurement reliability. We conclude that the evidence based on the content for this test shows the necessity to use tools to improve this primary source of evidence. El presente estudio tiene el propósito de analizar evidencias de validez en base al contenido de la prueba de psicología aplicada en el Exame Nacional de Desempenho dos Estudantes (Enade) del 2015. Se utilizó la blueprint, herramienta recomendada por la literatura internacional que sirve como base para la planificación de las pruebas. Hubo divergencia significativa entre las competencias y habilidades presentadas en la matriz de referencia y la demanda cognitiva solicitada en la mayoría de las preguntas objetivas. Hay habilidades presentes en la matriz que no se tuvieron en cuenta en la prueba y otras fueron contempladas con tan solo un ítem, lo que compromete la confiabilidad de la medida. Los análisis mostraron la necesidad del uso de técnicas que pueden mejorar esa fuente primaria de evidencia. O presente estudo tem como objetivo analisar evidências de validade com base no conteúdo da prova de psicologia aplicada no Exame Nacional de Desempenho dos Estudantes (Enade) de 2015. Foi utilizada a blueprint, ferramenta recomendada pela literatura internacional que embasa o planejamento dos testes. Houve divergência significativa entre as competências e habilidades apresentadas na matriz de referência e a demanda cognitiva solicitada na maior parte das questões objetivas. Há habilidades presentes na matriz que não foram contempladas na prova e outras foram contempladas com apenas um único item, o que compromete a confiabilidade da medida. As análises mostraram a necessidade do uso de técnicas que podem melhorar essa fonte primária de evidência.Fundação Carlos Chagas2021-05-21info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionapplication/pdfhttps://publicacoes.fcc.org.br/eae/article/view/489710.18222/eae.v29i72.4897Estudos em Avaliação Educacional; Vol. 29 No. 72 (2018): set./dez. 2018; 858-884Estudos em Avaliação Educacional; Vol. 29 Núm. 72 (2018): set./dez. 2018; 858-884Estudos em Avaliação Educacional; Vol. 29 No. 72 (2018): set./dez. 2018; 858-884Estudos em Avaliação Educacional; V. 29 N. 72 (2018): set./dez. 2018; 858-884Estudos em Avaliação Educacional; v. 29 n. 72 (2018): set./dez. 2018; 858-8841984-932X0103-6831reponame:Estudos em Avaliação Educacionalinstname:Fundação Carlos Chagas (FCC)instacron:FCCporhttps://publicacoes.fcc.org.br/eae/article/view/4897/3712Copyright (c) 2018 Estudos em Avaliação Educacionalhttps://creativecommons.org/licenses/by-nc/4.0info:eu-repo/semantics/openAccessJesus, Girlene Ribeiro deRêgo, Renata Manuelly de LimaSouza, Victor Vasconcelos de2021-05-21T13:37:35Zoai:ojs.publicacoes.fcc.org.br:article/4897Revistahttp://publicacoes.fcc.org.br/ojs/index.php/eae/indexONGhttp://publicacoes.fcc.org.br/ojs/index.php/eae/oaieae@fcc.org.br||ngimenes@fcc.org.br1984-932X0103-6831opendoar:2021-05-21T13:37:35Estudos em Avaliação Educacional - Fundação Carlos Chagas (FCC)false
dc.title.none.fl_str_mv Evidence of Content Validity of the Enade Psychology Assessment
Evidencias de validez de contenido de la prueba de psicología del Enade
Evidências de validade de conteúdo da prova de psicologia do Enade
title Evidence of Content Validity of the Enade Psychology Assessment
spellingShingle Evidence of Content Validity of the Enade Psychology Assessment
Jesus, Girlene Ribeiro de
Validade
Exame Nacional de Desempenho dos Estudantes (Enade)
Blueprint
Demanda Cognitiva
Avaliação da educação superior
Validez
Exame Nacional de Desempenho dos Estudantes (Enade)
Blueprint
Demanda Cognitiva
Validity
National Exam of Student Proficiency (Enade)
Blueprint
Cognitive Demand
title_short Evidence of Content Validity of the Enade Psychology Assessment
title_full Evidence of Content Validity of the Enade Psychology Assessment
title_fullStr Evidence of Content Validity of the Enade Psychology Assessment
title_full_unstemmed Evidence of Content Validity of the Enade Psychology Assessment
title_sort Evidence of Content Validity of the Enade Psychology Assessment
author Jesus, Girlene Ribeiro de
author_facet Jesus, Girlene Ribeiro de
Rêgo, Renata Manuelly de Lima
Souza, Victor Vasconcelos de
author_role author
author2 Rêgo, Renata Manuelly de Lima
Souza, Victor Vasconcelos de
author2_role author
author
dc.contributor.author.fl_str_mv Jesus, Girlene Ribeiro de
Rêgo, Renata Manuelly de Lima
Souza, Victor Vasconcelos de
dc.subject.por.fl_str_mv Validade
Exame Nacional de Desempenho dos Estudantes (Enade)
Blueprint
Demanda Cognitiva
Avaliação da educação superior
Validez
Exame Nacional de Desempenho dos Estudantes (Enade)
Blueprint
Demanda Cognitiva
Validity
National Exam of Student Proficiency (Enade)
Blueprint
Cognitive Demand
topic Validade
Exame Nacional de Desempenho dos Estudantes (Enade)
Blueprint
Demanda Cognitiva
Avaliação da educação superior
Validez
Exame Nacional de Desempenho dos Estudantes (Enade)
Blueprint
Demanda Cognitiva
Validity
National Exam of Student Proficiency (Enade)
Blueprint
Cognitive Demand
description This study aims to analyze evidence of validity based on the content of the psychology test applied in the Exame Nacional de Desempenho dos Estudantes (Enade) [National Exam of Student Proficiency] of 2015. We used Blueprint, a tool recommended in the international literature for test design. There were significant discrepancies between the skills and abilities presented in the test specifications, and in the cognitive demand demanded in almost all multiple-choice questions. Furthermore, there are skills and abilities presented in test specifications that were not in the test, and other skills and abilities that were represented by only one item, which compromise measurement reliability. We conclude that the evidence based on the content for this test shows the necessity to use tools to improve this primary source of evidence. 
publishDate 2021
dc.date.none.fl_str_mv 2021-05-21
dc.type.driver.fl_str_mv info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
format article
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://publicacoes.fcc.org.br/eae/article/view/4897
10.18222/eae.v29i72.4897
url https://publicacoes.fcc.org.br/eae/article/view/4897
identifier_str_mv 10.18222/eae.v29i72.4897
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv https://publicacoes.fcc.org.br/eae/article/view/4897/3712
dc.rights.driver.fl_str_mv Copyright (c) 2018 Estudos em Avaliação Educacional
https://creativecommons.org/licenses/by-nc/4.0
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Copyright (c) 2018 Estudos em Avaliação Educacional
https://creativecommons.org/licenses/by-nc/4.0
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Fundação Carlos Chagas
publisher.none.fl_str_mv Fundação Carlos Chagas
dc.source.none.fl_str_mv Estudos em Avaliação Educacional; Vol. 29 No. 72 (2018): set./dez. 2018; 858-884
Estudos em Avaliação Educacional; Vol. 29 Núm. 72 (2018): set./dez. 2018; 858-884
Estudos em Avaliação Educacional; Vol. 29 No. 72 (2018): set./dez. 2018; 858-884
Estudos em Avaliação Educacional; V. 29 N. 72 (2018): set./dez. 2018; 858-884
Estudos em Avaliação Educacional; v. 29 n. 72 (2018): set./dez. 2018; 858-884
1984-932X
0103-6831
reponame:Estudos em Avaliação Educacional
instname:Fundação Carlos Chagas (FCC)
instacron:FCC
instname_str Fundação Carlos Chagas (FCC)
instacron_str FCC
institution FCC
reponame_str Estudos em Avaliação Educacional
collection Estudos em Avaliação Educacional
repository.name.fl_str_mv Estudos em Avaliação Educacional - Fundação Carlos Chagas (FCC)
repository.mail.fl_str_mv eae@fcc.org.br||ngimenes@fcc.org.br
_version_ 1795332422565363712