Evidence of Content Validity of the Enade Psychology Assessment
Autor(a) principal: | |
---|---|
Data de Publicação: | 2021 |
Outros Autores: | , |
Tipo de documento: | Artigo |
Idioma: | por |
Título da fonte: | Estudos em Avaliação Educacional |
Texto Completo: | https://publicacoes.fcc.org.br/eae/article/view/4897 |
Resumo: | This study aims to analyze evidence of validity based on the content of the psychology test applied in the Exame Nacional de Desempenho dos Estudantes (Enade) [National Exam of Student Proficiency] of 2015. We used Blueprint, a tool recommended in the international literature for test design. There were significant discrepancies between the skills and abilities presented in the test specifications, and in the cognitive demand demanded in almost all multiple-choice questions. Furthermore, there are skills and abilities presented in test specifications that were not in the test, and other skills and abilities that were represented by only one item, which compromise measurement reliability. We conclude that the evidence based on the content for this test shows the necessity to use tools to improve this primary source of evidence. |
id |
FCC-2_d7cc02ac042d6398e425b7da30531c00 |
---|---|
oai_identifier_str |
oai:ojs.publicacoes.fcc.org.br:article/4897 |
network_acronym_str |
FCC-2 |
network_name_str |
Estudos em Avaliação Educacional |
repository_id_str |
|
spelling |
Evidence of Content Validity of the Enade Psychology AssessmentEvidencias de validez de contenido de la prueba de psicología del EnadeEvidências de validade de conteúdo da prova de psicologia do EnadeValidadeExame Nacional de Desempenho dos Estudantes (Enade)BlueprintDemanda CognitivaAvaliação da educação superiorValidezExame Nacional de Desempenho dos Estudantes (Enade)BlueprintDemanda CognitivaValidityNational Exam of Student Proficiency (Enade)BlueprintCognitive DemandThis study aims to analyze evidence of validity based on the content of the psychology test applied in the Exame Nacional de Desempenho dos Estudantes (Enade) [National Exam of Student Proficiency] of 2015. We used Blueprint, a tool recommended in the international literature for test design. There were significant discrepancies between the skills and abilities presented in the test specifications, and in the cognitive demand demanded in almost all multiple-choice questions. Furthermore, there are skills and abilities presented in test specifications that were not in the test, and other skills and abilities that were represented by only one item, which compromise measurement reliability. We conclude that the evidence based on the content for this test shows the necessity to use tools to improve this primary source of evidence. El presente estudio tiene el propósito de analizar evidencias de validez en base al contenido de la prueba de psicología aplicada en el Exame Nacional de Desempenho dos Estudantes (Enade) del 2015. Se utilizó la blueprint, herramienta recomendada por la literatura internacional que sirve como base para la planificación de las pruebas. Hubo divergencia significativa entre las competencias y habilidades presentadas en la matriz de referencia y la demanda cognitiva solicitada en la mayoría de las preguntas objetivas. Hay habilidades presentes en la matriz que no se tuvieron en cuenta en la prueba y otras fueron contempladas con tan solo un ítem, lo que compromete la confiabilidad de la medida. Los análisis mostraron la necesidad del uso de técnicas que pueden mejorar esa fuente primaria de evidencia. O presente estudo tem como objetivo analisar evidências de validade com base no conteúdo da prova de psicologia aplicada no Exame Nacional de Desempenho dos Estudantes (Enade) de 2015. Foi utilizada a blueprint, ferramenta recomendada pela literatura internacional que embasa o planejamento dos testes. Houve divergência significativa entre as competências e habilidades apresentadas na matriz de referência e a demanda cognitiva solicitada na maior parte das questões objetivas. Há habilidades presentes na matriz que não foram contempladas na prova e outras foram contempladas com apenas um único item, o que compromete a confiabilidade da medida. As análises mostraram a necessidade do uso de técnicas que podem melhorar essa fonte primária de evidência.Fundação Carlos Chagas2021-05-21info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionapplication/pdfhttps://publicacoes.fcc.org.br/eae/article/view/489710.18222/eae.v29i72.4897Estudos em Avaliação Educacional; Vol. 29 No. 72 (2018): set./dez. 2018; 858-884Estudos em Avaliação Educacional; Vol. 29 Núm. 72 (2018): set./dez. 2018; 858-884Estudos em Avaliação Educacional; Vol. 29 No. 72 (2018): set./dez. 2018; 858-884Estudos em Avaliação Educacional; V. 29 N. 72 (2018): set./dez. 2018; 858-884Estudos em Avaliação Educacional; v. 29 n. 72 (2018): set./dez. 2018; 858-8841984-932X0103-6831reponame:Estudos em Avaliação Educacionalinstname:Fundação Carlos Chagas (FCC)instacron:FCCporhttps://publicacoes.fcc.org.br/eae/article/view/4897/3712Copyright (c) 2018 Estudos em Avaliação Educacionalhttps://creativecommons.org/licenses/by-nc/4.0info:eu-repo/semantics/openAccessJesus, Girlene Ribeiro deRêgo, Renata Manuelly de LimaSouza, Victor Vasconcelos de2021-05-21T13:37:35Zoai:ojs.publicacoes.fcc.org.br:article/4897Revistahttp://publicacoes.fcc.org.br/ojs/index.php/eae/indexONGhttp://publicacoes.fcc.org.br/ojs/index.php/eae/oaieae@fcc.org.br||ngimenes@fcc.org.br1984-932X0103-6831opendoar:2021-05-21T13:37:35Estudos em Avaliação Educacional - Fundação Carlos Chagas (FCC)false |
dc.title.none.fl_str_mv |
Evidence of Content Validity of the Enade Psychology Assessment Evidencias de validez de contenido de la prueba de psicología del Enade Evidências de validade de conteúdo da prova de psicologia do Enade |
title |
Evidence of Content Validity of the Enade Psychology Assessment |
spellingShingle |
Evidence of Content Validity of the Enade Psychology Assessment Jesus, Girlene Ribeiro de Validade Exame Nacional de Desempenho dos Estudantes (Enade) Blueprint Demanda Cognitiva Avaliação da educação superior Validez Exame Nacional de Desempenho dos Estudantes (Enade) Blueprint Demanda Cognitiva Validity National Exam of Student Proficiency (Enade) Blueprint Cognitive Demand |
title_short |
Evidence of Content Validity of the Enade Psychology Assessment |
title_full |
Evidence of Content Validity of the Enade Psychology Assessment |
title_fullStr |
Evidence of Content Validity of the Enade Psychology Assessment |
title_full_unstemmed |
Evidence of Content Validity of the Enade Psychology Assessment |
title_sort |
Evidence of Content Validity of the Enade Psychology Assessment |
author |
Jesus, Girlene Ribeiro de |
author_facet |
Jesus, Girlene Ribeiro de Rêgo, Renata Manuelly de Lima Souza, Victor Vasconcelos de |
author_role |
author |
author2 |
Rêgo, Renata Manuelly de Lima Souza, Victor Vasconcelos de |
author2_role |
author author |
dc.contributor.author.fl_str_mv |
Jesus, Girlene Ribeiro de Rêgo, Renata Manuelly de Lima Souza, Victor Vasconcelos de |
dc.subject.por.fl_str_mv |
Validade Exame Nacional de Desempenho dos Estudantes (Enade) Blueprint Demanda Cognitiva Avaliação da educação superior Validez Exame Nacional de Desempenho dos Estudantes (Enade) Blueprint Demanda Cognitiva Validity National Exam of Student Proficiency (Enade) Blueprint Cognitive Demand |
topic |
Validade Exame Nacional de Desempenho dos Estudantes (Enade) Blueprint Demanda Cognitiva Avaliação da educação superior Validez Exame Nacional de Desempenho dos Estudantes (Enade) Blueprint Demanda Cognitiva Validity National Exam of Student Proficiency (Enade) Blueprint Cognitive Demand |
description |
This study aims to analyze evidence of validity based on the content of the psychology test applied in the Exame Nacional de Desempenho dos Estudantes (Enade) [National Exam of Student Proficiency] of 2015. We used Blueprint, a tool recommended in the international literature for test design. There were significant discrepancies between the skills and abilities presented in the test specifications, and in the cognitive demand demanded in almost all multiple-choice questions. Furthermore, there are skills and abilities presented in test specifications that were not in the test, and other skills and abilities that were represented by only one item, which compromise measurement reliability. We conclude that the evidence based on the content for this test shows the necessity to use tools to improve this primary source of evidence. |
publishDate |
2021 |
dc.date.none.fl_str_mv |
2021-05-21 |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/article info:eu-repo/semantics/publishedVersion |
format |
article |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://publicacoes.fcc.org.br/eae/article/view/4897 10.18222/eae.v29i72.4897 |
url |
https://publicacoes.fcc.org.br/eae/article/view/4897 |
identifier_str_mv |
10.18222/eae.v29i72.4897 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.none.fl_str_mv |
https://publicacoes.fcc.org.br/eae/article/view/4897/3712 |
dc.rights.driver.fl_str_mv |
Copyright (c) 2018 Estudos em Avaliação Educacional https://creativecommons.org/licenses/by-nc/4.0 info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Copyright (c) 2018 Estudos em Avaliação Educacional https://creativecommons.org/licenses/by-nc/4.0 |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
Fundação Carlos Chagas |
publisher.none.fl_str_mv |
Fundação Carlos Chagas |
dc.source.none.fl_str_mv |
Estudos em Avaliação Educacional; Vol. 29 No. 72 (2018): set./dez. 2018; 858-884 Estudos em Avaliação Educacional; Vol. 29 Núm. 72 (2018): set./dez. 2018; 858-884 Estudos em Avaliação Educacional; Vol. 29 No. 72 (2018): set./dez. 2018; 858-884 Estudos em Avaliação Educacional; V. 29 N. 72 (2018): set./dez. 2018; 858-884 Estudos em Avaliação Educacional; v. 29 n. 72 (2018): set./dez. 2018; 858-884 1984-932X 0103-6831 reponame:Estudos em Avaliação Educacional instname:Fundação Carlos Chagas (FCC) instacron:FCC |
instname_str |
Fundação Carlos Chagas (FCC) |
instacron_str |
FCC |
institution |
FCC |
reponame_str |
Estudos em Avaliação Educacional |
collection |
Estudos em Avaliação Educacional |
repository.name.fl_str_mv |
Estudos em Avaliação Educacional - Fundação Carlos Chagas (FCC) |
repository.mail.fl_str_mv |
eae@fcc.org.br||ngimenes@fcc.org.br |
_version_ |
1795332422565363712 |