Analysis of the multiple choice items of the Enade 2016 tests

Detalhes bibliográficos
Autor(a) principal: Beltrão, Kaizô Iwakami
Data de Publicação: 2023
Outros Autores: Mandarino, Monica Cerbella Freire
Tipo de documento: Artigo
Idioma: por
Título da fonte: Estudos em Avaliação Educacional
DOI: 10.18222/eae.v34.7951
Texto Completo: https://publicacoes.fcc.org.br/eae/article/view/7951
Resumo: The objective was to investigate whether the format of an item, the required cognitive level and the item’s position in the Enade 2016 test affect the results, including the probability of invalidation. The items were classified according to format and cognitive level, based on the literature and Bloom’s Taxonomy. Post-test administration measures were used: difficulty and discrimination indices. Regarding format, it was found that assertion-reason items were more difficult, single answer items had a slightly greater average for discrimination capacity, and one third of the assertion-reason items were invalidated. As for cognitive level, the two indices have lower averages in items of analysis, and the proportion of invalidated items of this level is higher. The hypothesis that the position of an item in the test affects the result was rejected.
id FCC-2_f199a81dff35487871a431b0cbf10628
oai_identifier_str oai:ojs.publicacoes.fcc.org.br:article/7951
network_acronym_str FCC-2
network_name_str Estudos em Avaliação Educacional
spelling Analysis of the multiple choice items of the Enade 2016 testsAnálisis de los ítems de múltiple selección de las pruebas Enade 2016Análise dos itens de múltipla escolha das provas do Enade 2016 Educação SuperiorEnadeTécnicas de MensuraçãoAnálise de ItemEducación SuperiorEnadeTécnicas de MediciónAnálisis del ÍtemHigher EducationEnadeMeasurement TechniquesItem AnalysisThe objective was to investigate whether the format of an item, the required cognitive level and the item’s position in the Enade 2016 test affect the results, including the probability of invalidation. The items were classified according to format and cognitive level, based on the literature and Bloom’s Taxonomy. Post-test administration measures were used: difficulty and discrimination indices. Regarding format, it was found that assertion-reason items were more difficult, single answer items had a slightly greater average for discrimination capacity, and one third of the assertion-reason items were invalidated. As for cognitive level, the two indices have lower averages in items of analysis, and the proportion of invalidated items of this level is higher. The hypothesis that the position of an item in the test affects the result was rejected.Se investiga si la forma de un ítem, el nivel cognitivo requerido y la posición del ítem en la prueba Enade 2016 afectan los resultados, incluso la probabilidad de cancelación. Los ítems se clasificaron según la forma y el nivel cognitivo, en base a la literatura y la Taxonomía de Bloom. Se utilizaron medidas de post-aplicación de las pruebas: índices de facilidad y de discriminación. En lo que se refiere al formato, se verificó que los ítems de aserción-razón fueron más difíciles, los de única respuesta tuvieron un promedio de capacidad de discriminación un poco mayor y se anuló una tercera parte de los ítems de aserción-razón. En cuanto al nivel cognitivo, se encontró que los dos índices tienen menores promedios en los ítems de análisis y que la proporción de cancelación de ítems de este nivel es mayor. Se rechazó la hipótesis de que la posición del ítem en la prueba influye en el resultado.Investiga-se se o formato de um item, o nível cognitivo exigido e a posição do item na prova do Enade 2016 afetam os resultados e a probabilidade de anulação. Os itens foram classificados quanto à forma e ao nível cognitivo, com base na literatura e na taxionomia de Bloom. Utilizaram-se medidas da pós-aplicação das provas: índices de facilidade e de discriminação. Para o formato, verificou-se que os itens de asserção-razão foram mais difíceis, os de resposta única tiveram uma capacidade de discriminação em média um pouco maior e um terço dos itens de asserção-razão foi anulado. Quanto ao nível cognitivo, os dois índices têm médias mais baixas nos itens de análise e a proporção de itens anulados desse nível é maior. A hipótese de a posição do item na prova afetar o resultado foi rejeitada. Fundação Carlos Chagas2023-01-27info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionapplication/pdfhttps://publicacoes.fcc.org.br/eae/article/view/795110.18222/eae.v34.7951Estudos em Avaliação Educacional; Vol. 34 (2023); e07951Estudos em Avaliação Educacional; Vol. 34 (2023); e07951Estudos em Avaliação Educacional; Vol. 34 (2023); e07951Estudos em Avaliação Educacional; V. 34 (2023); e07951Estudos em Avaliação Educacional; v. 34 (2023); e079511984-932X0103-6831reponame:Estudos em Avaliação Educacionalinstname:Fundação Carlos Chagas (FCC)instacron:FCCporhttps://publicacoes.fcc.org.br/eae/article/view/7951/4539https://publicacoes.fcc.org.br/eae/article/view/7951/4575Copyright (c) 2023 Estudos em Avaliação Educacionalhttps://creativecommons.org/licenses/by-nc/4.0info:eu-repo/semantics/openAccessBeltrão, Kaizô IwakamiMandarino, Monica Cerbella Freire2024-01-29T19:40:19Zoai:ojs.publicacoes.fcc.org.br:article/7951Revistahttp://publicacoes.fcc.org.br/ojs/index.php/eae/indexONGhttp://publicacoes.fcc.org.br/ojs/index.php/eae/oaieae@fcc.org.br||ngimenes@fcc.org.br1984-932X0103-6831opendoar:2024-01-29T19:40:19Estudos em Avaliação Educacional - Fundação Carlos Chagas (FCC)false
dc.title.none.fl_str_mv Analysis of the multiple choice items of the Enade 2016 tests
Análisis de los ítems de múltiple selección de las pruebas Enade 2016
Análise dos itens de múltipla escolha das provas do Enade 2016
title Analysis of the multiple choice items of the Enade 2016 tests
spellingShingle Analysis of the multiple choice items of the Enade 2016 tests
Analysis of the multiple choice items of the Enade 2016 tests
Beltrão, Kaizô Iwakami
Educação Superior
Enade
Técnicas de Mensuração
Análise de Item
Educación Superior
Enade
Técnicas de Medición
Análisis del Ítem
Higher Education
Enade
Measurement Techniques
Item Analysis
Beltrão, Kaizô Iwakami
Educação Superior
Enade
Técnicas de Mensuração
Análise de Item
Educación Superior
Enade
Técnicas de Medición
Análisis del Ítem
Higher Education
Enade
Measurement Techniques
Item Analysis
title_short Analysis of the multiple choice items of the Enade 2016 tests
title_full Analysis of the multiple choice items of the Enade 2016 tests
title_fullStr Analysis of the multiple choice items of the Enade 2016 tests
Analysis of the multiple choice items of the Enade 2016 tests
title_full_unstemmed Analysis of the multiple choice items of the Enade 2016 tests
Analysis of the multiple choice items of the Enade 2016 tests
title_sort Analysis of the multiple choice items of the Enade 2016 tests
author Beltrão, Kaizô Iwakami
author_facet Beltrão, Kaizô Iwakami
Beltrão, Kaizô Iwakami
Mandarino, Monica Cerbella Freire
Mandarino, Monica Cerbella Freire
author_role author
author2 Mandarino, Monica Cerbella Freire
author2_role author
dc.contributor.author.fl_str_mv Beltrão, Kaizô Iwakami
Mandarino, Monica Cerbella Freire
dc.subject.por.fl_str_mv Educação Superior
Enade
Técnicas de Mensuração
Análise de Item
Educación Superior
Enade
Técnicas de Medición
Análisis del Ítem
Higher Education
Enade
Measurement Techniques
Item Analysis
topic Educação Superior
Enade
Técnicas de Mensuração
Análise de Item
Educación Superior
Enade
Técnicas de Medición
Análisis del Ítem
Higher Education
Enade
Measurement Techniques
Item Analysis
description The objective was to investigate whether the format of an item, the required cognitive level and the item’s position in the Enade 2016 test affect the results, including the probability of invalidation. The items were classified according to format and cognitive level, based on the literature and Bloom’s Taxonomy. Post-test administration measures were used: difficulty and discrimination indices. Regarding format, it was found that assertion-reason items were more difficult, single answer items had a slightly greater average for discrimination capacity, and one third of the assertion-reason items were invalidated. As for cognitive level, the two indices have lower averages in items of analysis, and the proportion of invalidated items of this level is higher. The hypothesis that the position of an item in the test affects the result was rejected.
publishDate 2023
dc.date.none.fl_str_mv 2023-01-27
dc.type.driver.fl_str_mv info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
format article
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://publicacoes.fcc.org.br/eae/article/view/7951
10.18222/eae.v34.7951
url https://publicacoes.fcc.org.br/eae/article/view/7951
identifier_str_mv 10.18222/eae.v34.7951
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv https://publicacoes.fcc.org.br/eae/article/view/7951/4539
https://publicacoes.fcc.org.br/eae/article/view/7951/4575
dc.rights.driver.fl_str_mv Copyright (c) 2023 Estudos em Avaliação Educacional
https://creativecommons.org/licenses/by-nc/4.0
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Copyright (c) 2023 Estudos em Avaliação Educacional
https://creativecommons.org/licenses/by-nc/4.0
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Fundação Carlos Chagas
publisher.none.fl_str_mv Fundação Carlos Chagas
dc.source.none.fl_str_mv Estudos em Avaliação Educacional; Vol. 34 (2023); e07951
Estudos em Avaliação Educacional; Vol. 34 (2023); e07951
Estudos em Avaliação Educacional; Vol. 34 (2023); e07951
Estudos em Avaliação Educacional; V. 34 (2023); e07951
Estudos em Avaliação Educacional; v. 34 (2023); e07951
1984-932X
0103-6831
reponame:Estudos em Avaliação Educacional
instname:Fundação Carlos Chagas (FCC)
instacron:FCC
instname_str Fundação Carlos Chagas (FCC)
instacron_str FCC
institution FCC
reponame_str Estudos em Avaliação Educacional
collection Estudos em Avaliação Educacional
repository.name.fl_str_mv Estudos em Avaliação Educacional - Fundação Carlos Chagas (FCC)
repository.mail.fl_str_mv eae@fcc.org.br||ngimenes@fcc.org.br
_version_ 1822181342463393792
dc.identifier.doi.none.fl_str_mv 10.18222/eae.v34.7951

Registros relacionados