Quality of multiple-choice items used in a Progress Test

Detalhes bibliográficos
Autor(a) principal: Tombi, Elen Cristina Nascimento de Araujo
Data de Publicação: 2022
Outros Autores: Zukowsky-Tavares, Cristina, Ferreira-Gerab, Iraní
Tipo de documento: Artigo
Idioma: por
Título da fonte: Estudos em Avaliação Educacional
Texto Completo: https://publicacoes.fcc.org.br/eae/article/view/7533
Resumo: This article aims to analyze and discuss the quality of multiple-choice items prepared for a Progress Test, through the quali-quantitative analysis of 100 items. The results show a predominance of the dimension of conceptual knowledge and the cognitive domain synthesized by the verb “understand”, analyzed by the Revised Bloom Taxonomy, and 44% of the items are in accordance with the technical guidelines for the elaboration of multiple-choice items. According to Classical Test Theory, KR20 was 0.835, difficulty (P) 0.496, and discrimination index 0.240. The test presented a good reliability index, with suitable item difficulty. Special attention should be given to the discrimination index and the writing of the questions in order to improve these parameters for the items in general.
id FCC-2_5b027bbffd6d31ec6dcaeb040c9bb7df
oai_identifier_str oai:ojs.publicacoes.fcc.org.br:article/7533
network_acronym_str FCC-2
network_name_str Estudos em Avaliação Educacional
repository_id_str
spelling Quality of multiple-choice items used in a Progress Test Calidad de los ítems de elección múltiple utilizados en una Prueba de ProgresoQualidade dos itens de múltipla escolha utilizados em um Teste de ProgressoHigher Education Learning Assessment Multiple Choice TestEnsino Superior Avaliação da Aprendizagem TestesEducación Superior Evaluación del Aprendizaje Test de Elección MúltipleThis article aims to analyze and discuss the quality of multiple-choice items prepared for a Progress Test, through the quali-quantitative analysis of 100 items. The results show a predominance of the dimension of conceptual knowledge and the cognitive domain synthesized by the verb “understand”, analyzed by the Revised Bloom Taxonomy, and 44% of the items are in accordance with the technical guidelines for the elaboration of multiple-choice items. According to Classical Test Theory, KR20 was 0.835, difficulty (P) 0.496, and discrimination index 0.240. The test presented a good reliability index, with suitable item difficulty. Special attention should be given to the discrimination index and the writing of the questions in order to improve these parameters for the items in general.Este artículo tiene el propósito de analizar y discutir la calidad de los ítems de elección múltiple elaborados para una Prueba de Progreso, por medio del análisis cuali- -cuantitativo de 100 rubros. En los resultados predomina la dimensión del conocimiento conceptual y el dominio cognitivo sintetizado en el verbo “entender”, analizado por la Taxonomía de Bloom Revisada, y el 44% de los ítems está de acuerdo con las directrices técnicas para elaborar rubros de elección múltiple. Por medio del análisis de la Teoría Clásica de las Pruebas, KR20 fue de 0,835, dificultad (P) 0,496 e índice de discriminaçión 0,240. El test presentó un buen índice de confiabilidad, con dificultad adecuada de los ítems. Hay que llamar la atención al índice de discriminación y a la formulación del enunciado con el objetivo de mejorar dichos parámetros para los ítems en general.Este artigo objetiva analisar e discutir a qualidade dos itens de múltipla escolha (IME) elaborados para um Teste de Progresso, por meio da análise quali-quantitativa de 100 itens. Nos resultados há predomínio da dimensão do conhecimento conceitual e o domínio cognitivo sintetizado pelo verbo “entender”, analisado pela Taxonomia de Bloom Revisada, e 44% dos itens estão em acordo com as diretrizes técnicas para elaboração de IME. Pela análise da Teoria Clássica dos Testes, KR20 foi 0,835, dificuldade (P) 0,496 e índice de discriminação 0,240. O teste apresentou bom índice de confiabilidade, com dificuldade dos itens adequada. Deve ser chamada a atenção ao índice de discriminação e à formulação do enunciado no intuito de melhorar esses parâmetros para os itens de forma geral.Fundação Carlos Chagas2022-02-10info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionapplication/pdfhttps://publicacoes.fcc.org.br/eae/article/view/753310.18222/eae.v33.7533Estudos em Avaliação Educacional; Vol. 33 (2022); e07533Estudos em Avaliação Educacional; Vol. 33 (2022); e07533Estudos em Avaliação Educacional; Vol. 33 (2022); e07533Estudos em Avaliação Educacional; V. 33 (2022); e07533Estudos em Avaliação Educacional; v. 33 (2022); e075331984-932X0103-6831reponame:Estudos em Avaliação Educacionalinstname:Fundação Carlos Chagas (FCC)instacron:FCCporhttps://publicacoes.fcc.org.br/eae/article/view/7533/4350Copyright (c) 2022 Estudos em Avaliação Educacionalhttps://creativecommons.org/licenses/by-nc/4.0info:eu-repo/semantics/openAccessTombi, Elen Cristina Nascimento de AraujoZukowsky-Tavares, CristinaFerreira-Gerab, Iraní2022-12-22T15:50:05Zoai:ojs.publicacoes.fcc.org.br:article/7533Revistahttp://publicacoes.fcc.org.br/ojs/index.php/eae/indexONGhttp://publicacoes.fcc.org.br/ojs/index.php/eae/oaieae@fcc.org.br||ngimenes@fcc.org.br1984-932X0103-6831opendoar:2022-12-22T15:50:05Estudos em Avaliação Educacional - Fundação Carlos Chagas (FCC)false
dc.title.none.fl_str_mv Quality of multiple-choice items used in a Progress Test
Calidad de los ítems de elección múltiple utilizados en una Prueba de Progreso
Qualidade dos itens de múltipla escolha utilizados em um Teste de Progresso
title Quality of multiple-choice items used in a Progress Test
spellingShingle Quality of multiple-choice items used in a Progress Test
Tombi, Elen Cristina Nascimento de Araujo
Higher Education
Learning Assessment
Multiple Choice Test
Ensino Superior
Avaliação da Aprendizagem
Testes
Educación Superior
Evaluación del Aprendizaje
Test de Elección Múltiple
title_short Quality of multiple-choice items used in a Progress Test
title_full Quality of multiple-choice items used in a Progress Test
title_fullStr Quality of multiple-choice items used in a Progress Test
title_full_unstemmed Quality of multiple-choice items used in a Progress Test
title_sort Quality of multiple-choice items used in a Progress Test
author Tombi, Elen Cristina Nascimento de Araujo
author_facet Tombi, Elen Cristina Nascimento de Araujo
Zukowsky-Tavares, Cristina
Ferreira-Gerab, Iraní
author_role author
author2 Zukowsky-Tavares, Cristina
Ferreira-Gerab, Iraní
author2_role author
author
dc.contributor.author.fl_str_mv Tombi, Elen Cristina Nascimento de Araujo
Zukowsky-Tavares, Cristina
Ferreira-Gerab, Iraní
dc.subject.por.fl_str_mv Higher Education
Learning Assessment
Multiple Choice Test
Ensino Superior
Avaliação da Aprendizagem
Testes
Educación Superior
Evaluación del Aprendizaje
Test de Elección Múltiple
topic Higher Education
Learning Assessment
Multiple Choice Test
Ensino Superior
Avaliação da Aprendizagem
Testes
Educación Superior
Evaluación del Aprendizaje
Test de Elección Múltiple
description This article aims to analyze and discuss the quality of multiple-choice items prepared for a Progress Test, through the quali-quantitative analysis of 100 items. The results show a predominance of the dimension of conceptual knowledge and the cognitive domain synthesized by the verb “understand”, analyzed by the Revised Bloom Taxonomy, and 44% of the items are in accordance with the technical guidelines for the elaboration of multiple-choice items. According to Classical Test Theory, KR20 was 0.835, difficulty (P) 0.496, and discrimination index 0.240. The test presented a good reliability index, with suitable item difficulty. Special attention should be given to the discrimination index and the writing of the questions in order to improve these parameters for the items in general.
publishDate 2022
dc.date.none.fl_str_mv 2022-02-10
dc.type.driver.fl_str_mv info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
format article
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://publicacoes.fcc.org.br/eae/article/view/7533
10.18222/eae.v33.7533
url https://publicacoes.fcc.org.br/eae/article/view/7533
identifier_str_mv 10.18222/eae.v33.7533
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv https://publicacoes.fcc.org.br/eae/article/view/7533/4350
dc.rights.driver.fl_str_mv Copyright (c) 2022 Estudos em Avaliação Educacional
https://creativecommons.org/licenses/by-nc/4.0
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Copyright (c) 2022 Estudos em Avaliação Educacional
https://creativecommons.org/licenses/by-nc/4.0
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Fundação Carlos Chagas
publisher.none.fl_str_mv Fundação Carlos Chagas
dc.source.none.fl_str_mv Estudos em Avaliação Educacional; Vol. 33 (2022); e07533
Estudos em Avaliação Educacional; Vol. 33 (2022); e07533
Estudos em Avaliação Educacional; Vol. 33 (2022); e07533
Estudos em Avaliação Educacional; V. 33 (2022); e07533
Estudos em Avaliação Educacional; v. 33 (2022); e07533
1984-932X
0103-6831
reponame:Estudos em Avaliação Educacional
instname:Fundação Carlos Chagas (FCC)
instacron:FCC
instname_str Fundação Carlos Chagas (FCC)
instacron_str FCC
institution FCC
reponame_str Estudos em Avaliação Educacional
collection Estudos em Avaliação Educacional
repository.name.fl_str_mv Estudos em Avaliação Educacional - Fundação Carlos Chagas (FCC)
repository.mail.fl_str_mv eae@fcc.org.br||ngimenes@fcc.org.br
_version_ 1795332423158857728

Registros relacionados