On the complementarity of classical test theory and item response models: item difficulty estimates and computerized adaptive testing

Detalhes bibliográficos
Autor(a) principal: Costa, Patricia
Data de Publicação: 2015
Outros Autores: Ferrao, Maria Eugenia
Tipo de documento: Artigo
Idioma: eng
Título da fonte: Ensaio (Rio de Janeiro. Online)
Texto Completo: https://revistas.cesgranrio.org.br/index.php/ensaio/article/view/755
Resumo: This study aims to provide statistical evidence of the complementarity between classical test theory and item response models for certain educational assessment purposes. Such complementarity might support, at a reduced cost, future development of innovative procedures for item calibration in adaptive testing. Classical test theory and the generalized partial credit model are applied to tests comprising multiple choice, short answer, completion, and open response items scored partially. Datasets are derived from the tests administered to the Portuguese population of students enrolled in the 4th and 6th grades. The results show a very strong association between the estimates of difficulty obtained from classical test theory and item response models, corroborating the statistical theory of mental testing.
id CESGRANRIO_1b7313676f865cbf3cc84bab9cf02a50
oai_identifier_str oai:ojs.localhost:article/755
network_acronym_str CESGRANRIO
network_name_str Ensaio (Rio de Janeiro. Online)
repository_id_str
spelling On the complementarity of classical test theory and item response models: item difficulty estimates and computerized adaptive testingEn la complementariedad de la teoria clasica de los tests y los modelos de la teoria de respuesta al item: estimaciones de la dificultad de un item y tests adaptativos computarizadosSobre a complementaridade da teoria classica dos testes e dos modelos de resposta ao Item: estimativas da dificuldade do item e testes adaptativos computarizadosGeneralized partial credit; Item response model; Classical test theory; Educational assessmentCredito parcial generalizado; Modelo de resposta ao item; Teoria classica dos testes; Avaliação educacionalCredito parcial generalizado; Modelos de respuesta al item; Teoria clasica de los tests; Evaluacion educativaThis study aims to provide statistical evidence of the complementarity between classical test theory and item response models for certain educational assessment purposes. Such complementarity might support, at a reduced cost, future development of innovative procedures for item calibration in adaptive testing. Classical test theory and the generalized partial credit model are applied to tests comprising multiple choice, short answer, completion, and open response items scored partially. Datasets are derived from the tests administered to the Portuguese population of students enrolled in the 4th and 6th grades. The results show a very strong association between the estimates of difficulty obtained from classical test theory and item response models, corroborating the statistical theory of mental testing.El presente estudio tiene como finalidad presentar evidencia estadistica de la correlacion entre la Teoria Clasica de los Tests (TCT) y los modelos de la Teoria de Respuesta al Item (TRI) para determinados fines de evaluacion educativa. Dicha correlacion podria contribuir al desarrollo de futuros procedimientos innovadores, a bajo costo, para la calibracion de los items en el contexto de los sistemas de evaluacion adaptables. La Teoria Clasica de los Tests y el Modelo del Credito Parcial Generalizado de Respuesta al Item, se aplican a pruebas que estan formadas por items de opcion múltiple, de respuestas breves, de completar espacios o de respuesta abierta que se califican de manera parcial. Los conjuntos de datos se extrajeron de las pruebas administradas a poblacion portuguesa compuesta por estudiantes procedentes de 4° y 6° grado. Los intervalos de confianza del percentil 95º obtenidos mediante muestras bootstrap ponen de relieve una fuerte relacion entre las estimaciones de la dificultad del item y por ende, corroboran la teoria estadistica de los tests mentales.O presente artigo tem por objetivo fornecer evidencia estatistica sobre a complementaridade entre a teoria classica dos testes e os modelos de resposta ao item para determinados fins de avaliação educacional. Essa complementaridade pode contribuir para o desenvolvimento futuro de processos inovadores de calibração dos items no contexto de testes adaptativos, a custo reduzido. A teoria classica dos testes e o modelo de resposta ao item de credito parcial generalizado sao aplicados a testes compostos por items de múltipla escolha, de resposta curta, de completamento e de resposta aberta, parcialmente classificados. Os conjuntos de dados advem dos testes realizados junto da população portuguesa de estudantes inscritos no 4º e no 6º ano. Os intervalos de confianca de 95% baseados em 1.000 amostras bootstrap revelam uma forte associação entre as estimativas da dificuldade do item, corroborando a teoria estatistica de testes psicologicos.Fundação CesgranrioCosta, PatriciaFerrao, Maria Eugenia2015-07-10info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionhttps://revistas.cesgranrio.org.br/index.php/ensaio/article/view/75510.1590/S0104-40362015000300003Ensaio: Avaliação e Políticas Públicas em Educação; v. 23, n. 88 (2015): Revista Ensaio - Jul./Set.; 593-6101809-44650104-4036reponame:Ensaio (Rio de Janeiro. Online)instname:Fundação Cesgranrioinstacron:CESGRANRIO-2enghttps://revistas.cesgranrio.org.br/index.php/ensaio/article/view/755/334Direitos autorais 2016 Revista Ensaio: Avaliação e Politicas Públicas em Educaçãohttp://creativecommons.org/licenses/by-nc/4.0info:eu-repo/semantics/openAccess2015-09-09T20:59:58Zoai:ojs.localhost:article/755Revistahttps://revistas.cesgranrio.org.br/index.php/ensaioONGhttps://revistas.cesgranrio.org.br/index.php/ensaio/oaiensaio@cesgranrio.org.br||fatimacunha@cesgranrio.org.br||alan@cesgranrio.org.br1809-44650104-4036opendoar:2015-09-09T20:59:58Ensaio (Rio de Janeiro. Online) - Fundação Cesgranriofalse
dc.title.none.fl_str_mv On the complementarity of classical test theory and item response models: item difficulty estimates and computerized adaptive testing
En la complementariedad de la teoria clasica de los tests y los modelos de la teoria de respuesta al item: estimaciones de la dificultad de un item y tests adaptativos computarizados
Sobre a complementaridade da teoria classica dos testes e dos modelos de resposta ao Item: estimativas da dificuldade do item e testes adaptativos computarizados
title On the complementarity of classical test theory and item response models: item difficulty estimates and computerized adaptive testing
spellingShingle On the complementarity of classical test theory and item response models: item difficulty estimates and computerized adaptive testing
Costa, Patricia
Generalized partial credit; Item response model; Classical test theory; Educational assessment
Credito parcial generalizado; Modelo de resposta ao item; Teoria classica dos testes; Avaliação educacional
Credito parcial generalizado; Modelos de respuesta al item; Teoria clasica de los tests; Evaluacion educativa
title_short On the complementarity of classical test theory and item response models: item difficulty estimates and computerized adaptive testing
title_full On the complementarity of classical test theory and item response models: item difficulty estimates and computerized adaptive testing
title_fullStr On the complementarity of classical test theory and item response models: item difficulty estimates and computerized adaptive testing
title_full_unstemmed On the complementarity of classical test theory and item response models: item difficulty estimates and computerized adaptive testing
title_sort On the complementarity of classical test theory and item response models: item difficulty estimates and computerized adaptive testing
author Costa, Patricia
author_facet Costa, Patricia
Ferrao, Maria Eugenia
author_role author
author2 Ferrao, Maria Eugenia
author2_role author
dc.contributor.none.fl_str_mv


dc.contributor.author.fl_str_mv Costa, Patricia
Ferrao, Maria Eugenia
dc.subject.none.fl_str_mv

dc.subject.por.fl_str_mv Generalized partial credit; Item response model; Classical test theory; Educational assessment
Credito parcial generalizado; Modelo de resposta ao item; Teoria classica dos testes; Avaliação educacional
Credito parcial generalizado; Modelos de respuesta al item; Teoria clasica de los tests; Evaluacion educativa
topic Generalized partial credit; Item response model; Classical test theory; Educational assessment
Credito parcial generalizado; Modelo de resposta ao item; Teoria classica dos testes; Avaliação educacional
Credito parcial generalizado; Modelos de respuesta al item; Teoria clasica de los tests; Evaluacion educativa
description This study aims to provide statistical evidence of the complementarity between classical test theory and item response models for certain educational assessment purposes. Such complementarity might support, at a reduced cost, future development of innovative procedures for item calibration in adaptive testing. Classical test theory and the generalized partial credit model are applied to tests comprising multiple choice, short answer, completion, and open response items scored partially. Datasets are derived from the tests administered to the Portuguese population of students enrolled in the 4th and 6th grades. The results show a very strong association between the estimates of difficulty obtained from classical test theory and item response models, corroborating the statistical theory of mental testing.
publishDate 2015
dc.date.none.fl_str_mv 2015-07-10
dc.type.none.fl_str_mv
dc.type.driver.fl_str_mv info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
format article
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://revistas.cesgranrio.org.br/index.php/ensaio/article/view/755
10.1590/S0104-40362015000300003
url https://revistas.cesgranrio.org.br/index.php/ensaio/article/view/755
identifier_str_mv 10.1590/S0104-40362015000300003
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv https://revistas.cesgranrio.org.br/index.php/ensaio/article/view/755/334
dc.rights.driver.fl_str_mv Direitos autorais 2016 Revista Ensaio: Avaliação e Politicas Públicas em Educação
http://creativecommons.org/licenses/by-nc/4.0
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Direitos autorais 2016 Revista Ensaio: Avaliação e Politicas Públicas em Educação
http://creativecommons.org/licenses/by-nc/4.0
eu_rights_str_mv openAccess
dc.coverage.none.fl_str_mv








dc.publisher.none.fl_str_mv Fundação Cesgranrio
publisher.none.fl_str_mv Fundação Cesgranrio
dc.source.none.fl_str_mv Ensaio: Avaliação e Políticas Públicas em Educação; v. 23, n. 88 (2015): Revista Ensaio - Jul./Set.; 593-610
1809-4465
0104-4036
reponame:Ensaio (Rio de Janeiro. Online)
instname:Fundação Cesgranrio
instacron:CESGRANRIO-2
instname_str Fundação Cesgranrio
instacron_str CESGRANRIO-2
institution CESGRANRIO-2
reponame_str Ensaio (Rio de Janeiro. Online)
collection Ensaio (Rio de Janeiro. Online)
repository.name.fl_str_mv Ensaio (Rio de Janeiro. Online) - Fundação Cesgranrio
repository.mail.fl_str_mv ensaio@cesgranrio.org.br||fatimacunha@cesgranrio.org.br||alan@cesgranrio.org.br
_version_ 1754832030550458368

Registros relacionados