On the complementarity of classical test theory and item response models: item difficulty estimates and computerized adaptive testing
Autor(a) principal: | |
---|---|
Data de Publicação: | 2015 |
Outros Autores: | |
Tipo de documento: | Artigo |
Idioma: | eng |
Título da fonte: | Ensaio (Rio de Janeiro. Online) |
Texto Completo: | https://revistas.cesgranrio.org.br/index.php/ensaio/article/view/755 |
Resumo: | This study aims to provide statistical evidence of the complementarity between classical test theory and item response models for certain educational assessment purposes. Such complementarity might support, at a reduced cost, future development of innovative procedures for item calibration in adaptive testing. Classical test theory and the generalized partial credit model are applied to tests comprising multiple choice, short answer, completion, and open response items scored partially. Datasets are derived from the tests administered to the Portuguese population of students enrolled in the 4th and 6th grades. The results show a very strong association between the estimates of difficulty obtained from classical test theory and item response models, corroborating the statistical theory of mental testing. |
id |
CESGRANRIO_1b7313676f865cbf3cc84bab9cf02a50 |
---|---|
oai_identifier_str |
oai:ojs.localhost:article/755 |
network_acronym_str |
CESGRANRIO |
network_name_str |
Ensaio (Rio de Janeiro. Online) |
repository_id_str |
|
spelling |
On the complementarity of classical test theory and item response models: item difficulty estimates and computerized adaptive testingEn la complementariedad de la teoria clasica de los tests y los modelos de la teoria de respuesta al item: estimaciones de la dificultad de un item y tests adaptativos computarizadosSobre a complementaridade da teoria classica dos testes e dos modelos de resposta ao Item: estimativas da dificuldade do item e testes adaptativos computarizadosGeneralized partial credit; Item response model; Classical test theory; Educational assessmentCredito parcial generalizado; Modelo de resposta ao item; Teoria classica dos testes; Avaliação educacionalCredito parcial generalizado; Modelos de respuesta al item; Teoria clasica de los tests; Evaluacion educativaThis study aims to provide statistical evidence of the complementarity between classical test theory and item response models for certain educational assessment purposes. Such complementarity might support, at a reduced cost, future development of innovative procedures for item calibration in adaptive testing. Classical test theory and the generalized partial credit model are applied to tests comprising multiple choice, short answer, completion, and open response items scored partially. Datasets are derived from the tests administered to the Portuguese population of students enrolled in the 4th and 6th grades. The results show a very strong association between the estimates of difficulty obtained from classical test theory and item response models, corroborating the statistical theory of mental testing.El presente estudio tiene como finalidad presentar evidencia estadistica de la correlacion entre la Teoria Clasica de los Tests (TCT) y los modelos de la Teoria de Respuesta al Item (TRI) para determinados fines de evaluacion educativa. Dicha correlacion podria contribuir al desarrollo de futuros procedimientos innovadores, a bajo costo, para la calibracion de los items en el contexto de los sistemas de evaluacion adaptables. La Teoria Clasica de los Tests y el Modelo del Credito Parcial Generalizado de Respuesta al Item, se aplican a pruebas que estan formadas por items de opcion múltiple, de respuestas breves, de completar espacios o de respuesta abierta que se califican de manera parcial. Los conjuntos de datos se extrajeron de las pruebas administradas a poblacion portuguesa compuesta por estudiantes procedentes de 4° y 6° grado. Los intervalos de confianza del percentil 95º obtenidos mediante muestras bootstrap ponen de relieve una fuerte relacion entre las estimaciones de la dificultad del item y por ende, corroboran la teoria estadistica de los tests mentales.O presente artigo tem por objetivo fornecer evidencia estatistica sobre a complementaridade entre a teoria classica dos testes e os modelos de resposta ao item para determinados fins de avaliação educacional. Essa complementaridade pode contribuir para o desenvolvimento futuro de processos inovadores de calibração dos items no contexto de testes adaptativos, a custo reduzido. A teoria classica dos testes e o modelo de resposta ao item de credito parcial generalizado sao aplicados a testes compostos por items de múltipla escolha, de resposta curta, de completamento e de resposta aberta, parcialmente classificados. Os conjuntos de dados advem dos testes realizados junto da população portuguesa de estudantes inscritos no 4º e no 6º ano. Os intervalos de confianca de 95% baseados em 1.000 amostras bootstrap revelam uma forte associação entre as estimativas da dificuldade do item, corroborando a teoria estatistica de testes psicologicos.Fundação CesgranrioCosta, PatriciaFerrao, Maria Eugenia2015-07-10info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionhttps://revistas.cesgranrio.org.br/index.php/ensaio/article/view/75510.1590/S0104-40362015000300003Ensaio: Avaliação e Políticas Públicas em Educação; v. 23, n. 88 (2015): Revista Ensaio - Jul./Set.; 593-6101809-44650104-4036reponame:Ensaio (Rio de Janeiro. Online)instname:Fundação Cesgranrioinstacron:CESGRANRIO-2enghttps://revistas.cesgranrio.org.br/index.php/ensaio/article/view/755/334Direitos autorais 2016 Revista Ensaio: Avaliação e Politicas Públicas em Educaçãohttp://creativecommons.org/licenses/by-nc/4.0info:eu-repo/semantics/openAccess2015-09-09T20:59:58Zoai:ojs.localhost:article/755Revistahttps://revistas.cesgranrio.org.br/index.php/ensaioONGhttps://revistas.cesgranrio.org.br/index.php/ensaio/oaiensaio@cesgranrio.org.br||fatimacunha@cesgranrio.org.br||alan@cesgranrio.org.br1809-44650104-4036opendoar:2015-09-09T20:59:58Ensaio (Rio de Janeiro. Online) - Fundação Cesgranriofalse |
dc.title.none.fl_str_mv |
On the complementarity of classical test theory and item response models: item difficulty estimates and computerized adaptive testing En la complementariedad de la teoria clasica de los tests y los modelos de la teoria de respuesta al item: estimaciones de la dificultad de un item y tests adaptativos computarizados Sobre a complementaridade da teoria classica dos testes e dos modelos de resposta ao Item: estimativas da dificuldade do item e testes adaptativos computarizados |
title |
On the complementarity of classical test theory and item response models: item difficulty estimates and computerized adaptive testing |
spellingShingle |
On the complementarity of classical test theory and item response models: item difficulty estimates and computerized adaptive testing Costa, Patricia Generalized partial credit; Item response model; Classical test theory; Educational assessment Credito parcial generalizado; Modelo de resposta ao item; Teoria classica dos testes; Avaliação educacional Credito parcial generalizado; Modelos de respuesta al item; Teoria clasica de los tests; Evaluacion educativa |
title_short |
On the complementarity of classical test theory and item response models: item difficulty estimates and computerized adaptive testing |
title_full |
On the complementarity of classical test theory and item response models: item difficulty estimates and computerized adaptive testing |
title_fullStr |
On the complementarity of classical test theory and item response models: item difficulty estimates and computerized adaptive testing |
title_full_unstemmed |
On the complementarity of classical test theory and item response models: item difficulty estimates and computerized adaptive testing |
title_sort |
On the complementarity of classical test theory and item response models: item difficulty estimates and computerized adaptive testing |
author |
Costa, Patricia |
author_facet |
Costa, Patricia Ferrao, Maria Eugenia |
author_role |
author |
author2 |
Ferrao, Maria Eugenia |
author2_role |
author |
dc.contributor.none.fl_str_mv |
|
dc.contributor.author.fl_str_mv |
Costa, Patricia Ferrao, Maria Eugenia |
dc.subject.none.fl_str_mv |
|
dc.subject.por.fl_str_mv |
Generalized partial credit; Item response model; Classical test theory; Educational assessment Credito parcial generalizado; Modelo de resposta ao item; Teoria classica dos testes; Avaliação educacional Credito parcial generalizado; Modelos de respuesta al item; Teoria clasica de los tests; Evaluacion educativa |
topic |
Generalized partial credit; Item response model; Classical test theory; Educational assessment Credito parcial generalizado; Modelo de resposta ao item; Teoria classica dos testes; Avaliação educacional Credito parcial generalizado; Modelos de respuesta al item; Teoria clasica de los tests; Evaluacion educativa |
description |
This study aims to provide statistical evidence of the complementarity between classical test theory and item response models for certain educational assessment purposes. Such complementarity might support, at a reduced cost, future development of innovative procedures for item calibration in adaptive testing. Classical test theory and the generalized partial credit model are applied to tests comprising multiple choice, short answer, completion, and open response items scored partially. Datasets are derived from the tests administered to the Portuguese population of students enrolled in the 4th and 6th grades. The results show a very strong association between the estimates of difficulty obtained from classical test theory and item response models, corroborating the statistical theory of mental testing. |
publishDate |
2015 |
dc.date.none.fl_str_mv |
2015-07-10 |
dc.type.none.fl_str_mv |
|
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/article info:eu-repo/semantics/publishedVersion |
format |
article |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://revistas.cesgranrio.org.br/index.php/ensaio/article/view/755 10.1590/S0104-40362015000300003 |
url |
https://revistas.cesgranrio.org.br/index.php/ensaio/article/view/755 |
identifier_str_mv |
10.1590/S0104-40362015000300003 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.relation.none.fl_str_mv |
https://revistas.cesgranrio.org.br/index.php/ensaio/article/view/755/334 |
dc.rights.driver.fl_str_mv |
Direitos autorais 2016 Revista Ensaio: Avaliação e Politicas Públicas em Educação http://creativecommons.org/licenses/by-nc/4.0 info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Direitos autorais 2016 Revista Ensaio: Avaliação e Politicas Públicas em Educação http://creativecommons.org/licenses/by-nc/4.0 |
eu_rights_str_mv |
openAccess |
dc.coverage.none.fl_str_mv |
|
dc.publisher.none.fl_str_mv |
Fundação Cesgranrio |
publisher.none.fl_str_mv |
Fundação Cesgranrio |
dc.source.none.fl_str_mv |
Ensaio: Avaliação e Políticas Públicas em Educação; v. 23, n. 88 (2015): Revista Ensaio - Jul./Set.; 593-610 1809-4465 0104-4036 reponame:Ensaio (Rio de Janeiro. Online) instname:Fundação Cesgranrio instacron:CESGRANRIO-2 |
instname_str |
Fundação Cesgranrio |
instacron_str |
CESGRANRIO-2 |
institution |
CESGRANRIO-2 |
reponame_str |
Ensaio (Rio de Janeiro. Online) |
collection |
Ensaio (Rio de Janeiro. Online) |
repository.name.fl_str_mv |
Ensaio (Rio de Janeiro. Online) - Fundação Cesgranrio |
repository.mail.fl_str_mv |
ensaio@cesgranrio.org.br||fatimacunha@cesgranrio.org.br||alan@cesgranrio.org.br |
_version_ |
1754832030550458368 |