Manutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impacto

Detalhes bibliográficos
Autor(a) principal: Spenassato, Débora
Data de Publicação: 2017
Tipo de documento: Tese
Idioma: por
Título da fonte: Repositório Institucional da UFSC
Texto Completo: https://repositorio.ufsc.br/xmlui/handle/123456789/179789
Resumo: Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Engenharia de Produção, Florianópolis, 2017
id UFSC_5b805b99c978a375651ff73a29951eb7
oai_identifier_str oai:repositorio.ufsc.br:123456789/179789
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str 2373
spelling Manutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impactoEngenharia de produçãoTestes adaptativos informatizadosTeoria da Resposta do ÍtemTese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Engenharia de Produção, Florianópolis, 2017Teste adaptativo computadorizado (CAT) é um método de aplicação de testes capaz de produzir um teste personalizado para cada indivíduo. O sucesso de um CAT depende, entre outros fatores, de um banco de itens (BI) calibrado pela teoria da resposta ao item (TRI) e com boas qualidades psicométricas. Esse BI necessita de manutenção periódica para não comprometer os resultados da avaliação, principalmente em testes de alto impacto, ou seja, quando seus resultados são usados para tomar decisões importantes que afetam estudantes, professores ou instituições. O objetivo deste trabalho foi desenvolver uma sistemática para a manutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impacto. Duas fases foram definidas. A Fase 1 visa acrescentar novos itens no BI (calibração de novos itens), enquanto a Fase 2 visa o monitoramento para identificar itens comprometidos e que precisam ser eliminados do BI (Etapa 1 - monitoramento da exposição dos itens e Etapa 2 - verificação de drift dos parâmetros dos itens). Diretrizes são fornecidas para orientar os desenvolvedores de testes e profissionais responsáveis pela manutenção de CATs, sobre como proceder em cada fase de análise. Diferentes simulações são apresentadas para definição do design do CAT operacional para avaliar profissionais de um curso de capacitação na área da saúde, bem como os resultados da aplicação do CAT em duas edições de testes e implementação de parte da sistemática de manutenção do BI. Por fim, sugere-se a execução das duas fases da sistemática a cada edição de testes.Abstract: Computerized adaptive testing (CAT) is a form of computer-administered test that adapts to the examinee's latent trait level. Adapting the difficulty of items means that an examinee with high latent trait will receive difficult items, while an examinee with low latent trait will receive easy items. The success of a CAT depends, among other factors, on an item bank (BI) with both good psychometric qualities and calibration based on the item response theory (IRT). In order to keep effectiveness, this item bank needs to be periodically up-to-dated so the evaluation results will not be compromised. The item bank maintenance is especially important for high-stakes tests, ie when their results are used to make important decisions that affect students, teachers or institutions. The objective of this work was to develop a systematized approach for the item bank maintenance for computerized adaptive testing applied in high-stakes tests. Two phases have been defined. Phase 1 aims to increase BI (calibration of new items), while Phase 2 aims to identify potentially compromised items that need to be eliminated of the BI (Step 1 - monitoring the items exposure and Step 2 - detection of item parameter drift). Guidelines are provided to guide test developers and professionals responsible for maintaining a CAT, on how to proceed in each phase of the analysis. Different simulations are presented to define the CAT design for the evaluation of health professionals at the end a training course. We also present both the results of the CAT application in two rounds of tests and the implementation of part of the approach for the item bank maintenance. Finally, we suggest the execution of the two phases to each round of tests.Bornia, Antonio CezarUniversidade Federal de Santa CatarinaSpenassato, Débora2017-09-26T04:18:49Z2017-09-26T04:18:49Z2017info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesis252 p.| ils., grafs., tabs.application/pdf348177https://repositorio.ufsc.br/xmlui/handle/123456789/179789porreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSCinfo:eu-repo/semantics/openAccess2017-09-26T04:18:49Zoai:repositorio.ufsc.br:123456789/179789Repositório InstitucionalPUBhttp://150.162.242.35/oai/requestopendoar:23732017-09-26T04:18:49Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv Manutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impacto
title Manutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impacto
spellingShingle Manutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impacto
Spenassato, Débora
Engenharia de produção
Testes adaptativos informatizados
Teoria da Resposta do Ítem
title_short Manutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impacto
title_full Manutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impacto
title_fullStr Manutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impacto
title_full_unstemmed Manutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impacto
title_sort Manutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impacto
author Spenassato, Débora
author_facet Spenassato, Débora
author_role author
dc.contributor.none.fl_str_mv Bornia, Antonio Cezar
Universidade Federal de Santa Catarina
dc.contributor.author.fl_str_mv Spenassato, Débora
dc.subject.por.fl_str_mv Engenharia de produção
Testes adaptativos informatizados
Teoria da Resposta do Ítem
topic Engenharia de produção
Testes adaptativos informatizados
Teoria da Resposta do Ítem
description Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Engenharia de Produção, Florianópolis, 2017
publishDate 2017
dc.date.none.fl_str_mv 2017-09-26T04:18:49Z
2017-09-26T04:18:49Z
2017
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv 348177
https://repositorio.ufsc.br/xmlui/handle/123456789/179789
identifier_str_mv 348177
url https://repositorio.ufsc.br/xmlui/handle/123456789/179789
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 252 p.| ils., grafs., tabs.
application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv
_version_ 1808652149115060224

Registros relacionados