Onze anos de teste de progresso na UNICAMP : um estudo sobre a validade do teste = Eleven years of progress testing at UNICAMP: a test validity study

Detalhes bibliográficos
Autor(a) principal: Souza, Ruy Guilherme Silveira de, 1961-
Data de Publicação: 2020
Tipo de documento: Tese
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
Texto Completo: https://hdl.handle.net/20.500.12733/6391
Resumo: Orientador: Angélica Maria Bicudo
id UNICAMP-30_bcdb58fed16ace4c72da8700f0d2e664
oai_identifier_str oai::1254769
network_acronym_str UNICAMP-30
network_name_str Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
repository_id_str
spelling Onze anos de teste de progresso na UNICAMP : um estudo sobre a validade do teste = Eleven years of progress testing at UNICAMP: a test validity studyEleven years of progress testing at UNICAMP : a test validity studyEducação médicaAprendizagem - AvaliaçãoValidade dos testesTeste de progressoMedical educationAssessment of learningValidity of testsProgress testOrientador: Angélica Maria BicudoTese (doutorado) - Universidade Estadual de Campinas, Faculdade de Ciências MédicasResumo: INTRODUÇÃO – O curso de Medicina da Universidade Estadual de Campinas (Unicamp) vem testando o acúmulo cognitivo de seus alunos há mais de uma década e o volume de dados gerados já possibilita fazer uma análise da utilidade do teste como estratégia de apoio a decisões pegagógicas e apontar principais ameaças à validade do exame. OBJETIVOS – Analisar dados de 11 anos de realização do teste de progresso (TP) no curso de Medicina da Unicamp, para determinar a validade do teste. Para essa análise de validade, o trabalho terá como objetivos específicos (1) promover uma análise crítica do processo de validação do teste de progresso da escola de Medicina da Universidade Estadual de Campinas; (2) determinar uma curva de crescimento cognitivo para a referida escola; (3) determinar o grau de fidedignidade da medida da curva de crescimento; (4) identificar as principais ameaças à validade do TP-Unicamp. MÉTODOS – Estudo observacional retrospectivo de uma série histórica de sucessivos testes escritos realizados para analisar o acúmulo cognitivo de estudantes do curso de Medicina da Unicamp, abrangendo o período de 2006 a 2016, totalizando 11 anos e 6 turmas consecutivas de Medicina. Em cada momento de medida (aplicação do teste), o estudo utiliza um modelo misto onde a exposição (realização do teste) e o desfecho (escore do teste) são avaliados no mesmo ponto de tempo, caracterizando um estudo transversal (cross-sectional) cujos resultados sucessivos irão originar as curvas de crescimento cognitivo. Nessa técnica de modelo misto, cada unidade amostral pode ser expressa como um vetor de proficiência média em Medicina (variável resposta) em cada edição das seis provas realizadas (variáveis explicativas). RESULTADOS – A série histórica estudada permitiu a análise de 11 versões do TP entre os anos de 2006 e 2016, período no qual 6 turmas integralizaram sua formação médica (turmas formadas entre o período de 2011 até 2016), representando 574 alunos que tiveram pelo menos 5 momentos de testagem. Baseados no modelo longitudinal linear misto observou-se um acúmulo cognitivo em torno de 6 pontos percentuais a cada nova testagem. Os estudantes ao completarem o 6° ano obtiveram um acerto de cerca de 65,7% (± 9,1). A cada testagem foi determinado um "efeito piso" para identificar alunos com rendimento abaixo da média, que em geral situou-se em cerca de 1,5 DP abaixo da média da respectiva turma. CONCLUSÕES – O TP-Unicamp oferece dados confiáveis para apoiar importantes decisões pedagógicas, tais como a identificação de alunos em risco acadêmico por baixa performance, critérios para progressão e desempenho cognitivo ao final do curso. As principais ameaças à validade do TP Unicamp são (1) falta de utilidade dos testes na tomada de decisões que tenham consequências mais significativas na vida do acadêmico de Medicina e (2) consistência dos resultados, já que os escores só passaram a ter valores confiáveis a partir da quarta testagem. Como confiabilidade sofre influência da amostragem, o aumento do número de itens de cada teste e o aumento da frequência de testagem podem ser estratégias a serem tomadas para superar essas limitaçõesAbstract: INTRODUCTION-The medical school of the State University of Campinas (Unicamp) has been testing the cognitive accumulation of its students for over a decade and the volume of generated data already makes it possible to promote an analysis of the test utility as a strategy to support pegagogical decisions and determine the main threats to validity. OBJECTIVES- Analyze data from eleven years of progress testing in the medical school of Unicamp to determine the validity of the test. For this analysis of validity, the work will also have as specific objectives: (1) promote a critical analysis of the validation process of the progress test(PT) of the School of Medicine of Unicamp; (2) determine a cognitive growth curve for that school; (3) determine the degree of reliability of the measurement of the growth curve; (4) identify the main threats to the validity of PT-Unicamp. METHODS- Retrospective observational study of a historical series of successive written tests carried out to analyze the cognitive accumulation of medical students at Unicamp, covering the period from 2006 to 2016, totaling a total of eleven years and six consecutive medical classes. At each measurement moment (test application), the study uses a mixed model where the exposure (test performance) and the outcome (test score) are evaluated at the same time point, featuring a cross-sectional study, whose successive results will give rise to the cognitive growth curves. In this mixed model technique, each sample unit can be expressed as a vector of average proficiency in medicine (response variable) in each edition of the six tests performed (explanatory variables). RESULTS- The historical series allowed the analysis of eleven versions of the PT between the years 2006 and 2016, a period in which six classes completed their medical training (class graduated between 2011 and 2016), representing 574 students who had at least five testing moments. Based on the mixed linear longitudinal model, a cognitive accumulation of around 6 percentage points was observed with each new test. When students completed the 6th year, they obtained a score of about 65.7% (± 9.1). At each test, a "floor effect" was determined to identify students with below average performance, which in general was around 1.5 SD below the average of the respective class. CONCLUSIONS- The PT-Unicamp offers reliable data to support important pedagogical decisions such as the identification of students at academic risk due to low performance, criteria for progression and cognitive performance at the end of the course. The main threats to the validity of the TP Unicamp are (1) the test's lack of utility in making decisions that have more significant consequences on the medical student's life and (2) consistency of the results, since the scores only started to have reliable values from the fourth test. As reliability is influenced by sampling, increasing the number of items for each test and increasing the frequency of testing can be strategies to be taken to overcome these limitationsDoutoradoEnsino em SaúdeDoutor em Ciências[s.n.]Bicudo, Angélica Maria, 1955-Alves, RosanaAbbade, Joelcio FranciscoCecilio-Fernandes, DarioAntonio, Maria Ângela de Góes MonteiroUniversidade Estadual de Campinas (UNICAMP). Faculdade de Ciências MédicasPrograma de Pós-Graduação em Clínica MédicaUNIVERSIDADE ESTADUAL DE CAMPINASSouza, Ruy Guilherme Silveira de, 1961-20202020-12-18T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdf1 recurso online (79 p.) : il., digital, arquivo PDF.https://hdl.handle.net/20.500.12733/6391SOUZA, Ruy Guilherme Silveira de. Onze anos de teste de progresso na UNICAMP: um estudo sobre a validade do teste = Eleven years of progress testing at UNICAMP: a test validity study. 2020. 1 recurso online (79 p.) Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Ciências Médicas, Campinas, SP. Disponível em: https://hdl.handle.net/20.500.12733/6391. Acesso em: 3 set. 2024.https://repositorio.unicamp.br/acervo/detalhe/1254769porreponame:Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)instname:Universidade Estadual de Campinas (UNICAMP)instacron:UNICAMPinfo:eu-repo/semantics/openAccess2022-11-11T11:11:50Zoai::1254769Biblioteca Digital de Teses e DissertaçõesPUBhttp://repositorio.unicamp.br/oai/tese/oai.aspsbubd@unicamp.bropendoar:2022-11-11T11:11:50Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP) - Universidade Estadual de Campinas (UNICAMP)false
dc.title.none.fl_str_mv Onze anos de teste de progresso na UNICAMP : um estudo sobre a validade do teste = Eleven years of progress testing at UNICAMP: a test validity study
Eleven years of progress testing at UNICAMP : a test validity study
title Onze anos de teste de progresso na UNICAMP : um estudo sobre a validade do teste = Eleven years of progress testing at UNICAMP: a test validity study
spellingShingle Onze anos de teste de progresso na UNICAMP : um estudo sobre a validade do teste = Eleven years of progress testing at UNICAMP: a test validity study
Souza, Ruy Guilherme Silveira de, 1961-
Educação médica
Aprendizagem - Avaliação
Validade dos testes
Teste de progresso
Medical education
Assessment of learning
Validity of tests
Progress test
title_short Onze anos de teste de progresso na UNICAMP : um estudo sobre a validade do teste = Eleven years of progress testing at UNICAMP: a test validity study
title_full Onze anos de teste de progresso na UNICAMP : um estudo sobre a validade do teste = Eleven years of progress testing at UNICAMP: a test validity study
title_fullStr Onze anos de teste de progresso na UNICAMP : um estudo sobre a validade do teste = Eleven years of progress testing at UNICAMP: a test validity study
title_full_unstemmed Onze anos de teste de progresso na UNICAMP : um estudo sobre a validade do teste = Eleven years of progress testing at UNICAMP: a test validity study
title_sort Onze anos de teste de progresso na UNICAMP : um estudo sobre a validade do teste = Eleven years of progress testing at UNICAMP: a test validity study
author Souza, Ruy Guilherme Silveira de, 1961-
author_facet Souza, Ruy Guilherme Silveira de, 1961-
author_role author
dc.contributor.none.fl_str_mv Bicudo, Angélica Maria, 1955-
Alves, Rosana
Abbade, Joelcio Francisco
Cecilio-Fernandes, Dario
Antonio, Maria Ângela de Góes Monteiro
Universidade Estadual de Campinas (UNICAMP). Faculdade de Ciências Médicas
Programa de Pós-Graduação em Clínica Médica
UNIVERSIDADE ESTADUAL DE CAMPINAS
dc.contributor.author.fl_str_mv Souza, Ruy Guilherme Silveira de, 1961-
dc.subject.por.fl_str_mv Educação médica
Aprendizagem - Avaliação
Validade dos testes
Teste de progresso
Medical education
Assessment of learning
Validity of tests
Progress test
topic Educação médica
Aprendizagem - Avaliação
Validade dos testes
Teste de progresso
Medical education
Assessment of learning
Validity of tests
Progress test
description Orientador: Angélica Maria Bicudo
publishDate 2020
dc.date.none.fl_str_mv 2020
2020-12-18T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/20.500.12733/6391
SOUZA, Ruy Guilherme Silveira de. Onze anos de teste de progresso na UNICAMP: um estudo sobre a validade do teste = Eleven years of progress testing at UNICAMP: a test validity study. 2020. 1 recurso online (79 p.) Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Ciências Médicas, Campinas, SP. Disponível em: https://hdl.handle.net/20.500.12733/6391. Acesso em: 3 set. 2024.
url https://hdl.handle.net/20.500.12733/6391
identifier_str_mv SOUZA, Ruy Guilherme Silveira de. Onze anos de teste de progresso na UNICAMP: um estudo sobre a validade do teste = Eleven years of progress testing at UNICAMP: a test validity study. 2020. 1 recurso online (79 p.) Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Ciências Médicas, Campinas, SP. Disponível em: https://hdl.handle.net/20.500.12733/6391. Acesso em: 3 set. 2024.
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv https://repositorio.unicamp.br/acervo/detalhe/1254769
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
1 recurso online (79 p.) : il., digital, arquivo PDF.
dc.publisher.none.fl_str_mv [s.n.]
publisher.none.fl_str_mv [s.n.]
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
instname:Universidade Estadual de Campinas (UNICAMP)
instacron:UNICAMP
instname_str Universidade Estadual de Campinas (UNICAMP)
instacron_str UNICAMP
institution UNICAMP
reponame_str Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
collection Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP) - Universidade Estadual de Campinas (UNICAMP)
repository.mail.fl_str_mv sbubd@unicamp.br
_version_ 1809189185318289408

Registros relacionados