Longitudinal assessment of medical students: Is progress test appropriate?

Detalhes bibliográficos
Autor(a) principal: Pinheiro, Carlos Eduardo Andrade
Data de Publicação: 2023
Outros Autores: Souza, Diogo Onofre de
Tipo de documento: Artigo
Idioma: por
eng
Título da fonte: Estudos em Avaliação Educacional
Texto Completo: https://publicacoes.fcc.org.br/eae/article/view/9220
Resumo: The purpose of this article is to assess whether the Progress Test is appropriate to evaluate programs and students during different stages of medical studies. The characteristics of the items and reliability of three previously applied progress tests were analyzed. For second-year students, 76.4% of the questions demonstrated poor quality (biserial < 0.2). This percentage decreased to 47.7% in the forth year and to 25.3% in the sixth year. The test’s reliability, measured by Cronbach’s alpha, was only 0.6 for second-year students and increased to 0.76 in the fourth year and to 0.87 for sixth-year students. The current form of the Progress Test showed low and unacceptable reliability for second-year students, reasonable for the fouth year, and excellent for the sixth year. An improvement of this longitudinal assessment is proposed.
id FCC-2_5706092ffa0705f75ad6a91760aa1ccf
oai_identifier_str oai:ojs.publicacoes.fcc.org.br:article/9220
network_acronym_str FCC-2
network_name_str Estudos em Avaliação Educacional
repository_id_str
spelling Longitudinal assessment of medical students: Is progress test appropriate?Evaluación longitudinal de estudiantes de medicina: ¿La prueba de progreso es apropiada?Avaliação longitudinal de estudantes de medicina: O teste de progresso é apropriado?Avaliação da EducaçãoEducação MédicaAvaliação ExternaEducation EvaluationMedical Educational MeasurementExternal EvaluationEvaluación de la EducaciónEducación MédicaEvaluación ExternaThe purpose of this article is to assess whether the Progress Test is appropriate to evaluate programs and students during different stages of medical studies. The characteristics of the items and reliability of three previously applied progress tests were analyzed. For second-year students, 76.4% of the questions demonstrated poor quality (biserial < 0.2). This percentage decreased to 47.7% in the forth year and to 25.3% in the sixth year. The test’s reliability, measured by Cronbach’s alpha, was only 0.6 for second-year students and increased to 0.76 in the fourth year and to 0.87 for sixth-year students. The current form of the Progress Test showed low and unacceptable reliability for second-year students, reasonable for the fouth year, and excellent for the sixth year. An improvement of this longitudinal assessment is proposed.El artículo tiene el propósito de verificar si la Prueba de Progreso es apropiada para evaluar cursos y estudiantes en distintas fases del curso de medicina. Se analizan las características de las preguntas y la confiabilidad de tres pruebas de progreso ya aplicadas. Se constató que, para los estudiantes de 2º año, el 76,4% de las preguntas se mostraron de baja calidad (biserial < 0,2), reduciéndose a 47,7% en 4º año y a un 25,3% en 6º año. La confiabilidad de las pruebas, por alfa de Cronbach, fue de tan solo 0,60 para los alumnos de 2º año, y aumentó a 0,76 para los de 4º año y a 0,87 para los estudiantes de 6º año. La forma actual de la Prueba de Progreso mostró confiabilidad baja e inaceptable para los alumnos de 2º año, razonable para los de 4º y excelente para los de 6º. Se propone que se perfeccione dicha forma de evaluación longitudinal.O artigo objetiva aferir se o Teste de Progresso é apropriado para avaliar cursos e estudantes em diferentes fases da graduação de medicina. Analisam-se as características das questões e a confiabilidade de três testes de progresso já aplicados. Constatou-se que, para os estudantes do 2º ano, 76,4% das questões se mostraram de qualidade pobre (bisserial < 0,2); diminuindo para 47,7% no 4º ano e para 25,3% no 6º ano. A confiabilidade dos testes, pelo alfa de Cronbach, foi de somente 0,60 para os alunos do 2º ano, aumentando para 0,76 para os do 4º ano e 0,87 para os alunos do 6º ano. A forma atual do Teste de Progresso mostrou confiabilidade baixa e inaceitável para os estudantes do 2º ano, razoável para os do 4º e ótima para os estudantes do 6º ano. Um aperfeiçoamento dessa forma de avaliação longitudinal é proposto.Fundação Carlos Chagas2023-09-12info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionapplication/pdfapplication/pdfhttps://publicacoes.fcc.org.br/eae/article/view/922010.18222/eae.v34.9220Estudos em Avaliação Educacional; Vol. 34 (2023); e09220Estudos em Avaliação Educacional; Vol. 34 (2023); e09220Estudos em Avaliação Educacional; Vol. 34 (2023); e09220Estudos em Avaliação Educacional; V. 34 (2023); e09220Estudos em Avaliação Educacional; v. 34 (2023); e092201984-932X0103-6831reponame:Estudos em Avaliação Educacionalinstname:Fundação Carlos Chagas (FCC)instacron:FCCporenghttps://publicacoes.fcc.org.br/eae/article/view/9220/4663https://publicacoes.fcc.org.br/eae/article/view/9220/4664https://publicacoes.fcc.org.br/eae/article/view/9220/4862https://publicacoes.fcc.org.br/eae/article/view/9220/4863Copyright (c) 2023 Estudos em Avaliação Educacionalhttps://creativecommons.org/licenses/by-nc/4.0info:eu-repo/semantics/openAccessPinheiro, Carlos Eduardo AndradeSouza, Diogo Onofre de2024-01-29T19:45:28Zoai:ojs.publicacoes.fcc.org.br:article/9220Revistahttp://publicacoes.fcc.org.br/ojs/index.php/eae/indexONGhttp://publicacoes.fcc.org.br/ojs/index.php/eae/oaieae@fcc.org.br||ngimenes@fcc.org.br1984-932X0103-6831opendoar:2024-01-29T19:45:28Estudos em Avaliação Educacional - Fundação Carlos Chagas (FCC)false
dc.title.none.fl_str_mv Longitudinal assessment of medical students: Is progress test appropriate?
Evaluación longitudinal de estudiantes de medicina: ¿La prueba de progreso es apropiada?
Avaliação longitudinal de estudantes de medicina: O teste de progresso é apropriado?
title Longitudinal assessment of medical students: Is progress test appropriate?
spellingShingle Longitudinal assessment of medical students: Is progress test appropriate?
Pinheiro, Carlos Eduardo Andrade
Avaliação da Educação
Educação Médica
Avaliação Externa
Education Evaluation
Medical Educational Measurement
External Evaluation
Evaluación de la Educación
Educación Médica
Evaluación Externa
title_short Longitudinal assessment of medical students: Is progress test appropriate?
title_full Longitudinal assessment of medical students: Is progress test appropriate?
title_fullStr Longitudinal assessment of medical students: Is progress test appropriate?
title_full_unstemmed Longitudinal assessment of medical students: Is progress test appropriate?
title_sort Longitudinal assessment of medical students: Is progress test appropriate?
author Pinheiro, Carlos Eduardo Andrade
author_facet Pinheiro, Carlos Eduardo Andrade
Souza, Diogo Onofre de
author_role author
author2 Souza, Diogo Onofre de
author2_role author
dc.contributor.author.fl_str_mv Pinheiro, Carlos Eduardo Andrade
Souza, Diogo Onofre de
dc.subject.por.fl_str_mv Avaliação da Educação
Educação Médica
Avaliação Externa
Education Evaluation
Medical Educational Measurement
External Evaluation
Evaluación de la Educación
Educación Médica
Evaluación Externa
topic Avaliação da Educação
Educação Médica
Avaliação Externa
Education Evaluation
Medical Educational Measurement
External Evaluation
Evaluación de la Educación
Educación Médica
Evaluación Externa
description The purpose of this article is to assess whether the Progress Test is appropriate to evaluate programs and students during different stages of medical studies. The characteristics of the items and reliability of three previously applied progress tests were analyzed. For second-year students, 76.4% of the questions demonstrated poor quality (biserial < 0.2). This percentage decreased to 47.7% in the forth year and to 25.3% in the sixth year. The test’s reliability, measured by Cronbach’s alpha, was only 0.6 for second-year students and increased to 0.76 in the fourth year and to 0.87 for sixth-year students. The current form of the Progress Test showed low and unacceptable reliability for second-year students, reasonable for the fouth year, and excellent for the sixth year. An improvement of this longitudinal assessment is proposed.
publishDate 2023
dc.date.none.fl_str_mv 2023-09-12
dc.type.driver.fl_str_mv info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
format article
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://publicacoes.fcc.org.br/eae/article/view/9220
10.18222/eae.v34.9220
url https://publicacoes.fcc.org.br/eae/article/view/9220
identifier_str_mv 10.18222/eae.v34.9220
dc.language.iso.fl_str_mv por
eng
language por
eng
dc.relation.none.fl_str_mv https://publicacoes.fcc.org.br/eae/article/view/9220/4663
https://publicacoes.fcc.org.br/eae/article/view/9220/4664
https://publicacoes.fcc.org.br/eae/article/view/9220/4862
https://publicacoes.fcc.org.br/eae/article/view/9220/4863
dc.rights.driver.fl_str_mv Copyright (c) 2023 Estudos em Avaliação Educacional
https://creativecommons.org/licenses/by-nc/4.0
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Copyright (c) 2023 Estudos em Avaliação Educacional
https://creativecommons.org/licenses/by-nc/4.0
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
application/pdf
dc.publisher.none.fl_str_mv Fundação Carlos Chagas
publisher.none.fl_str_mv Fundação Carlos Chagas
dc.source.none.fl_str_mv Estudos em Avaliação Educacional; Vol. 34 (2023); e09220
Estudos em Avaliação Educacional; Vol. 34 (2023); e09220
Estudos em Avaliação Educacional; Vol. 34 (2023); e09220
Estudos em Avaliação Educacional; V. 34 (2023); e09220
Estudos em Avaliação Educacional; v. 34 (2023); e09220
1984-932X
0103-6831
reponame:Estudos em Avaliação Educacional
instname:Fundação Carlos Chagas (FCC)
instacron:FCC
instname_str Fundação Carlos Chagas (FCC)
instacron_str FCC
institution FCC
reponame_str Estudos em Avaliação Educacional
collection Estudos em Avaliação Educacional
repository.name.fl_str_mv Estudos em Avaliação Educacional - Fundação Carlos Chagas (FCC)
repository.mail.fl_str_mv eae@fcc.org.br||ngimenes@fcc.org.br
_version_ 1795332423560462336

Registros relacionados