Perguntas de Escolha Múltipla: dificuldades dos professores na sua construção e impacto no desempenho dos alunos

• Autor(a) principal: Carneiro, Gonçalo José Pereira
• Data de Publicação: 2019
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
• Texto Completo: http://hdl.handle.net/10400.6/8772
• topic: Avaliação; Critérios; Dificuldade; Discriminação; Perguntas de Escolha Múltipla; Testwise; Domínio/Área Científica::Ciências Médicas::Ciências da Saúde::Medicina

Introdução: As perguntas de escolha múltipla (PEM) são um método de avaliação de conhecimentos extremamente disseminado e popular. No Mestrado Integrado em Medicina (MIM) da FCS-UBI, uma grande parte destas avaliações é feita através de PEM. Contudo, há entre os alunos descontentamento com a sua qualidade. Por outro lado, da parte dos docentes existem várias limitações que prejudicam uma boa construção de PEM (sobretudo tempo e necessidade de redigir uma grande quantidade de perguntas). Assim sendo, os principais objetivos deste trabalho foram perceber a perceção que os docentes têm sobre erros presentes nas PEM e o impacto negativo que os alunos atribuem a esses mesmos erros. Material e Métodos: Foram aplicados a alunos de todos os anos e aos docentes de MIM questionários desenvolvidos pelos autores deste estudo, tendo por base os critérios definidos na literatura para a construção de PEM de qualidade. Foi depois realizada análise estatística (análise de consistência interna dos questionários, estatística descritiva e teste U de Mann-Whitney), tendo sido considerados como estatisticamente significativos valores de p<0.05. Resultados e Discussão: Dos 945 alunos matriculados em MIM, 728 responderam ao questionário (77,0%). Do lado dos docentes, dos 130 utilizadores da plataforma de submissão de perguntas, obtiveram-se 25 respostas (19,2%). Os alunos afirmaram que o não cumprimento de 14 dos 15 critérios enunciados nos questionários tem impacto negativo nas suas classificações, estando os principais relacionados com o desacordo das perguntas com os objetivos de aprendizagem e com formulações confusas/ambíguas. O critério que os estudantes consideraram ter menos impacto no seu desempenho foi “Pergunta baseada em casos clínicos ou num problema”. Verificou-se também que os alunos souberam tirar partido de erros/brechas de construção para acertarem em questões sobre as quais não têm conhecimentos, exceto quando essas pistas são fornecidas por convergência. Já os docentes afirmaram não ter dificuldade em respeitar 17 dos 19 critérios enunciados, tendo sido evidenciada maior facilidade em preparar perguntas que avaliam memorização do que perguntas que avaliam raciocínio e resolução de problemas. Este é, inclusive, uma das maiores dificuldades dos docentes, a par da construção de perguntas que não estejam na negativa. Em relação à capacidade de identificarem erros de construção nas PEM, os resultados indicam maior dificuldade em identificar distratores imprecisos/não rigorosamente incorretos e formulações desnecessariamente complicadas e capazes de induzir os alunos em erro. Por outro lado, indicam também mais facilidade em identificar perguntas construídas na negativa ou com duplas negações, além de pistas/brechas de construção capazes de sugerir a resposta correta. Conclusão: Os alunos consideram que perguntas com erros têm um impacto considerável nos seus resultados académicos. Por outro lado, os docentes manifestam relativa facilidade em cumprir a grande maioria das guidelines para a construção de PEM. Ainda assim, algumas das dificuldades manifestadas pelos docentes coincidem não só com alguns dos fatores aos quais os alunos atribuem mais impacto negativo, mas também com fatores dos quais os alunos se aproveitam para responderem a PEM sem terem conhecimentos para isso. Isto exige, portanto, uma reflexão sobre estes fatores em particular – como evitar escrever perguntas com estas falhas, como reconhecer estas falhas nas perguntas já existentes, como tornar as avaliações mais justas e fiáveis tendo em conta que eliminar totalmente as falhas é impossível.