Deteção da existência de conhecimento prévio de questões de escolha múltipla utilizando o modelo DGM

• Autor(a) principal: Pereira, Fernanda da Silva
• Data de Publicação: 2015
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
• Texto Completo: http://hdl.handle.net/10773/16879
• topic: Matemática aplicada; Testes de avaliação de conhecimentos; Testes de escolha múltipla - Fraude; Probabilidades

A teoria de resposta a itens (TRI) engloba uma família de modelos não lineares que fornecem uma estimativa da probabilidade de responder corretamente a uma pergunta de escolha múltipla (item) de um teste. Esta família de modelos caracteriza-se em função da capacidade dos estudantes e das características dos itens, como sejam a dificuldade e a discriminação. Os modelos TRI têm como variáveis dependentes itens dicotómicos e como variáveis independentes uma ou mais variáveis latentes. Um dos modelos TRI habitualmente utilizado para analise de testes com perguntas de escolha múltipla e o modelo logístico com 1 parâmetro (1-PL). Uma das problemáticas associada a perguntas de escolha múltipla e a facilidade do estudante cometer fraude. A fraude académica e definida como uma atividade na qual existe uma violação das regras durante o processo de avaliação. A maior parte da investigação na área de deteção de fraude académica tem-se focado na deteção de fraude através da copia das respostas a partir de outros estudantes. No entanto, a literatura e mais escassa em relação a fraude através do conhecimento prévio dos itens. Este ultimo tipo de fraude ocorre na maioria das vezes pela exposição ou memorização de perguntas pelos estudantes. Os modelos TRI referidos anteriormente não permitem a deteção deste tipo de fraude académica. Para dar resposta a esta problemática foi proposto o modelo DGM (Deterministic, Gated Item Response Theory Mo- del) (Shu et al., 2013), que consiste numa mistura de dois modelos 1-PL, que incorpora a divisão dos estudantes em dois grupos. O modelo DGM clássica os estudantes como fraudulentos ou não fraudulentos pelo condicionamento a dois tipos de perguntas; o primeiro tipo inclui os itens que provavelmente estão comprometidos e o segundo tipo os itens não comprometidos. O modelo DGM permite a deteção de fraude através da analise da diferença entre a capacidade de um estudante cometer este tipo de fraude e a sua verdadeira capacidade. Neste trabalho faz-se a aplicação do modelo DGM com o objetivo de estimar a prevalência de estudantes que cometeram fraude devido ao conhecimento prévio dos itens a partir de seis exames de escolha múltipla da unidade curricular de Anatomia Cl nica da Faculdade de Medicina da Universidade do Porto. Cada exame consistiu em 100 questões com cerca de 20% de perguntas repetidas realizado em média por 200 estudantes. Foi utilizada a metodologia Bayesiana para a estimação dos parâmetros do modelo DGM utilizando métodos de Monte Carlo via Cadeias de Markov. As distribuições a priori para os parâmetros do modelo foram definidas utilizando distribuições Normais. A estimação da sensibilidade e especificidade do modelo DGM foi baseada num estudo de simulação, onde se avaliou a proporção dos estudantes que são corretamente classificados como sendo fraudulentos - sensibilidade - e a proporção dos estudantes que são corretamente classificados como não fraudulentos - especificidade. Tendo em conta as estimativas para a sensibilidade e especificidade estimou-se a prevalência real dos estudantes que cometeram fraude nos testes da UC em analise.