Impacto do funcionamento diferencial do item (DIF) em testes com itens dicotômicos: um estudo de simulação

Detalhes bibliográficos
Autor(a) principal: Rocha, Cácio Fabrício Gomes da
Data de Publicação: 2019
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFSC
Texto Completo: https://repositorio.ufsc.br/handle/123456789/206440
Resumo: Dissertação (mestrado profissional) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Métodos e Gestão em Avaliação, Florianópolis, 2019.
id UFSC_b263dde163484b3249b74cba3900c808
oai_identifier_str oai:repositorio.ufsc.br:123456789/206440
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str 2373
spelling Impacto do funcionamento diferencial do item (DIF) em testes com itens dicotômicos: um estudo de simulaçãoCiênciaAvaliação educacionalTeoria da Resposta do ÍtemDissertação (mestrado profissional) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Métodos e Gestão em Avaliação, Florianópolis, 2019.O Funcionamento Diferencial do Item Differential Item Functioning (DIF) ocorre quando um item, em uma mesma escala, se comporta de maneira diferente entre dois ou mais grupos de indivíduos com mesmo nível de habilidade. Ou seja, esses grupos têm desempenhos diferenciados ao responderem ao mesmo item. O objetivo do presente estudo foi verificar o impacto no processo de equalização ao inserir itens com DIF. A importância de realizar a análise de DIF nos diferentes grupos de indivíduos se justifica para que as proficiências estimadas sejam fidedignas e os resultados possam ser adequadamente equalizados. Foram simulados no software R, versão 3.5.2, dois grupos (referência e focal) com características de uma avaliação em larga escala. O grupo referência foi submetido a um teste com 45 itens novos e o grupo focal a um teste parcialmente diferente com 45 itens (itens comuns com o teste do grupo referência). Para equalização dos parâmetros dos itens e das proficiências dos indivíduos, utilizou-se a Teoria de Resposta ao Item (TRI) com auxílio do software Bilog-MG. Na literatura, existem diferentes métodos para identificar o DIF e alguns autores recomendam a utilização de mais de um método no processo de análise de DIF, visto que cada método apresenta sua limitação. Para identificar itens comuns com DIF, foi adotada a metodologia utilizada pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), que consiste em comparar as proporções esperadas de acertos ao item nos pontos de quadratura para cada grupo compreendida no intervalo P5 (percentil 5) e o P95 (percentil 95), quando a diferença máxima entre os grupos for maior ou igual a 0,15 o item é classificado com DIF. Nos cenários simulados, foram avaliados o número de itens comuns e os diferentes incrementos adicionados no parâmetro de dificuldade com o intuito de gerar DIF uniforme. Os resultados mostraram que o número de itens comuns auxilia no processo de identificação dos itens com DIF uniforme, pois quanto mais itens de ligação no processo de equalização, menor será o impacto sofrido por itens que apresentam algum tipo de viés. Os itens identificados com DIF trazem informações importantes para os sistemas educacionais, pois podem diagnosticar deficiências curriculares, índices de discriminação racial, características econômicas ou diversidades culturais. Contudo, com base nos resultados, recomenda-se a inserção de outros métodos de identificação, pois a atual metodologia mostrou-se sensível a itens que apresentam diferenças elevadas nas proporções de acerto esperadas entre o grupo focal e o grupo de referência, quando associadas a um número menor de itens comuns.Abstract: Differential Item Functioning (DIF) - occurs when an item on the same scale behaves differently between two or more groups of individuals with the same skill level. That is, these groups perform differently when responding to the same item. The objective of the present study was to verify the impact on the equalization process when inserting items with DIF. The importance of performing the DIF analysis in the different groups of individuals is justified so that the estimated proficiencies are reliable and the results can be adequately equalized. Two groups (reference and focal) with characteristics of a large scale evaluation were simulated in software R, version 3.5.2. The reference group was subjected to a test with 45 new items and the focus group to a partially different test with 45 items (common items with the reference group test). For the equalization of the parameters of the items and the proficiencies of the individuals, the Theory of Response to the Item (TRI) was used with the help of the software Bilog-MG. In the literature, there are different methods to identify DIF and some authors recommend the use of more than one method in the DIF analysis process, since each method presents its limitation. To identify common items with DIF, the methodology used by the National Institute of Educational Studies and Research Anísio Teixeira (INEP) was adopted, which consists of comparing the expected proportions of correct answers to the item in the quadrature points for each group included in the P5 interval (percentile 5) and P95 (95th percentile), when the maximum difference between groups is greater than or equal to 0.15 the item is classified as DIF. In the simulated scenarios, the number of common items and the different increments added in the difficulty parameter were evaluated in order to generate uniform DIF. The results showed that the number of common items assists in the process of identifying items with uniform DIF, since the more binding items in the equalization process, the smaller the impact of items with some kind of bias. Items identified with DIF bring important information to educational systems, as they can diagnose curriculum deficiencies, racial discrimination indices, economic characteristics or cultural diversities. However, based on the results, it is recommended to insert other methods of identification, since the current methodology was sensitive to items that present high differences in the expected proportion of accuracy between the focal group and the reference group, when associated with fewer common items.Borgatto, Adriano FerretiUniversidade Federal de Santa CatarinaRocha, Cácio Fabrício Gomes da2020-03-31T15:39:34Z2020-03-31T15:39:34Z2019info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesis62 p.| il., gráfs., tabs.application/pdf368042https://repositorio.ufsc.br/handle/123456789/206440porreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSCinfo:eu-repo/semantics/openAccess2020-03-31T15:39:34Zoai:repositorio.ufsc.br:123456789/206440Repositório InstitucionalPUBhttp://150.162.242.35/oai/requestopendoar:23732020-03-31T15:39:34Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv Impacto do funcionamento diferencial do item (DIF) em testes com itens dicotômicos: um estudo de simulação
title Impacto do funcionamento diferencial do item (DIF) em testes com itens dicotômicos: um estudo de simulação
spellingShingle Impacto do funcionamento diferencial do item (DIF) em testes com itens dicotômicos: um estudo de simulação
Rocha, Cácio Fabrício Gomes da
Ciência
Avaliação educacional
Teoria da Resposta do Ítem
title_short Impacto do funcionamento diferencial do item (DIF) em testes com itens dicotômicos: um estudo de simulação
title_full Impacto do funcionamento diferencial do item (DIF) em testes com itens dicotômicos: um estudo de simulação
title_fullStr Impacto do funcionamento diferencial do item (DIF) em testes com itens dicotômicos: um estudo de simulação
title_full_unstemmed Impacto do funcionamento diferencial do item (DIF) em testes com itens dicotômicos: um estudo de simulação
title_sort Impacto do funcionamento diferencial do item (DIF) em testes com itens dicotômicos: um estudo de simulação
author Rocha, Cácio Fabrício Gomes da
author_facet Rocha, Cácio Fabrício Gomes da
author_role author
dc.contributor.none.fl_str_mv Borgatto, Adriano Ferreti
Universidade Federal de Santa Catarina
dc.contributor.author.fl_str_mv Rocha, Cácio Fabrício Gomes da
dc.subject.por.fl_str_mv Ciência
Avaliação educacional
Teoria da Resposta do Ítem
topic Ciência
Avaliação educacional
Teoria da Resposta do Ítem
description Dissertação (mestrado profissional) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Métodos e Gestão em Avaliação, Florianópolis, 2019.
publishDate 2019
dc.date.none.fl_str_mv 2019
2020-03-31T15:39:34Z
2020-03-31T15:39:34Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv 368042
https://repositorio.ufsc.br/handle/123456789/206440
identifier_str_mv 368042
url https://repositorio.ufsc.br/handle/123456789/206440
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 62 p.| il., gráfs., tabs.
application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv
_version_ 1808652186044858368

Registros relacionados