Análise de satisfação dos respondentes na autoavaliação em uma instituição de ensino superior utilizando a teoria de resposta ao item

Detalhes bibliográficos
Autor(a) principal: Campos, Leonardo Talavera
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFSC
Texto Completo: https://repositorio.ufsc.br/handle/123456789/226902
Resumo: Dissertação (mestrado profissional) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Métodos e Gestão em Avaliação, Florianópolis, 2021.
id UFSC_066783bb1598afc22995ebe7aa83e6f8
oai_identifier_str oai:repositorio.ufsc.br:123456789/226902
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str 2373
spelling Análise de satisfação dos respondentes na autoavaliação em uma instituição de ensino superior utilizando a teoria de resposta ao itemCiênciaTeoria da Resposta do ÍtemAvaliação institucionalDissertação (mestrado profissional) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Métodos e Gestão em Avaliação, Florianópolis, 2021.As Instituições de Ensino Superior (IES) têm buscado aproveitar as oportunidades de melhoria na gestão, fazendo uso da Autoavaliação Institucional (AAI) como uma ferramenta gerencial para obtenção de educação com qualidade. O processo de AAI é efetuado utilizando instrumentos (questionários), elaborados pela Comissão Própria de Avaliação (CPA), que têm como respondentes, os servidores e discentes das IES. Visa detectar a satisfação ou percepção de qualidade em relação à sua instituição. Complementando a análise que, em geral, usa estatísticas descritivas, o objetivo do estudo foi explorar os recursos disponibilizados pelos procedimentos estatísticos da Teoria de Resposta ao Item (TRI), aproveitando as vantagens e benefícios de sua implementação. Entre estes pode-se citar: a produção de instrumento de avaliação mais adequado para analisar e planejar ações de melhorias na gestão da instituição, a partir das estimativas dos parâmetros dos itens; avaliação dos segmentos de respondentes conjuntamente, explorando a possibilidade de análise de dados perdidos fornecida pela metodologia; usando modelos lineares, obter uma melhor estimativa do construto nível de satisfação dos respondentes; investigar a existência de efeitos de interações entre campus e segmentos; verificar a ocorrência de funcionamento diferencial de itens (DIF) entre os segmentos; e elaborar uma escala de mensuração interpretável da satisfação dos usuários, com a definição de níveis e categorias âncoras. O instrumento foi aplicado na comunidade acadêmica do IFC na AAI de 2017, participando do processo 2.250 pessoas. Nas análises realizadas com a TRI para estimação dos parâmetros dos itens, ou calibração, foi utilizado software na linguagem R ? Package ?MIRT?, indicado para variáveis politômicas ordinais (do tipo ?likert?) e que reconhece dados de ?não respostas?, evitando a redução no tamanho da amostra analisada. O modelo adotado foi o Modelo de Resposta Gradual de Samejima. Os resultados obtidos para a curva total de informação do teste indicam que a maioria dos respondentes está satisfeito, ou considera suficiente o atendimento do indicador de qualidade. A análise dos dados referente à satisfação dos respondentes indica que a TRI permite a identificação dos parâmetros dos itens, a sua curva de informação e o grau de discriminação. Estes aspectos vão contribuir para a obtenção de um questionário mais adequado no sentido de oportunizar sua melhoria contínua, com itens mais apropriados no potencial de discriminação do grau satisfação dos usuários das IES. Ao fornecer uma escala interpretável, colocando os itens e os respondentes simultaneamente na mesma escala de medida, pode gerar relatórios mais informativos. A viabilidade de análise de dados perdidos, reduzindo o erro padrão das estimativas dos parâmetros; a verificação da existência de efeitos de interações entre campus e segmentos; e a investigação de ocorrência de DIFs entre grupos de segmentos; são outros objetivos que foram adequadamente alcançados na execução da pesquisa. As vantagens e oportunidades que o uso da TRI pode fornecer, visando complementar as análises mais tradicionalmente executadas, foram reveladas. Para finalizar, enfatiza-se que os resultados poderão apresentar utilidade mais ampla, podendo ser aplicados em procedimentos avaliativos de outras instituições de ensino, contribuindo para melhorar toda a sistemática de avaliação e de gestão das IES.Abstract: Higher Education Institutions (HEI) have sought to take advantage of opportunities for improvement in management, making use of Institutional Self-Assessment (AAI) as a management tool for obtaining quality education. The AAI process is carried out using instruments, (i.e. questionnaires), prepared by the Own Evaluation Commission (CPA), whose respondents are the employees and students of the HEI. It aims to detect satisfaction or perception of quality in relation to your institution. Complementing the analyses that, in general, uses descriptive statistics, the goal of the study was to explore the available resources provided by the Item Response Theory (IRT) statistical procedures, taking advantage of the utilities and benefits of its implementation. Among these, we can mention: the production of the most adequate assessment instrument, based on the estimates of the items parameters; jointly assessing respondent segments, exploring the possibility of analyzing missing data provided for methodology; using linear models, obtain a better estimate of the respondent satisfaction level construct; investigate the effects of interactions between campus and segments; verify the occurrence of differential item function (DIF) between the segments; and to develop an interpretable measurement scale of user satisfaction, with the definition of anchor levels and categories. The instrument was applied to the Federal Institute Catarinense (IFC) academic community at AAI 2017, with 2,250 people participating in the process. The analyzes carried out with the IRT to estimate items parameters, or calibration, the package ?MIRT? was used in software R, suitable for ordinal polytomous variables (Llikert type) and which recognizes ?non-response? data, avoiding a reduction in the size of the analyzed sample. The model Samejima Gradual Response Model was used. The results obtained for the total information curve of the test indicate that the majority of respondents are satisfied, or sufficient to meet the quality indicator. The analysis of the data regarding the respondents satisfaction indicates that the IRT allows the identification of the items parameters, their information curve and the degree of discrimination, contributing to obtain a more proper questionnaire. This fact allows for its continuous improvement, with items that are more suitable in terms of the potential for discriminating the degree of satisfaction of HEI users. By providing an interpretable scale, placing items and respondents simultaneously on the same measurement scale, generate more informative reports. The feasibility of analyzing missing data, reducing the standard error of parameter estimates; the verification of the effects of interactions between campus and segments; and the investigation of the occurrence of DIF between groups of segments; they are other goals that have been adequately achieved in the execution of the research. The advantages and opportunities that the use of IRT can provide, aiming to complement the most traditionally performed analyzes, were revealed. Finally, it is emphasized that the results may have a wide utility, being able to be applied in evaluative procedures of other educational institutions, contributing to improve the whole system of evaluation and management of HEI.Zibetti, André WüstAndrade, Dalton Francisco deUniversidade Federal de Santa CatarinaCampos, Leonardo Talavera2021-08-23T14:04:44Z2021-08-23T14:04:44Z2021info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesis161 p.| il., tabs.application/pdf372774https://repositorio.ufsc.br/handle/123456789/226902porreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSCinfo:eu-repo/semantics/openAccess2021-08-23T14:04:44Zoai:repositorio.ufsc.br:123456789/226902Repositório InstitucionalPUBhttp://150.162.242.35/oai/requestopendoar:23732021-08-23T14:04:44Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv Análise de satisfação dos respondentes na autoavaliação em uma instituição de ensino superior utilizando a teoria de resposta ao item
title Análise de satisfação dos respondentes na autoavaliação em uma instituição de ensino superior utilizando a teoria de resposta ao item
spellingShingle Análise de satisfação dos respondentes na autoavaliação em uma instituição de ensino superior utilizando a teoria de resposta ao item
Campos, Leonardo Talavera
Ciência
Teoria da Resposta do Ítem
Avaliação institucional
title_short Análise de satisfação dos respondentes na autoavaliação em uma instituição de ensino superior utilizando a teoria de resposta ao item
title_full Análise de satisfação dos respondentes na autoavaliação em uma instituição de ensino superior utilizando a teoria de resposta ao item
title_fullStr Análise de satisfação dos respondentes na autoavaliação em uma instituição de ensino superior utilizando a teoria de resposta ao item
title_full_unstemmed Análise de satisfação dos respondentes na autoavaliação em uma instituição de ensino superior utilizando a teoria de resposta ao item
title_sort Análise de satisfação dos respondentes na autoavaliação em uma instituição de ensino superior utilizando a teoria de resposta ao item
author Campos, Leonardo Talavera
author_facet Campos, Leonardo Talavera
author_role author
dc.contributor.none.fl_str_mv Zibetti, André Wüst
Andrade, Dalton Francisco de
Universidade Federal de Santa Catarina
dc.contributor.author.fl_str_mv Campos, Leonardo Talavera
dc.subject.por.fl_str_mv Ciência
Teoria da Resposta do Ítem
Avaliação institucional
topic Ciência
Teoria da Resposta do Ítem
Avaliação institucional
description Dissertação (mestrado profissional) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Métodos e Gestão em Avaliação, Florianópolis, 2021.
publishDate 2021
dc.date.none.fl_str_mv 2021-08-23T14:04:44Z
2021-08-23T14:04:44Z
2021
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv 372774
https://repositorio.ufsc.br/handle/123456789/226902
identifier_str_mv 372774
url https://repositorio.ufsc.br/handle/123456789/226902
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 161 p.| il., tabs.
application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv
_version_ 1808652220311273472

Registros relacionados