Análise da autoavaliação institucional pela perspectiva da teoria da resposta ao item: uma aplicação na UFSM

Detalhes bibliográficos
Autor(a) principal: Kronbauer, Elisete
Data de Publicação: 2018
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Manancial - Repositório Digital da UFSM
dARK ID: ark:/26339/001300000swdg
Texto Completo: http://repositorio.ufsm.br/handle/1/16201
Resumo: Institutional self-ealuation is an important component from Brazilian National Higher Education Assessment System (SINAES), constituting in an instrument to subsidize the continuous efforts to improve the quality, efficiency and effectiveness of university management. It is an opportunity for all segments from university community to self-reflect about the institution's performance. In this context, this study aimed to analyze the instruments of institutional self-evaluation from Universidade Federal de Santa Maria (UFSM), applied during the year of 2016, which were nominated as General Questions, Professor Segment and Technical-Administrative in Education Segment. For this, the study was based on the Classical Theory of Tests (TCT) in order to analyze the reliability, the internal consistency and the unidimensionality of the construct; and in the Item Response Theory (IRT), from the application of 2 Parameters Logistic Model (ML2), to verify the bisserial correlation and to estimate the parameters of difficulty and discrimination by the items. Results showed that the set of questionnaire items presents internal consistency; however, according to the factorial analysis, they are not unidimensional, that is, they do not measure the latent institutional performance, thus the item parameters of the questionnaires could not be estimated through ML2. In this way, it was necessary to perform partial analyzes by segment and by axis. Some axes presented unidimensionality and it could be measured the bisserial correlation and the parameters from the items. Partial analyzes revealed that all measured items had a good bisserial correlation (>0.3) and good discriminatory power (a). In general, the work contributed to demonstrate the validity and usefulness of ITR in processes of higher education institutional evaluation.
id UFSM_d31425d7c39e60bde52c15502effe4b8
oai_identifier_str oai:repositorio.ufsm.br:1/16201
network_acronym_str UFSM
network_name_str Manancial - Repositório Digital da UFSM
repository_id_str
spelling Análise da autoavaliação institucional pela perspectiva da teoria da resposta ao item: uma aplicação na UFSMInstitutional self-evaluation analysis by the perspective of the item response theory: an application at the UFSMAvaliação institucionalAutoavaliaçãoEnsino superiorTeoria da resposta ao itemInstitutional evaluationSelf-evaluationHigher educationItem response theoryCNPQ::CIENCIAS SOCIAIS APLICADAS::ADMINISTRACAO::ADMINISTRACAO PUBLICAInstitutional self-ealuation is an important component from Brazilian National Higher Education Assessment System (SINAES), constituting in an instrument to subsidize the continuous efforts to improve the quality, efficiency and effectiveness of university management. It is an opportunity for all segments from university community to self-reflect about the institution's performance. In this context, this study aimed to analyze the instruments of institutional self-evaluation from Universidade Federal de Santa Maria (UFSM), applied during the year of 2016, which were nominated as General Questions, Professor Segment and Technical-Administrative in Education Segment. For this, the study was based on the Classical Theory of Tests (TCT) in order to analyze the reliability, the internal consistency and the unidimensionality of the construct; and in the Item Response Theory (IRT), from the application of 2 Parameters Logistic Model (ML2), to verify the bisserial correlation and to estimate the parameters of difficulty and discrimination by the items. Results showed that the set of questionnaire items presents internal consistency; however, according to the factorial analysis, they are not unidimensional, that is, they do not measure the latent institutional performance, thus the item parameters of the questionnaires could not be estimated through ML2. In this way, it was necessary to perform partial analyzes by segment and by axis. Some axes presented unidimensionality and it could be measured the bisserial correlation and the parameters from the items. Partial analyzes revealed that all measured items had a good bisserial correlation (>0.3) and good discriminatory power (a). In general, the work contributed to demonstrate the validity and usefulness of ITR in processes of higher education institutional evaluation.A autoavaliação institucional é um importante componente do Sistema Nacional de Avaliação da Educação Superior brasileira (SINAES), constituindo-se em um instrumento para subsidiar os contínuos esforços de melhorar a qualidade, a eficiência e a efetividade da gestão universitária. É uma oportunidade para todos os segmentos da comunidade universitária realizarem uma autorreflexão sobre o desempenho da instituição. Nesse contexto, este estudo objetivou analisar os instrumentos de autoavaliação institucional da Universidade Federal de Santa Maria (UFSM) aplicados em 2016 nominados como Questões Gerais, Segmento Docente e Segmento Técnico-Administrativo em Educação. Para tanto, o estudo baseou-se na Teoria Clássica dos Testes (TCT) para analisar a confiabilidade, a consistência interna e a unidimensionalidade do construto; e na Teoria da Resposta ao Item (TRI), a partir da aplicação do Modelo Logístico de 2 Parâmetros (ML2), para verificar a correlação bisserial e estimar os parâmetros de dificuldade e discriminação dos itens. Os resultados encontrados demonstraram que o conjunto de itens dos questionários apresenta consistência interna, no entanto, de acordo com a análise fatorial, não são unidimensionais, ou seja, não medem o traço latente desempenho institucional, de modo que não puderam ser estimados os parâmetros dos itens por meio do ML2. Dessa forma, foi necessário realizar-se análises parciais por segmento e por eixo. Alguns eixos apresentaram unidimensionalidade e pode-se medir a correlação bisserial e os parâmetros dos itens. As análises parciais revelaram que todos os itens medidos apresentaram uma boa correlação bisserial (>0,3) e um bom poder de discriminação (a). De modo geral, o trabalho contribuiu para demonstrar a validade e a utilidade da TRI em processos de avaliação institucional do ensino superior.Universidade Federal de Santa MariaBrasilAdministração PúblicaUFSMPrograma de Pós-Graduação em Gestão de Organizações PúblicasCentro de Ciências Sociais e HumanasVey, Ivan Henriquehttp://lattes.cnpq.br/0989193811736720Vanti, Adolfo Albertohttp://lattes.cnpq.br/7441849125904075Silva, Michael Gonçalves dahttp://lattes.cnpq.br/9922015284298889Kronbauer, Elisete2019-04-12T14:47:31Z2019-04-12T14:47:31Z2018-06-28info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://repositorio.ufsm.br/handle/1/16201ark:/26339/001300000swdgporAttribution-NonCommercial-NoDerivatives 4.0 Internationalhttp://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccessreponame:Manancial - Repositório Digital da UFSMinstname:Universidade Federal de Santa Maria (UFSM)instacron:UFSM2022-04-18T13:37:30Zoai:repositorio.ufsm.br:1/16201Biblioteca Digital de Teses e Dissertaçõeshttps://repositorio.ufsm.br/ONGhttps://repositorio.ufsm.br/oai/requestatendimento.sib@ufsm.br||tedebc@gmail.comopendoar:2022-04-18T13:37:30Manancial - Repositório Digital da UFSM - Universidade Federal de Santa Maria (UFSM)false
dc.title.none.fl_str_mv Análise da autoavaliação institucional pela perspectiva da teoria da resposta ao item: uma aplicação na UFSM
Institutional self-evaluation analysis by the perspective of the item response theory: an application at the UFSM
title Análise da autoavaliação institucional pela perspectiva da teoria da resposta ao item: uma aplicação na UFSM
spellingShingle Análise da autoavaliação institucional pela perspectiva da teoria da resposta ao item: uma aplicação na UFSM
Kronbauer, Elisete
Avaliação institucional
Autoavaliação
Ensino superior
Teoria da resposta ao item
Institutional evaluation
Self-evaluation
Higher education
Item response theory
CNPQ::CIENCIAS SOCIAIS APLICADAS::ADMINISTRACAO::ADMINISTRACAO PUBLICA
title_short Análise da autoavaliação institucional pela perspectiva da teoria da resposta ao item: uma aplicação na UFSM
title_full Análise da autoavaliação institucional pela perspectiva da teoria da resposta ao item: uma aplicação na UFSM
title_fullStr Análise da autoavaliação institucional pela perspectiva da teoria da resposta ao item: uma aplicação na UFSM
title_full_unstemmed Análise da autoavaliação institucional pela perspectiva da teoria da resposta ao item: uma aplicação na UFSM
title_sort Análise da autoavaliação institucional pela perspectiva da teoria da resposta ao item: uma aplicação na UFSM
author Kronbauer, Elisete
author_facet Kronbauer, Elisete
author_role author
dc.contributor.none.fl_str_mv Vey, Ivan Henrique
http://lattes.cnpq.br/0989193811736720
Vanti, Adolfo Alberto
http://lattes.cnpq.br/7441849125904075
Silva, Michael Gonçalves da
http://lattes.cnpq.br/9922015284298889
dc.contributor.author.fl_str_mv Kronbauer, Elisete
dc.subject.por.fl_str_mv Avaliação institucional
Autoavaliação
Ensino superior
Teoria da resposta ao item
Institutional evaluation
Self-evaluation
Higher education
Item response theory
CNPQ::CIENCIAS SOCIAIS APLICADAS::ADMINISTRACAO::ADMINISTRACAO PUBLICA
topic Avaliação institucional
Autoavaliação
Ensino superior
Teoria da resposta ao item
Institutional evaluation
Self-evaluation
Higher education
Item response theory
CNPQ::CIENCIAS SOCIAIS APLICADAS::ADMINISTRACAO::ADMINISTRACAO PUBLICA
description Institutional self-ealuation is an important component from Brazilian National Higher Education Assessment System (SINAES), constituting in an instrument to subsidize the continuous efforts to improve the quality, efficiency and effectiveness of university management. It is an opportunity for all segments from university community to self-reflect about the institution's performance. In this context, this study aimed to analyze the instruments of institutional self-evaluation from Universidade Federal de Santa Maria (UFSM), applied during the year of 2016, which were nominated as General Questions, Professor Segment and Technical-Administrative in Education Segment. For this, the study was based on the Classical Theory of Tests (TCT) in order to analyze the reliability, the internal consistency and the unidimensionality of the construct; and in the Item Response Theory (IRT), from the application of 2 Parameters Logistic Model (ML2), to verify the bisserial correlation and to estimate the parameters of difficulty and discrimination by the items. Results showed that the set of questionnaire items presents internal consistency; however, according to the factorial analysis, they are not unidimensional, that is, they do not measure the latent institutional performance, thus the item parameters of the questionnaires could not be estimated through ML2. In this way, it was necessary to perform partial analyzes by segment and by axis. Some axes presented unidimensionality and it could be measured the bisserial correlation and the parameters from the items. Partial analyzes revealed that all measured items had a good bisserial correlation (>0.3) and good discriminatory power (a). In general, the work contributed to demonstrate the validity and usefulness of ITR in processes of higher education institutional evaluation.
publishDate 2018
dc.date.none.fl_str_mv 2018-06-28
2019-04-12T14:47:31Z
2019-04-12T14:47:31Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://repositorio.ufsm.br/handle/1/16201
dc.identifier.dark.fl_str_mv ark:/26339/001300000swdg
url http://repositorio.ufsm.br/handle/1/16201
identifier_str_mv ark:/26339/001300000swdg
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Attribution-NonCommercial-NoDerivatives 4.0 International
http://creativecommons.org/licenses/by-nc-nd/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution-NonCommercial-NoDerivatives 4.0 International
http://creativecommons.org/licenses/by-nc-nd/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Federal de Santa Maria
Brasil
Administração Pública
UFSM
Programa de Pós-Graduação em Gestão de Organizações Públicas
Centro de Ciências Sociais e Humanas
publisher.none.fl_str_mv Universidade Federal de Santa Maria
Brasil
Administração Pública
UFSM
Programa de Pós-Graduação em Gestão de Organizações Públicas
Centro de Ciências Sociais e Humanas
dc.source.none.fl_str_mv reponame:Manancial - Repositório Digital da UFSM
instname:Universidade Federal de Santa Maria (UFSM)
instacron:UFSM
instname_str Universidade Federal de Santa Maria (UFSM)
instacron_str UFSM
institution UFSM
reponame_str Manancial - Repositório Digital da UFSM
collection Manancial - Repositório Digital da UFSM
repository.name.fl_str_mv Manancial - Repositório Digital da UFSM - Universidade Federal de Santa Maria (UFSM)
repository.mail.fl_str_mv atendimento.sib@ufsm.br||tedebc@gmail.com
_version_ 1815172392762212352