Análise da autoavaliação institucional pela perspectiva da teoria da resposta ao item: uma aplicação na UFSM
Autor(a) principal: | |
---|---|
Data de Publicação: | 2018 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Manancial - Repositório Digital da UFSM |
dARK ID: | ark:/26339/001300000swdg |
Texto Completo: | http://repositorio.ufsm.br/handle/1/16201 |
Resumo: | Institutional self-ealuation is an important component from Brazilian National Higher Education Assessment System (SINAES), constituting in an instrument to subsidize the continuous efforts to improve the quality, efficiency and effectiveness of university management. It is an opportunity for all segments from university community to self-reflect about the institution's performance. In this context, this study aimed to analyze the instruments of institutional self-evaluation from Universidade Federal de Santa Maria (UFSM), applied during the year of 2016, which were nominated as General Questions, Professor Segment and Technical-Administrative in Education Segment. For this, the study was based on the Classical Theory of Tests (TCT) in order to analyze the reliability, the internal consistency and the unidimensionality of the construct; and in the Item Response Theory (IRT), from the application of 2 Parameters Logistic Model (ML2), to verify the bisserial correlation and to estimate the parameters of difficulty and discrimination by the items. Results showed that the set of questionnaire items presents internal consistency; however, according to the factorial analysis, they are not unidimensional, that is, they do not measure the latent institutional performance, thus the item parameters of the questionnaires could not be estimated through ML2. In this way, it was necessary to perform partial analyzes by segment and by axis. Some axes presented unidimensionality and it could be measured the bisserial correlation and the parameters from the items. Partial analyzes revealed that all measured items had a good bisserial correlation (>0.3) and good discriminatory power (a). In general, the work contributed to demonstrate the validity and usefulness of ITR in processes of higher education institutional evaluation. |
id |
UFSM_d31425d7c39e60bde52c15502effe4b8 |
---|---|
oai_identifier_str |
oai:repositorio.ufsm.br:1/16201 |
network_acronym_str |
UFSM |
network_name_str |
Manancial - Repositório Digital da UFSM |
repository_id_str |
|
spelling |
Análise da autoavaliação institucional pela perspectiva da teoria da resposta ao item: uma aplicação na UFSMInstitutional self-evaluation analysis by the perspective of the item response theory: an application at the UFSMAvaliação institucionalAutoavaliaçãoEnsino superiorTeoria da resposta ao itemInstitutional evaluationSelf-evaluationHigher educationItem response theoryCNPQ::CIENCIAS SOCIAIS APLICADAS::ADMINISTRACAO::ADMINISTRACAO PUBLICAInstitutional self-ealuation is an important component from Brazilian National Higher Education Assessment System (SINAES), constituting in an instrument to subsidize the continuous efforts to improve the quality, efficiency and effectiveness of university management. It is an opportunity for all segments from university community to self-reflect about the institution's performance. In this context, this study aimed to analyze the instruments of institutional self-evaluation from Universidade Federal de Santa Maria (UFSM), applied during the year of 2016, which were nominated as General Questions, Professor Segment and Technical-Administrative in Education Segment. For this, the study was based on the Classical Theory of Tests (TCT) in order to analyze the reliability, the internal consistency and the unidimensionality of the construct; and in the Item Response Theory (IRT), from the application of 2 Parameters Logistic Model (ML2), to verify the bisserial correlation and to estimate the parameters of difficulty and discrimination by the items. Results showed that the set of questionnaire items presents internal consistency; however, according to the factorial analysis, they are not unidimensional, that is, they do not measure the latent institutional performance, thus the item parameters of the questionnaires could not be estimated through ML2. In this way, it was necessary to perform partial analyzes by segment and by axis. Some axes presented unidimensionality and it could be measured the bisserial correlation and the parameters from the items. Partial analyzes revealed that all measured items had a good bisserial correlation (>0.3) and good discriminatory power (a). In general, the work contributed to demonstrate the validity and usefulness of ITR in processes of higher education institutional evaluation.A autoavaliação institucional é um importante componente do Sistema Nacional de Avaliação da Educação Superior brasileira (SINAES), constituindo-se em um instrumento para subsidiar os contínuos esforços de melhorar a qualidade, a eficiência e a efetividade da gestão universitária. É uma oportunidade para todos os segmentos da comunidade universitária realizarem uma autorreflexão sobre o desempenho da instituição. Nesse contexto, este estudo objetivou analisar os instrumentos de autoavaliação institucional da Universidade Federal de Santa Maria (UFSM) aplicados em 2016 nominados como Questões Gerais, Segmento Docente e Segmento Técnico-Administrativo em Educação. Para tanto, o estudo baseou-se na Teoria Clássica dos Testes (TCT) para analisar a confiabilidade, a consistência interna e a unidimensionalidade do construto; e na Teoria da Resposta ao Item (TRI), a partir da aplicação do Modelo Logístico de 2 Parâmetros (ML2), para verificar a correlação bisserial e estimar os parâmetros de dificuldade e discriminação dos itens. Os resultados encontrados demonstraram que o conjunto de itens dos questionários apresenta consistência interna, no entanto, de acordo com a análise fatorial, não são unidimensionais, ou seja, não medem o traço latente desempenho institucional, de modo que não puderam ser estimados os parâmetros dos itens por meio do ML2. Dessa forma, foi necessário realizar-se análises parciais por segmento e por eixo. Alguns eixos apresentaram unidimensionalidade e pode-se medir a correlação bisserial e os parâmetros dos itens. As análises parciais revelaram que todos os itens medidos apresentaram uma boa correlação bisserial (>0,3) e um bom poder de discriminação (a). De modo geral, o trabalho contribuiu para demonstrar a validade e a utilidade da TRI em processos de avaliação institucional do ensino superior.Universidade Federal de Santa MariaBrasilAdministração PúblicaUFSMPrograma de Pós-Graduação em Gestão de Organizações PúblicasCentro de Ciências Sociais e HumanasVey, Ivan Henriquehttp://lattes.cnpq.br/0989193811736720Vanti, Adolfo Albertohttp://lattes.cnpq.br/7441849125904075Silva, Michael Gonçalves dahttp://lattes.cnpq.br/9922015284298889Kronbauer, Elisete2019-04-12T14:47:31Z2019-04-12T14:47:31Z2018-06-28info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://repositorio.ufsm.br/handle/1/16201ark:/26339/001300000swdgporAttribution-NonCommercial-NoDerivatives 4.0 Internationalhttp://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccessreponame:Manancial - Repositório Digital da UFSMinstname:Universidade Federal de Santa Maria (UFSM)instacron:UFSM2022-04-18T13:37:30Zoai:repositorio.ufsm.br:1/16201Biblioteca Digital de Teses e Dissertaçõeshttps://repositorio.ufsm.br/ONGhttps://repositorio.ufsm.br/oai/requestatendimento.sib@ufsm.br||tedebc@gmail.comopendoar:2022-04-18T13:37:30Manancial - Repositório Digital da UFSM - Universidade Federal de Santa Maria (UFSM)false |
dc.title.none.fl_str_mv |
Análise da autoavaliação institucional pela perspectiva da teoria da resposta ao item: uma aplicação na UFSM Institutional self-evaluation analysis by the perspective of the item response theory: an application at the UFSM |
title |
Análise da autoavaliação institucional pela perspectiva da teoria da resposta ao item: uma aplicação na UFSM |
spellingShingle |
Análise da autoavaliação institucional pela perspectiva da teoria da resposta ao item: uma aplicação na UFSM Kronbauer, Elisete Avaliação institucional Autoavaliação Ensino superior Teoria da resposta ao item Institutional evaluation Self-evaluation Higher education Item response theory CNPQ::CIENCIAS SOCIAIS APLICADAS::ADMINISTRACAO::ADMINISTRACAO PUBLICA |
title_short |
Análise da autoavaliação institucional pela perspectiva da teoria da resposta ao item: uma aplicação na UFSM |
title_full |
Análise da autoavaliação institucional pela perspectiva da teoria da resposta ao item: uma aplicação na UFSM |
title_fullStr |
Análise da autoavaliação institucional pela perspectiva da teoria da resposta ao item: uma aplicação na UFSM |
title_full_unstemmed |
Análise da autoavaliação institucional pela perspectiva da teoria da resposta ao item: uma aplicação na UFSM |
title_sort |
Análise da autoavaliação institucional pela perspectiva da teoria da resposta ao item: uma aplicação na UFSM |
author |
Kronbauer, Elisete |
author_facet |
Kronbauer, Elisete |
author_role |
author |
dc.contributor.none.fl_str_mv |
Vey, Ivan Henrique http://lattes.cnpq.br/0989193811736720 Vanti, Adolfo Alberto http://lattes.cnpq.br/7441849125904075 Silva, Michael Gonçalves da http://lattes.cnpq.br/9922015284298889 |
dc.contributor.author.fl_str_mv |
Kronbauer, Elisete |
dc.subject.por.fl_str_mv |
Avaliação institucional Autoavaliação Ensino superior Teoria da resposta ao item Institutional evaluation Self-evaluation Higher education Item response theory CNPQ::CIENCIAS SOCIAIS APLICADAS::ADMINISTRACAO::ADMINISTRACAO PUBLICA |
topic |
Avaliação institucional Autoavaliação Ensino superior Teoria da resposta ao item Institutional evaluation Self-evaluation Higher education Item response theory CNPQ::CIENCIAS SOCIAIS APLICADAS::ADMINISTRACAO::ADMINISTRACAO PUBLICA |
description |
Institutional self-ealuation is an important component from Brazilian National Higher Education Assessment System (SINAES), constituting in an instrument to subsidize the continuous efforts to improve the quality, efficiency and effectiveness of university management. It is an opportunity for all segments from university community to self-reflect about the institution's performance. In this context, this study aimed to analyze the instruments of institutional self-evaluation from Universidade Federal de Santa Maria (UFSM), applied during the year of 2016, which were nominated as General Questions, Professor Segment and Technical-Administrative in Education Segment. For this, the study was based on the Classical Theory of Tests (TCT) in order to analyze the reliability, the internal consistency and the unidimensionality of the construct; and in the Item Response Theory (IRT), from the application of 2 Parameters Logistic Model (ML2), to verify the bisserial correlation and to estimate the parameters of difficulty and discrimination by the items. Results showed that the set of questionnaire items presents internal consistency; however, according to the factorial analysis, they are not unidimensional, that is, they do not measure the latent institutional performance, thus the item parameters of the questionnaires could not be estimated through ML2. In this way, it was necessary to perform partial analyzes by segment and by axis. Some axes presented unidimensionality and it could be measured the bisserial correlation and the parameters from the items. Partial analyzes revealed that all measured items had a good bisserial correlation (>0.3) and good discriminatory power (a). In general, the work contributed to demonstrate the validity and usefulness of ITR in processes of higher education institutional evaluation. |
publishDate |
2018 |
dc.date.none.fl_str_mv |
2018-06-28 2019-04-12T14:47:31Z 2019-04-12T14:47:31Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://repositorio.ufsm.br/handle/1/16201 |
dc.identifier.dark.fl_str_mv |
ark:/26339/001300000swdg |
url |
http://repositorio.ufsm.br/handle/1/16201 |
identifier_str_mv |
ark:/26339/001300000swdg |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
Attribution-NonCommercial-NoDerivatives 4.0 International http://creativecommons.org/licenses/by-nc-nd/4.0/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Attribution-NonCommercial-NoDerivatives 4.0 International http://creativecommons.org/licenses/by-nc-nd/4.0/ |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
Universidade Federal de Santa Maria Brasil Administração Pública UFSM Programa de Pós-Graduação em Gestão de Organizações Públicas Centro de Ciências Sociais e Humanas |
publisher.none.fl_str_mv |
Universidade Federal de Santa Maria Brasil Administração Pública UFSM Programa de Pós-Graduação em Gestão de Organizações Públicas Centro de Ciências Sociais e Humanas |
dc.source.none.fl_str_mv |
reponame:Manancial - Repositório Digital da UFSM instname:Universidade Federal de Santa Maria (UFSM) instacron:UFSM |
instname_str |
Universidade Federal de Santa Maria (UFSM) |
instacron_str |
UFSM |
institution |
UFSM |
reponame_str |
Manancial - Repositório Digital da UFSM |
collection |
Manancial - Repositório Digital da UFSM |
repository.name.fl_str_mv |
Manancial - Repositório Digital da UFSM - Universidade Federal de Santa Maria (UFSM) |
repository.mail.fl_str_mv |
atendimento.sib@ufsm.br||tedebc@gmail.com |
_version_ |
1815172392762212352 |