Estabilidade e transitoriedade no ranking do ENEM de médias por escola

Detalhes bibliográficos
Autor(a) principal: Soida, Ivan Akio Itocazo
Data de Publicação: 2012
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações do INSPER
Texto Completo: https://www.repositorio.insper.edu.br/handle/11224/876
Resumo: Nesse artigo, nós exploramos alguns aspectos estatísticos, usualmente negligenciados, do ranking de ENEM de médias por escola – o instrumento mais difundido de avaliação das escolas brasileiras de ensino médio. Nós encontramos evidências de variação amostral nos scores escolares medidos e verificamos o impacto que o porte da escola tem na atenuação desse efeito. Identificamos também evidências de flutuações estatísticas de curto prazo (ruído) e de reversão à média. Estimamos as magnitudes relativas dos componentes persistentes e não-persistentes (voláteis) no desempenho de escolas de diferentes categorias em determinado ano; em um caso extremo, o de escolas públicas de pequeno porte, estimamos que o componente volátil médio correspondia a aproximadamente 62% dos scores medidos naquele ano. Estudamos também a estabilidade intertemporal dos rankings por meio de matrizes de Markov. Finalmente, avaliamos a sensibilidade do ranking a uma mudança de critério de desempenho: construímos dois rankings de valor adicionado para escolas públicas paulistas – um exercendo controle estatístico para as características socioeconômicas e do aluno ingressante em cada escola, outro expandindo esse controle também sobre a infraestrutura escolar – a fim de comparar esses rankings com o ranking tradicional. Nós descobrimos que a adoção desses novos critérios não gerou alterações radicais na distribuição de desempenhos das escolas, mas teve impacto substancial nos ranqueamentos, sugerindo baixos graus de separação efetiva entre posições consecutivas do ranking.
id INSP_a182854e9c6d3dbfe4b7a4f6b2c8aa32
oai_identifier_str oai:repositorio.insper.edu.br:11224/876
network_acronym_str INSP
network_name_str Biblioteca Digital de Teses e Dissertações do INSPER
repository_id_str
spelling Estabilidade e transitoriedade no ranking do ENEM de médias por escolaENEMEducaçãoEnsino MédioRankingsValor AdicionadoEducationHigh SchoolValue-AddedNesse artigo, nós exploramos alguns aspectos estatísticos, usualmente negligenciados, do ranking de ENEM de médias por escola – o instrumento mais difundido de avaliação das escolas brasileiras de ensino médio. Nós encontramos evidências de variação amostral nos scores escolares medidos e verificamos o impacto que o porte da escola tem na atenuação desse efeito. Identificamos também evidências de flutuações estatísticas de curto prazo (ruído) e de reversão à média. Estimamos as magnitudes relativas dos componentes persistentes e não-persistentes (voláteis) no desempenho de escolas de diferentes categorias em determinado ano; em um caso extremo, o de escolas públicas de pequeno porte, estimamos que o componente volátil médio correspondia a aproximadamente 62% dos scores medidos naquele ano. Estudamos também a estabilidade intertemporal dos rankings por meio de matrizes de Markov. Finalmente, avaliamos a sensibilidade do ranking a uma mudança de critério de desempenho: construímos dois rankings de valor adicionado para escolas públicas paulistas – um exercendo controle estatístico para as características socioeconômicas e do aluno ingressante em cada escola, outro expandindo esse controle também sobre a infraestrutura escolar – a fim de comparar esses rankings com o ranking tradicional. Nós descobrimos que a adoção desses novos critérios não gerou alterações radicais na distribuição de desempenhos das escolas, mas teve impacto substancial nos ranqueamentos, sugerindo baixos graus de separação efetiva entre posições consecutivas do ranking.In this article, we analyzed some usually neglected statistical issues concerning ENEM’s rankings – the most popular instrument for evaluating the quality of Brazilian high schools. We found evidences of sampling variation on schools’ measured performances and checked its diminishing effect as schools’ sizes increase. We also identified evidences of short-term statistical fluctuations (noise) and mean-reversion. We estimated the relative magnitudes of persistent and non-persistent (volatile) components on schools’ performances from different categories in a given year; in the extreme case of small, public schools we estimated the mean volatile component as about 62% of the scores measured that year. Furthermore, we also studied the stability of the rankings across time, by means of Markov matrices. Finally, we evaluated how stable the ranking would behave after changing the adopted criteria to measure performance: we built two rankings based on added scores (“value-added”) for a specific category of Brazilian schools – the first of those imposing statistical control for each school’s freshmen’s characteristics and students’ socioeconomic status, and a second one expanding the prior statistical control for each school’s infrastructure data, as well – in order to compare these rankings to the one based on absolute scores. We discovered that the adoption of these new criteria did not generate extreme effects on schools’ distribution of performances, but it did impact heavily on ranking positions, suggesting low degrees of effective separation between consecutive positions.Moita, Rodrigo Menon SimoesSoida, Ivan Akio ItocazoSoida, Ivan Akio Itocazo2021-09-13T03:15:10Z2015-10-07T13:36:25Z2021-09-13T03:15:10Z20122015-10-07T13:36:25Z20122012info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesis85 p.application/pdfhttps://www.repositorio.insper.edu.br/handle/11224/876São PauloTODOS OS DOCUMENTOS DESSA COLEÇÃO PODEM SER ACESSADOS, MANTENDO-SE OS DIREITOS DOS AUTORES PELA CITAÇÃO DA ORIGEMinfo:eu-repo/semantics/openAccessporreponame:Biblioteca Digital de Teses e Dissertações do INSPERinstname:Instituição de Ensino Superior e de Pesquisa (INSPER)instacron:INSPER2024-04-01T12:26:28Zoai:repositorio.insper.edu.br:11224/876Biblioteca Digital de Teses e Dissertaçõeshttps://www.insper.edu.br/biblioteca-telles/PRIhttps://repositorio.insper.edu.br/oai/requestbiblioteca@insper.edu.br ||opendoar:2024-04-01T12:26:28Biblioteca Digital de Teses e Dissertações do INSPER - Instituição de Ensino Superior e de Pesquisa (INSPER)false
dc.title.none.fl_str_mv Estabilidade e transitoriedade no ranking do ENEM de médias por escola
title Estabilidade e transitoriedade no ranking do ENEM de médias por escola
spellingShingle Estabilidade e transitoriedade no ranking do ENEM de médias por escola
Soida, Ivan Akio Itocazo
ENEM
Educação
Ensino Médio
Rankings
Valor Adicionado
Education
High School
Value-Added
title_short Estabilidade e transitoriedade no ranking do ENEM de médias por escola
title_full Estabilidade e transitoriedade no ranking do ENEM de médias por escola
title_fullStr Estabilidade e transitoriedade no ranking do ENEM de médias por escola
title_full_unstemmed Estabilidade e transitoriedade no ranking do ENEM de médias por escola
title_sort Estabilidade e transitoriedade no ranking do ENEM de médias por escola
author Soida, Ivan Akio Itocazo
author_facet Soida, Ivan Akio Itocazo
author_role author
dc.contributor.none.fl_str_mv Moita, Rodrigo Menon Simoes
dc.contributor.author.fl_str_mv Soida, Ivan Akio Itocazo
Soida, Ivan Akio Itocazo
dc.subject.por.fl_str_mv ENEM
Educação
Ensino Médio
Rankings
Valor Adicionado
Education
High School
Value-Added
topic ENEM
Educação
Ensino Médio
Rankings
Valor Adicionado
Education
High School
Value-Added
description Nesse artigo, nós exploramos alguns aspectos estatísticos, usualmente negligenciados, do ranking de ENEM de médias por escola – o instrumento mais difundido de avaliação das escolas brasileiras de ensino médio. Nós encontramos evidências de variação amostral nos scores escolares medidos e verificamos o impacto que o porte da escola tem na atenuação desse efeito. Identificamos também evidências de flutuações estatísticas de curto prazo (ruído) e de reversão à média. Estimamos as magnitudes relativas dos componentes persistentes e não-persistentes (voláteis) no desempenho de escolas de diferentes categorias em determinado ano; em um caso extremo, o de escolas públicas de pequeno porte, estimamos que o componente volátil médio correspondia a aproximadamente 62% dos scores medidos naquele ano. Estudamos também a estabilidade intertemporal dos rankings por meio de matrizes de Markov. Finalmente, avaliamos a sensibilidade do ranking a uma mudança de critério de desempenho: construímos dois rankings de valor adicionado para escolas públicas paulistas – um exercendo controle estatístico para as características socioeconômicas e do aluno ingressante em cada escola, outro expandindo esse controle também sobre a infraestrutura escolar – a fim de comparar esses rankings com o ranking tradicional. Nós descobrimos que a adoção desses novos critérios não gerou alterações radicais na distribuição de desempenhos das escolas, mas teve impacto substancial nos ranqueamentos, sugerindo baixos graus de separação efetiva entre posições consecutivas do ranking.
publishDate 2012
dc.date.none.fl_str_mv 2012
2012
2012
2015-10-07T13:36:25Z
2015-10-07T13:36:25Z
2021-09-13T03:15:10Z
2021-09-13T03:15:10Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.repositorio.insper.edu.br/handle/11224/876
url https://www.repositorio.insper.edu.br/handle/11224/876
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 85 p.
application/pdf
dc.coverage.none.fl_str_mv São Paulo
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações do INSPER
instname:Instituição de Ensino Superior e de Pesquisa (INSPER)
instacron:INSPER
instname_str Instituição de Ensino Superior e de Pesquisa (INSPER)
instacron_str INSPER
institution INSPER
reponame_str Biblioteca Digital de Teses e Dissertações do INSPER
collection Biblioteca Digital de Teses e Dissertações do INSPER
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações do INSPER - Instituição de Ensino Superior e de Pesquisa (INSPER)
repository.mail.fl_str_mv biblioteca@insper.edu.br ||
_version_ 1814986257387749376