Estabilidade e transitoriedade no ranking do ENEM de médias por escola
Autor(a) principal: | |
---|---|
Data de Publicação: | 2012 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Biblioteca Digital de Teses e Dissertações do INSPER |
Texto Completo: | https://www.repositorio.insper.edu.br/handle/11224/876 |
Resumo: | Nesse artigo, nós exploramos alguns aspectos estatísticos, usualmente negligenciados, do ranking de ENEM de médias por escola – o instrumento mais difundido de avaliação das escolas brasileiras de ensino médio. Nós encontramos evidências de variação amostral nos scores escolares medidos e verificamos o impacto que o porte da escola tem na atenuação desse efeito. Identificamos também evidências de flutuações estatísticas de curto prazo (ruído) e de reversão à média. Estimamos as magnitudes relativas dos componentes persistentes e não-persistentes (voláteis) no desempenho de escolas de diferentes categorias em determinado ano; em um caso extremo, o de escolas públicas de pequeno porte, estimamos que o componente volátil médio correspondia a aproximadamente 62% dos scores medidos naquele ano. Estudamos também a estabilidade intertemporal dos rankings por meio de matrizes de Markov. Finalmente, avaliamos a sensibilidade do ranking a uma mudança de critério de desempenho: construímos dois rankings de valor adicionado para escolas públicas paulistas – um exercendo controle estatístico para as características socioeconômicas e do aluno ingressante em cada escola, outro expandindo esse controle também sobre a infraestrutura escolar – a fim de comparar esses rankings com o ranking tradicional. Nós descobrimos que a adoção desses novos critérios não gerou alterações radicais na distribuição de desempenhos das escolas, mas teve impacto substancial nos ranqueamentos, sugerindo baixos graus de separação efetiva entre posições consecutivas do ranking. |
id |
INSP_a182854e9c6d3dbfe4b7a4f6b2c8aa32 |
---|---|
oai_identifier_str |
oai:repositorio.insper.edu.br:11224/876 |
network_acronym_str |
INSP |
network_name_str |
Biblioteca Digital de Teses e Dissertações do INSPER |
repository_id_str |
|
spelling |
Estabilidade e transitoriedade no ranking do ENEM de médias por escolaENEMEducaçãoEnsino MédioRankingsValor AdicionadoEducationHigh SchoolValue-AddedNesse artigo, nós exploramos alguns aspectos estatísticos, usualmente negligenciados, do ranking de ENEM de médias por escola – o instrumento mais difundido de avaliação das escolas brasileiras de ensino médio. Nós encontramos evidências de variação amostral nos scores escolares medidos e verificamos o impacto que o porte da escola tem na atenuação desse efeito. Identificamos também evidências de flutuações estatísticas de curto prazo (ruído) e de reversão à média. Estimamos as magnitudes relativas dos componentes persistentes e não-persistentes (voláteis) no desempenho de escolas de diferentes categorias em determinado ano; em um caso extremo, o de escolas públicas de pequeno porte, estimamos que o componente volátil médio correspondia a aproximadamente 62% dos scores medidos naquele ano. Estudamos também a estabilidade intertemporal dos rankings por meio de matrizes de Markov. Finalmente, avaliamos a sensibilidade do ranking a uma mudança de critério de desempenho: construímos dois rankings de valor adicionado para escolas públicas paulistas – um exercendo controle estatístico para as características socioeconômicas e do aluno ingressante em cada escola, outro expandindo esse controle também sobre a infraestrutura escolar – a fim de comparar esses rankings com o ranking tradicional. Nós descobrimos que a adoção desses novos critérios não gerou alterações radicais na distribuição de desempenhos das escolas, mas teve impacto substancial nos ranqueamentos, sugerindo baixos graus de separação efetiva entre posições consecutivas do ranking.In this article, we analyzed some usually neglected statistical issues concerning ENEM’s rankings – the most popular instrument for evaluating the quality of Brazilian high schools. We found evidences of sampling variation on schools’ measured performances and checked its diminishing effect as schools’ sizes increase. We also identified evidences of short-term statistical fluctuations (noise) and mean-reversion. We estimated the relative magnitudes of persistent and non-persistent (volatile) components on schools’ performances from different categories in a given year; in the extreme case of small, public schools we estimated the mean volatile component as about 62% of the scores measured that year. Furthermore, we also studied the stability of the rankings across time, by means of Markov matrices. Finally, we evaluated how stable the ranking would behave after changing the adopted criteria to measure performance: we built two rankings based on added scores (“value-added”) for a specific category of Brazilian schools – the first of those imposing statistical control for each school’s freshmen’s characteristics and students’ socioeconomic status, and a second one expanding the prior statistical control for each school’s infrastructure data, as well – in order to compare these rankings to the one based on absolute scores. We discovered that the adoption of these new criteria did not generate extreme effects on schools’ distribution of performances, but it did impact heavily on ranking positions, suggesting low degrees of effective separation between consecutive positions.Moita, Rodrigo Menon SimoesSoida, Ivan Akio ItocazoSoida, Ivan Akio Itocazo2021-09-13T03:15:10Z2015-10-07T13:36:25Z2021-09-13T03:15:10Z20122015-10-07T13:36:25Z20122012info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesis85 p.application/pdfhttps://www.repositorio.insper.edu.br/handle/11224/876São PauloTODOS OS DOCUMENTOS DESSA COLEÇÃO PODEM SER ACESSADOS, MANTENDO-SE OS DIREITOS DOS AUTORES PELA CITAÇÃO DA ORIGEMinfo:eu-repo/semantics/openAccessporreponame:Biblioteca Digital de Teses e Dissertações do INSPERinstname:Instituição de Ensino Superior e de Pesquisa (INSPER)instacron:INSPER2024-04-01T12:26:28Zoai:repositorio.insper.edu.br:11224/876Biblioteca Digital de Teses e Dissertaçõeshttps://www.insper.edu.br/biblioteca-telles/PRIhttps://repositorio.insper.edu.br/oai/requestbiblioteca@insper.edu.br ||opendoar:2024-04-01T12:26:28Biblioteca Digital de Teses e Dissertações do INSPER - Instituição de Ensino Superior e de Pesquisa (INSPER)false |
dc.title.none.fl_str_mv |
Estabilidade e transitoriedade no ranking do ENEM de médias por escola |
title |
Estabilidade e transitoriedade no ranking do ENEM de médias por escola |
spellingShingle |
Estabilidade e transitoriedade no ranking do ENEM de médias por escola Soida, Ivan Akio Itocazo ENEM Educação Ensino Médio Rankings Valor Adicionado Education High School Value-Added |
title_short |
Estabilidade e transitoriedade no ranking do ENEM de médias por escola |
title_full |
Estabilidade e transitoriedade no ranking do ENEM de médias por escola |
title_fullStr |
Estabilidade e transitoriedade no ranking do ENEM de médias por escola |
title_full_unstemmed |
Estabilidade e transitoriedade no ranking do ENEM de médias por escola |
title_sort |
Estabilidade e transitoriedade no ranking do ENEM de médias por escola |
author |
Soida, Ivan Akio Itocazo |
author_facet |
Soida, Ivan Akio Itocazo |
author_role |
author |
dc.contributor.none.fl_str_mv |
Moita, Rodrigo Menon Simoes |
dc.contributor.author.fl_str_mv |
Soida, Ivan Akio Itocazo Soida, Ivan Akio Itocazo |
dc.subject.por.fl_str_mv |
ENEM Educação Ensino Médio Rankings Valor Adicionado Education High School Value-Added |
topic |
ENEM Educação Ensino Médio Rankings Valor Adicionado Education High School Value-Added |
description |
Nesse artigo, nós exploramos alguns aspectos estatísticos, usualmente negligenciados, do ranking de ENEM de médias por escola – o instrumento mais difundido de avaliação das escolas brasileiras de ensino médio. Nós encontramos evidências de variação amostral nos scores escolares medidos e verificamos o impacto que o porte da escola tem na atenuação desse efeito. Identificamos também evidências de flutuações estatísticas de curto prazo (ruído) e de reversão à média. Estimamos as magnitudes relativas dos componentes persistentes e não-persistentes (voláteis) no desempenho de escolas de diferentes categorias em determinado ano; em um caso extremo, o de escolas públicas de pequeno porte, estimamos que o componente volátil médio correspondia a aproximadamente 62% dos scores medidos naquele ano. Estudamos também a estabilidade intertemporal dos rankings por meio de matrizes de Markov. Finalmente, avaliamos a sensibilidade do ranking a uma mudança de critério de desempenho: construímos dois rankings de valor adicionado para escolas públicas paulistas – um exercendo controle estatístico para as características socioeconômicas e do aluno ingressante em cada escola, outro expandindo esse controle também sobre a infraestrutura escolar – a fim de comparar esses rankings com o ranking tradicional. Nós descobrimos que a adoção desses novos critérios não gerou alterações radicais na distribuição de desempenhos das escolas, mas teve impacto substancial nos ranqueamentos, sugerindo baixos graus de separação efetiva entre posições consecutivas do ranking. |
publishDate |
2012 |
dc.date.none.fl_str_mv |
2012 2012 2012 2015-10-07T13:36:25Z 2015-10-07T13:36:25Z 2021-09-13T03:15:10Z 2021-09-13T03:15:10Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://www.repositorio.insper.edu.br/handle/11224/876 |
url |
https://www.repositorio.insper.edu.br/handle/11224/876 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
85 p. application/pdf |
dc.coverage.none.fl_str_mv |
São Paulo |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações do INSPER instname:Instituição de Ensino Superior e de Pesquisa (INSPER) instacron:INSPER |
instname_str |
Instituição de Ensino Superior e de Pesquisa (INSPER) |
instacron_str |
INSPER |
institution |
INSPER |
reponame_str |
Biblioteca Digital de Teses e Dissertações do INSPER |
collection |
Biblioteca Digital de Teses e Dissertações do INSPER |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações do INSPER - Instituição de Ensino Superior e de Pesquisa (INSPER) |
repository.mail.fl_str_mv |
biblioteca@insper.edu.br || |
_version_ |
1814986257387749376 |