O fim do Enem por Escola



Há pouco mais de uma semana (dia 15 de setembro) o site Instituto Nacional de Pesquisas Educacionais Anísio Teixeira (INEP) publicou a “NOTA DE ESCLARECIMENTO Encerramento do Enem por Escola“. A atitude já havia sido anunciada no início deste ano e até agora não teve qualquer repercussão na imprensa, com exceção da Empresa Brasileira de Comunicação (EBC), que veicula obrigatoriamente todas as ações do poder executivo. Mas mesmo sem “virar notícia” precisamos nos perguntar quais as implicações desse fato. No presente texto vamos conhecer um pouco mais sobre o Enem por Escola, suas controvérsias e as inconsistências no discurso da nota que esclarece seu encerramento.

O Enem por Escola

Esse resultado, como diz a nota de esclarecimento, surgiu em 2010 com a mudança de função que o Enem passou a exercer no cenário de avaliação da educação básica e como ferramenta de acesso ao ensino superior. No começo os dados do resultado foram divulgados de forma bastante caótica e com muita inconsistência nas informações, sendo difícil a recuperação das planilhas com os resultados originais. Nas três últimas edições da publicação as planilhas com os dados já obedeciam a um único padrão e foram hospedadas no site do INEP. No entanto, hoje só é possível resgatar a última delas do site dessa instituição, estando os resultados originais de 2013 e 2014 apenas no pacote de arquivos de microdados. Mas para facilitar esse acesso fizemos uma coletânea de referências restaram de onde baixar as planilhas do Enem por Escola:

ANO Fontes de divulgação e links diretos para os arquivos
2010 Fonte: MEC divulga média das escolas no Enem 2010; consulte aqui
Download: https://www.todospelaeducacao.org.br//arquivos/biblioteca/enem_geral_medias2010.xls
2011 Fonte: Saem notas do Enem 2011 por escola
Download: http://estaticog1.globo.com/2012/11/22/notasEnem2011.xls
2012 Fonte: Enem por escola 2012: particulares de MG são maioria em ranking nacional
Download: http://download.uol.com.br/educacao/enem_por_escola_2012/enem_por_escola_2012_brasil.xlsx
2013 Fonte: INEP acaba com Enem por Escola
Download: http://educadata.com.br/wp-content/uploads/2017/09/PLANILHA_ENEM_ESCOLA_2013.xlsx
2014 Fonte: INEP acaba com Enem por Escola
Download: http://educadata.com.br/wp-content/uploads/2017/09/PLANILHA_ENEM_ESCOLA_2014.xlsx
2015 Fonte: Enem Por Escola
Download: http://download.inep.gov.br//educacao_basica/enem/enem_por_escola/2015/Planilhas_Enem_2015_download.xlsx

As dificuldades associadas à divulgação do resultado

Pela ausência de uma avaliação específica com a amplitude do Enem, esse exame se tornou uma grande oportunidade para avaliar a efetividade das políticas de ensino médio, com destaque para aquelas que buscaram intensificar mudanças curriculares nessa etapa de ensino. Não faltam projetos nas escolas que até hoje visam desenvolver as competências descritas na matriz avaliativa das áreas de conhecimento e de redação. E foi com início da divulgação do resultado por escola que toda a comunicação sobre o Enem ganhou escala nunca antes vista no país. A preparação, os desafios e a jornada dos dois dias de exame receberam cada vez mais destaque na cobertura da grande mídia. Mas durante os anos de divulgação do resultado alguns problemas demonstravam que era preciso reavaliar melhor o impacto dessa estratégia de comunicação. Vejamos algumas das principais dificuldades.

A participação dos alunos

Como o Enem depende da vontade das pessoas em fazê-lo o primeiro grande problema apareceu já em 2010 na hora de contabilizar a participação no resultado. Na planilha encontramos, por exemplo, uma nota de rodapé que explica os casos de ausência do resultado escolar nessa edição:

2 – Em Branco – Escola com menos de 10 participantes ou menos de 2% de taxa de participação

Isso, o entanto não evitava a má interpretação do resultado. É impensável trabalhar com o resultado de uma escola em que apenas 10 de 300 alunos (isso já é 3%), por exemplo, tenham feito a prova. Desse modo a saída observada (não se sabe se pelo o INEP ou pela própria imprensa) foi separar as escolas por faixas de participação e com isso elaborar um ranking para cada intervalo. Essa estratégia pode ser conferida na divulgação particionada que o G1 e outros sites fizeram. Esse problema deve ter motivado a restrição, no ano seguinte, aos resultados de escolas que atingiram pelo menos 50% de participação. As condições, no entanto, só ficaram oficializadas com o surgimento da nota explicativa em 2012, que estabelece:

Para o cálculo da proficiência média, em cada uma das provas objetivas e da redação, foram consideradas apenas as unidades escolares que tiveram, concomitantemente:
I – no mínimo 10 estudantes participantes do ENEM em 2012, dentre os estudantes declarados ao Censo Escolar 2012 e;
II – no mínimo cinquenta por cento (50%) de estudantes participantes no ENEM 2012, dentre os estudantes declarados ao Censo Escolar 2012.

O cálculo das médias das áreas e redação por escola

O problema que poucos notam na participação e nas médias calculadas das escolas é o fato de ambas se basearem no Censo Escolar. Esse resultado sempre dependeu diretamente da identificação dos alunos usando números de seus documentos e dados pessoais. Apesar de utilizar técnicas bastante seguras, a associação entre as duas bases (Censo e Enem) pode esconder problemas relacionados à qualidade da coleta no sistema Educacenso. Sobre isso podemos usar como exemplo um caso extremamente curioso de duas escolas que tiveram exatamente os mesmos resultados no ENEM por Escola em 2015:

A razão para o fato é que ambas as escolas tem os mesmos alunos registrados, da 1ª a 3ª série do ensino médio, no Censo Escolar de 2015. Isso ilustra um pouco da complexidade na produção do resultado, que poucos conhecem ou tem acesso. Esse mesmo procedimento também gerou o problema que fez o INEP reexaminar o resultado de inúmeras escolas em 2012 e lançar várias notas técnicas explicando a correção na divulgação. Até hoje os microdados de 2012 não nos permitem calcular com exatidão o resultado das escolas pois essa identificação não aparece como nos demais anos.

A divulgação do ranking

As planilhas a que conseguimos ter acesso com os resultados de 2010 e 2012 contém uma média aritmética das áreas de conhecimento, pela qual o ranking era facilmente produzido e garantir, com isso, o marketing em torno do “selo INEP de qualidade”. De 2013 a 2015 essa média deixou de estar presente nas planilhas e a distribuição dos dados das áreas em abas diferentes no arquivo dificultou um pouco a produção dessa média. Além disso, entrou em cena um conjunto de subsídios que visavam estimular a produção de inúmeros outros tipos de ordenação e, consequentemente, formas de ranking das escolas. Alguns deles eram:

  • Índice socioeconômico dos alunos;
  • Permanência do aluno na mesma escola;
  • Formação docente;
  • Aprovação, reprovação e abandono da escola;
  • Porte da escola, baseado na quantidade de matrículas.

Mas essa sofisticação na produção do resultado foi pouco explorada tendo em vista que a própria imprensa e instituições interessadas já sabiam fazer elas mesmas a composição da média, baseando-se na fórmula dos anos anteriores.

Ao longo dos 6 anos de Enem por Escola os rankings não foram só responsáveis por autorizar o marketing das “melhor escola”, mas também produziram fatos incríveis relacionados à competitividade entre as instituições de ensino. Vejamos o caso do Colégio Objetivo Integrado, em São Paulo:

Apesar de serem consideradas duas escolas distintas, o Objetivo Integrado fica no mesmo endereço que a unidade mais tradicional do Colégio Objetivo, na Avenida Paulista. O colégio dentro do colégio divide o mesmo prédio, mas em espaços distintos. Os alunos das duas escolas têm atividades distintas, assim como foram os resultados por escola divulgados pelo MEC nesta quinta. (Fonte: G1)

Para a criação de tais “escolas olímpicas”, estratégias de manipulação do Censo Escolar ainda hoje permitem que a própria média do Enem seja controlada. Na hora de finalizar o Censo Escolar, uma rede de escolas particulares só precisa realizar uma prova interna e enturmar “virtualmente” na mesma “unidade escolar” os alunos que obtiverem o melhor resultado. O fato de as “escolas” serem criadas no mesmo prédio, de os pais não terem ideia de como o Censo Escolar é realizado e de haver pouca ou nenhuma fiscalização para atestar esse registro, colabora para o uso indiscriminado dessas técnicas. Além disso existem outras maneiras de interferir no resultado (alunos contratados, que já concluíram etc.) mas todas tem como foco fazer o INEP crer que todos estão concluindo o ensino médio na mesma escola.

Os porquês da nota de esclarecimento

Para os que acompanham esse resultado já há algum tempo o mês de outubro é tido como um referência para a publicação do resultado conhecido como “Enem por Escola”. A nota, portanto, vem reafirmar para toda essa audiência a decisão do governo anunciada no início de 2017. Além de retomar a atual postura da equipe do INEP a nota também reserva um espaço para a divulgação das ações que agora “tomam” o lugar e a atenção outra despendida ao Enem. Nesse ponto, ela serve também de reafirmação do Saeb como instrumento que atenderá aos anseios de avaliação das redes de ensino e escolas. Nesse ano, por exemplo, o Saeb passa a contemplar todas as escolas da rede pública no ensino médio e, com isso, possibilita a produção, pela primeira vez, do “Ideb por Escola” nessa etapa da educação básica.

Os porquês do fim e suas inconsistências

É fácil associar o resultado “Enem por Escola” à divulgação do ranking na mídia e ao investimento em publicidade a partir, principalmente, das escolas particulares. Nesse sentido, a nota é bastante direta quando afirma que “… o Enem por Escola foi supervalorizado pela mídia e pelas instituições de ensino, sobretudo as da rede particular.” Mas o uso do resultado, como ranking ou não, também foi bastante utilizado no seio das redes públicas de ensino. Alguns estados, como é o caso do Ceará, tornaram o Enem uma bandeira para o engajamento estudantil e para a mobilização da gestão escolar. Para muitos agentes públicos da educação o resultado por escola chancelado pelo INEP fará muita falta na hora de calcular a evolução das ações escolares. O próprio cálculo a partir dos microdados está ameaçado, pois ele também depende da técnica de identificação usada pelo instituto.

O conteúdo das críticas à divulgação também se estende à maneira como o cálculo era realizado. A nota reserva, portanto, a seguinte explicação para o fato:

Para o cálculo da proficiência dos estudantes, o Enem recorre à Teoria de Resposta ao Item, que estabelece uma escala para cada área do conhecimento de forma independente, de modo que o cálculo de uma única média envolvendo todas as áreas do conhecimento representa grave equívoco metodológico.

Nesse ponto, a nota não é tão esclarecedora e ainda promove um pouco de desinformação. A diferença entre as escalas nas áreas de conhecimento não é empecilho estatístico para a produção de uma média. A prova disso está em outro indicador clássico produzido pelo próprio INEP: o Ideb. Sua fórmula se utiliza dos dados das provas de português e matemática do Saeb, cujos resultados de proficiência são calculados a partir de escalas diferentes. A saída tem sido uma padronização dos resultados que considera limites que converte esses resultados para um intervalo de zero a dez antes de produzir a média. Esse é o famoso Indicador de Desempenho usado na fórmula do Ideb. O fato de terem escalas diferentes só nos exige lançar mão de uma técnica matemática para realizar a equivalência, algo que não foi a opção do INEP para o Enem por Escola, pois o instituto preferiu resolver retirando esse cálculo das últimas três planilhas que divulgavam o resultado.

A última justificativa que encontramos na nota de esclarecimento é apenas uma defesa desse instituto frente que considera o ranking um “fenômeno incontrolável”:

Além disso, o INEP nunca aventou a comparação e a consequente exposição pública de escolas que, uma vez ranqueadas pela imprensa por meio do Enem por Escola, não têm como evitar rótulos que nada contribuem para o aprimoramento pedagógico ou para intervenções que objetivem a melhoria da qualidade do ensino.

A comparação é o coração da estatística e o INEP não tem como resolver esse problema deixando de produzir esse cálculo. Em breve o instituto vai ter que divulgar os resultados do “Ideb por escola” no ensino médio, previsto inclusive para envolver as escolas particulares por meio do SAEB. Como ele planeja “evitar” que esse indicador dê origem a comparações entre elas?

E no fim…

O resultado do Enem por escola era o único retorno estatístico dado pelo MEC e INEP sobre o Enem de forma sistemática. São 7 milhões de participantes todos os anos, dos quais em torno de 1 milhão são estudantes que concluem a 3ª série do ensino médio. As instituições escolares e redes de ensino públicas e privadas confiam na competência do INEP para aperfeiçoar o cálculo e incorporar elementos significativos que ressaltem as qualidades de uma “boa escola”. O resultado por escola não pode se confundir imediatamente com o “ranking”. Algo que não podemos duvidar é de que, feito de forma segura e com foco na comunicação das aprendizagens desenvolvidas pelos alunos, o resultado tem a capacidade servir de referência para a reorientação do currículo e das práticas de engajamento estudantil, que o SAEB não tem qualquer chance substituir.