Acabaram de sair os resultados do Pisa e a China está na liderança. E foi assim em quase todas as edições nas quais a China participou. Mas tem um problema metodológico sério com estes dados.
Em 2009, os testes do Pisa foram aplicados em 12 das 22 províncias chinesas. Segundo o Diretor de Educação e Habilidades da OCDE, Andreas Schleicher, os resultados de todas estas províncias eram impressionantes – mas apenas os resultados de Xangai foram publicados (e realmente eram os melhores do mundo). Os demais jamais foram tornados públicos (segundo Andreas Schleicher revelou anos mais tarde, por serem não-representativos – o que contrasta com a sua declaração anterior sobre os supostos bons resultados). Isto já deveria acender um sinal de alerta.
Na edição de 2012, só Xangai participou – novamente, com um primeiro lugar estelar. Na edição de 2015, ao lado de Xangai, foram testadas as províncias de Pequim, Jiangsu e Guangdong. O resultado? A China (ou melhor, este grupo de províncias) despencou: caiu para sexto em matemática, décimo em ciências e vigésimo sétimo em leitura no ranking global.
No relatório de 2018, foram mantidas três daquelas províncias, mas Guangdong deu lugar a Zhejiang. Não houve explicação do governo chinês ou da OCDE pelo motivo da troca. Mas vale lembrar: enquanto Guangdong possui forte desigualdade socioeconômica urbano-rural, Zhejiang tem a menor disparidade. Essa alteração da amostra testada provocou um enorme salto de desempenho sem paralelo em outros países (até porque nenhum outro país mexe na amostra desta forma). E – surpresa! – a China voltou ao topo do ranking.
E aqui surge uma pista quente: a despeito de não abrirem os dados detalhados por província, fica evidente que a nota baixa anterior fora puxada por Guangdong (que tinha ~50% da população do grupo testado). Fosse Guangdong testada isoladamente, seu resultado seria bem mais baixo que a média local aferida em 2015 – e é aí que reside o motivo da troca por Zhejiang em 2018. E podemos inferir com boa dose de segurança que Guangdong representa melhor a China que as outras províncias testadas.
E aqui vale lembrar também de algo básico em análise de séries temporais: só existe comparabilidade quando se mantém a metodologia ao longo do tempo. O simples fato de mudar a geografia dos alunos que fizeram a prova já anula qualquer possibilidade de comparativo (lembrando que, ao longo destas quatro edições entre 2009 e 2018, a China mudou as províncias testadas por três vezes).
Mas avancemos no tempo: em 2022, a China não participou por não ter conseguido coletar os resultados das provas de acordo com os critérios exigidos pela OCDE (que exigiam provas presenciais – sendo que a China atravessara um longo lockdown, inclusive nas escolas).
E agora, na edição de 2025 recém-divulgada, a China reapareceu (com as mesmas quatro províncias de 2018) novamente como líder global do ranking PISA.
Estas quatro províncias detêm apenas cerca de 13% da população do país. E todas estão no top 5 em renda per capita na China. Não é preciso ser muito versado em estatística para inferir que esta amostra é extremamente enviesada. Mas preciso ser justo com a OCDE: ela reconhece que “as quatro províncias (Pequim, Xangai, Jiangsu e Zhejiang) na China ocidental estão longe de representarem a China como um todo”. OK até aqui.
Por outro lado, na sequência do mesmo documento, diz que “o tamanho de cada uma delas se compara ao de um típico país-membro da OCDE, com uma população total de mais de 180 milhões de pessoas”, como se isto justificasse a coleta de parte do país em vez do todo. Lembremos que, a rigor, a ideia do teste é medir o desempenho médio dos países, não de regiões específicas. Fosse assim, o Brasil poderia simplesmente enviar apenas os resultados de São Paulo e Rio de Janeiro, cuja população é igual ou superior à de muitos países-membros da OCDE. Ou se os EUA testassem apenas a população dos riquíssimos Texas e Califórnia. Se o fizessem, seriam acusados de manipular o resultado – e com razão.
Vale lembrar que nos relatórios da OCDE sempre é deixado claro que se trata de uma parte da China: não aparece como China, mas sim como “B-S-J-Z (China)”. Mas por vezes a própria OCDE escorrega na nomenclatura: nos gráficos 5.1 e 5.2 da publicação “Benchmarking the Performance of China’s Education System”, a OCDE rotula as colunas simplesmente como “China”. Não surpreendentemente, muitos veículos de mídia mundo afora são induzidos a reproduzir os gráficos e os resultados dizendo que se referem à China, sem fazer a ressalva necessária (veja este gráfico do popular repositório de estatísticas World Population Review). Até mesmo a influente e renomada BBC comete este erro ao mencionar os resultados.
Há outros países que não participaram integralmente? Sim, mas são alguns poucos casos bem excepcionais:
- Azerbaijão: apenas testa estudantes da capital Baku
- Ucrânia: desde a invasão russa em 2022, não aplica mais o teste nas regiões ocupadas (por motivos óbvios)
- Curdistão: uma região separatista do Iraque
Então vale a pergunta: por qual motivo a OCDE é tão leniente com esta consistente metodologia freestyle da China? Eu não sei a resposta.
Mas, em países autocráticos a pouca transparência com dados (que já fora um grande problema na China durante a pandemia), é uma constante. Ainda que seus avanços socioeconômicos sejam impressionantes, há uma pulsão em produzir indicadores que exagerem isto. Escolhem a dedo qual parte do país pode ter o melhor indicador do mundo. Então cabe à mídia e à comunidade acadêmica consumir estes dados com uma grande dose de ceticismo e fazer as devidas ressalvas ao grande público, para que não sejam meios de transmissão de desinformação.
Nota: Macau e Hong Kong são consideradas regiões administrativas especiais
