Você está se atendo muito a uma posição de comparação, que não pode ser inferida de um ano para outro, já que, como você mesmo coloca, a população estudada possui um dimensionamento diferente. O que deve se observado é o comportamento do índice e, nesse caso, o Brasil apresenta um incremento consistente ano a ano. Lembrando que o PISA possui um enfoque diferente a cada edição, em uma previlegiando mais a matemática e em outra a leitura, apesar disso o avanço ainda é constante mesmo quando o enfoque foi em matemática. Outra coisa é que o estudo considera uma idade padrão de 15 anos. A bagagem que esse aluno traz na matéria é aquela que foi acumulada em seu processo de aprendizagem começado 7 ou 8 anos antes, então estamos medindo o resultado de políticas políticas públicas adotadas na educação (e metodologias do sistema privado) que foram implementadas em 1995 em diante.
Os problemas da educação pública não são simples e reducionistas como você apresenta, mas outros e mais complexos (como também os da saúde). O que acho surpreendente no resultado apresentado é que eu esperava um desempenho pior do Brasil, com uma piora nos anos subsequentes (o que não ocorre), devido a estratégias como os ciclos (o que vai fazer com que eu tenha de repensar algumas ideias que já tenho sobre o assunto).
Por outro lado, porque disse que a Suécia está em situação pior? Observe que a despeito da colocação, ano a ano há uma redução no índice, e isso tem sido consistente no tempo. Uma deterioração da qualidade do ensino é muito pior que a posição de um país que partiu de uma base baixa e apresenta uma melhora. Mas apenas os dados sem uma interpretação mais detalhada nada informa e não tenho subsídios para analisar melhor a situação da Suécia.
