Principais conclusões do projeto

As principais conclusões do projeto foram as seguintes:

1. A participação de Portugal no PISA, logo no primeiro ciclo realizado em 2000, insere-se no que se designou de “emulação normativa”, a partir dos trabalhos de Verger (2016) e Addey e Sellar (2017, 2019). A decisão, que não foi consensual no seio da equipa governativa no Ministério da Educação (ME), foi tomada num quadro em que o governo português se quis apresentar perante a comunidade internacional (e nacional) como atribuindo uma prioridade política à educação, reconhecendo na OCDE uma instância internacional privilegiada capaz de produzir indicadores de avaliação externa do desempenho dos alunos portugueses.

2. A criação, no âmbito do ME, das estruturas técnico-administrativas responsáveis pela participação de Portugal nesse complexo processo conduzido pela OCDE foi feita a partir da preocupação com a elaboração e aplicação dos exames nacionais de um modo mais “profissionalizado” e rigoroso. Foi ao Gabinete de Avaliação Educacional (GAVE), criado em 1997, que foi atribuída a responsabilidade técnica de organizar a participação dos estudantes portugueses nos ciclos de 2000, 2003, 2006, 2009 e 2012. A partir de 2013, essa responsabilidade transitou para o Instituto de Avaliação Educativa (IAVE), apresentado como um instituto público de regime especial dotado de autonomia pedagógica, científica, administrativa e financeira.

3. Portugal apresenta uma subida consistente de dados entre 2000 e 2018, apresentando-se como o único país da União Europeia com tal performance. Foi essa subida consistente que levou a OCDE a considerar Portugal um “caso de sucesso”. Uma análise detalhada mostra que o grande salto nos resultados se realizou nos ciclos de 2009 e 2012, estagnando no último ciclo de 2018. Esses resultados foram objeto de detalhada análise, levantando-se algumas hipóteses (e.g., composição das amostras, “efeito Ronaldo” na representação do país), que continuam a ser trabalhadas pela equipa e que serão objeto de publicação futura.

4. Portugal tem participado em várias outras avaliações de larga escala (TIMSS, PIRLS, ICILS, TALIS), promovidas por diversas organizações internacionais, em particular a IEA e a OCDE. No TIMSS participa desde 1995, no PISA desde 2000, no PIRLS desde 2011, no ICILS desde 2013 e no TALIS desde 2018. Este último estudo foca-se na opinião dos diretores de escola e professores e nas condições de trabalho. Os dados analisados, relativamente às avaliações sobre os alunos, permitem constatar que Portugal tem vindo a apresentar resultados positivos, nas diferentes avaliações, apesar das oscilações consoante os ciclos e as diferentes literacias (leitura, ciências e matemática). No caso do TALIS, a análise efetuada permite concluir que o número de indicadores positivos é superior ao de negativos. Indica, também, que a perceção que têm sobre os parâmetros relacionados com o seu trabalho em contextos diversificados é muito inferior
à perceção média que têm os docentes da OECD. As opiniões dos diretores portugueses não são tão “pessimistas” como as dos professores, mas também não são positivas.

5. Durante o processo de análise de resultados do PISA, face à aparente complexidade de alguns itens para jovens de 15 anos, a equipa decidiu adicionar uma atividade de investigação no projeto: replicação da administração de itens PISA (selecionados de entre os itens de Ciências libertos em 2015 e os itens de Matemática libertos em 2012), para os quais foi possível identificar resultados por aluno nas bases de dados da OCDE. O Caderno foi administrado numa amostra de conveniência constituída por alunos de escolas públicas e privadas dos ensinos básico e secundário (9.º ao 12.º anos) e por alunos do ensino superior de diversos cursos e instituições, privadas e públicas, de várias regiões do país, num total de 839 alunos, com idades a partir dos 15 anos. Uma análise pormenorizada dos resultados mostra que a maioria das turmas tem resultados que não diferem significativamente dos resultados PISA da amostra de Portugal nos mesmos itens em 2015 e 2012 e que quase todos os grupos etários têm resultados que também não diferem significativamente dos resultados PISA da amostra de Portugal nos mesmos itens em 2015 e 2012. Assim, contrariamente ao hipotisado, concluiu-se que os itens PISA parecem ter complexidade adequada para alunos de 15 anos e que os alunos mais velhos, incluindo do ensino superior, têm resultados semelhantes aos alunos de 15 anos. Ou seja, as competências e conhecimentos medidos pelos itens PISA parecem ser as mesmas em jovens de 15 anos e em jovens e jovens adultos de idade superior. Estas conclusões provisórias merecem ser objeto de mais estudo.

6.No projeto procedeu-se à exploração, análise e busca de significado da representação mediática do PISA no jornal Público – quanto e como se apresenta a receção do PISA no discurso noticioso, como no de opinião, num jornal diário nacional considerado de referência. O estudo desenvolveu-se em dois níveis de análise: o 1º, de análise das características de superfície de todo o material com palavra-chave PISA (180 peças); o 2º, de análise de aprofundamento qualitativo das peças de opinião e noticiosas. O estudo mostrou (i) uma evolução progressiva da cobertura e destaque atribuídos pelo jornal ao PISA, sinais de sua crescente credibilidade e importância política na sociedade e na agenda mediática; (ii) o crescente tom positivo dos títulos das peças, sinalizando o reconhecimento da evolução favorável dos resultados portugueses no PISA, especialmente evidente nas notícias, em contraste com uma maior negatividade nas crónicas/artigos de opinião; (iii) a quase ausência da “voz pública”, em particular dos protagonistas diretos das escolas, sinalizando a limitada abertura do jornal a uma opinião socialmente plural.

7. Em Portugal, os estudos comparativos internacionais alimentam mais as discussões nos meios de comunicação e na opinião pública em geral do que na comunidade educativa, nomeadamente entre os professores. Foram encontradas diminutas referências na imprensa dos sindicatos (tanto da FENPROF como da FNE) e das associações pedagógicas de Matemática e de Português, pelo que se pode afirmar que a imprensa associativa e sindical dos professores não constitui o instrumento mais adequado para se estudar a posição destas entidades sobre o PISA.

8. Ao nível do discurso político, há uma apropriação dos resultados do PISA como fruto da ação política – nuns casos, como legitimação das políticas, noutros casos como criação de uma agenda. O discurso político assume explicitamente a ligação das políticas aos resultados do PISA, sobretudo conceptual nos textos curriculares e nos exames nacionais, em resultado de uma ação política consciente e intencional. Esta influência não tem correspondência no discurso dos atores – professores, associações sindicais.
O último ciclo de políticas em Portugal (2015-2019) vai, sobretudo, reforçar as relações entre conhecimento e pedagogia no currículo.

Num plano mais global, referente ao papel que a OCDE pretende atribuir ao PISA, podem-se considerar as seguintes conclusões:

1. Apesar do esforço que a OCDE tem vindo a desenvolver nos últimos anos, o PISA possui fragilidades metodológicas que limitam a validade de muitos dos dados apresentados e consequente extrapolação em termos de conclusões políticas.

2. O PISA transformou-se num projeto de big science, inserido num quadro teórico preciso, a Knowledge Capital Theory (ver trabalhos de Hanushek e Woessmann, 2016, 2019). Discutível nesse quadro teórico, apresenta-se como inteiramente desajustado face a outros quadros teóricos e outras perspetivas no campo educacional. Face às limitações e riscos deste tipo de abordagem, que se assume como um projeto de governação global conduzido pela OCDE, constitui um dever dos cientistas sociais (e da cidadania global) procurar alternativas humanistas de regulação transnacional nas políticas de educação.