Ciência: Avaliação das unidades ou concurso de beleza?

Anuncia-se a avaliação das unidades de I&D. Com o regresso da avaliação centrada na visita, ganhamos o contacto visual entre o avaliador e o avaliado, mas não asseguramos uma melhor qualidade da avaliação. Para unidades da dimensão das nossas não há solução simples e barata. Os indicadores bibliométricos têm limitações que todos reconhecem. A avaliação direta por pares tem outras limitações e incertezas. Estas são atenuadas se for feita com rigor e aplicada peça a peça, artigo a artigo. O custo é quase proibitivo. As avaliações tradicionais da FCT e a que agora vai ser feita não passam de concursos de beleza, na linguagem de  John Maynard Keynes (1936).

Foi finalmente publicado o Regulamento de Avaliação e Financiamento Plurianual de Unidades de I&D. Nada de novo, mas muito de curioso. Como é usual, teremos dois critérios relativos ao último quinquénio, o primeiro (A) olhando para a qualidade, mérito, relevância e nível de internacionalização da atividade realizada e o segundo (B) para o mérito científico da equipa.  Um terceiro critério (C) vai analisar a adequação de objetivos /.../ inclusivamente quanto ao plano de contratação de novos investigadores contribuindo para o aumento do emprego científico no próximo quinquénio. Presume-se que o critério (A) não se aplicará a novas unidades que terão de ser avaliadas apenas pela qualidade dos seus membros e da proposta que faz para o futuro.

Parece razoável pedir que cada unidade apresente informação sobre atividades /.../ que considerem mais relevantes evitando listas exaustivas que seriam inúteis pela sua dimensão e impossibilidade de avaliação concreta pelo painel. Já os investigadores doutorados parece poderem apresentar a sua lista exaustiva de publicações no quinquénio, mas não devem ser submetidas referências a indicadores bibliométricos, incluindo factores de impacto. É muito curiosa esta preocupação porque em Portugal nunca foi feita uma avaliação baseada em indicadores bibliométricos.

Cada unidade tem um mínimo (usual) de 10 investigadores doutorados e cada painel internacional vai avaliar pelo menos 4 unidades. Sabemos que muitas unidades têm centenas de investigadores doutorados sendo as pequenas unidades hoje residuais. (Foram eliminadas nas sucessivas rondas de avaliação!) A abrangência dos painéis é sempre um problema porque os avaliados vêm vantagens em serem avaliados por painéis muito focados nas suas áreas de trabalho, no limite por um painel especialmente desenhado para a sua unidade. A redação sugere que se vai evitar este excesso permitindo a cada painel a comparação entre pelo menos 4 unidades. É pouco, mas compreensível como limite mínimo. Vamos, portanto, ter painéis internacionais a avaliar e visitar 4 ou mais unidades, algumas com centenas de membros doutorados. Nada de novo e já sabemos o que vai acontecer.

Surpreende a necessidade de proibir as referências a indicadores bibliométricos, incluindo factores de impacto. É inútil porque nenhum avaliador confiaria nos indicadores propostos pelos avaliados pela simples razão de que teria de assegurar que os critérios e as metodologias de cálculo são uniformes o que não ocorreria! Seriam vistos como uma tentativa de influenciar ou de distorcer a visão do avaliador.

Face a uma unidade com centenas de membros doutorados, como pode o painel aplicar os critérios definidos no Regulamento.

Critério A. Para as unidades que se mantenham sem grandes alterações da sua composição, uma leitura rápida da informação sobre atividades e produção científica que considerem mais relevante permite ter uma impressão, mas dificilmente poderá decidir se estes resultados são proporcionados à dimensão da equipa.

Critério B. Espera-se que o painel analise os currículos de todos os membros doutorados, que podem ser 10 ou algumas centenas. Para cada membro tem uma informação muito rica. Terá uma descrição do trabalho e resultados do investigador com uma lista de publicações que, numa área científica típica, poderá ir da dezena à centena de artigos. Terá títulos e nomes de revistas. Não podendo ser influenciado pelo fator de impacto, terá de evitar deixar-se influenciar pelos títulos ou pelo nome das revistas. Vai ser sério e ler os artigos, pelo menos aqueles cujos títulos pareçam mais interessantes ou terá o investigador sugerido os 5 artigos mais relevantes para ele ler.  Irá ler os 5 artigos de cada autor, de cada um da centena ou centenas de membros da unidade. Alguém acredita que os membros do painel vão cumprir?

Critério C. Esta é a parte fácil. Propor objetivos ambiciosos é fácil se assumirmos que nunca serão avaliados a posteriori como agora não vai ser avaliado se os objetivos anteriormente propostos foram cumpridos. E satisfazer a expectativa de que a unidade vai dar um enorme contributo para o aumento do emprego científico, não é difícil assim venha a haver dinheiro da FCT!

Mas ainda falta a visita que o painel fará à unidade onde irá ouvir dos sucessos passados e dos planos futuros. E terá aqui a oportunidade de emendar todas as incertezas que a leitura do enorme relatório submetido poderá ter deixado. No fim, não terá dúvida em colocar a unidade num dos cinco níveis previstos.

Este procedimento não difere no essencial dos seguidos nas avaliações feitas em 1996, 1999, 2002, 2007 e 2009. Como todos recordam, as visitas foram determinantes do resultado e as grandes unidades tiveram sempre uma aparente vantagem. As mal classificadas tendem a ser as menores. Isto é facilmente compreensível, mesmo admitindo que os painéis dão o seu melhor e mais honesto esforço para premiar o melhor e assinalar o mais frágil. Face à dificuldade de avaliar a proposta submetida pela unidade, para além de uma impressão geral, a visita torna-se a componente dominante. As unidades de maior dimensão sempre terão alguns investigadores com bom currículo e com a força necessária para fazer uma apresentação convincente. As mais pequenas não podem esconder as suas fragilidades e são naturalmente atingidas pelas críticas sérias dos painéis.

O nosso processo de avaliação de unidades de I&D aproxima-se, nos objetivos, das avaliações feitas a departamentos universitários. As reservas em relação aos indicadores bibliométricos são comuns a muitas disciplinas em alguns países. Mas a alternativa não é descarregar a responsabilidade sobre um painel que fica irremediavelmente perdido num excesso de informação em bruto. A solução inglesa e italiana é começar por fazer a avaliação individual de cada artigo submetido, uns 4 por investigador considerado. É seguramente um processo muito caro porque exige uma leitura cuidada e uma classificação de cada um destes artigos. São algumas dezenas de milhão de euros nesses países. A alternativa adotada nos países nórdicos é construir métricas simples para valorar as publicações de cada autor para chegar a uma avaliação individual que depois é reunida na avaliação do departamento ou da universidade. A Espanha tem uma estratégia similar na avaliação individual para decidir os suplementos remuneratórios dos docentes.

As avaliações baseadas em métricas predefinidas estão expostas a críticas sérias. As avaliações por pares são caras, imprevisíveis e muitas vezes divergem do senso comum e, quase sempre, da opinião dos interessados. Resta o esforço de satisfazer a presumida perceção da maioria no sentido dado ao “concurso de beleza” de John Maynard Keynes. Pode esperar-se que a opinião recolhida nas visitas vá neste sentido e alguma “gestão política” dê o retoque final necessário.

Pode ser embaraçoso notar que é esta mesma teoria que tem sido usada para explicar o comportamento irracional dos mercados financeiros [Ver Richard Thaler, Prémio Nobel da Economia, 2017, em Misbehaving: The Making of Behavioural Economics, Allen Lane, Londres, 2015.]

José Ferreira Gomes

Secretário de Estado do Ensino Superior e da Ciência no XX Governo

In Observador, 17/out/2017

Abandono escolar precoce

Resumo

Portugal teve uma recuperação rápida do atraso histórico que registava e poderá atingir o objetivo de 10% de abandono escolar precoce em 2020.

Convencionalmente, o abandono escolar precoce é medido pela percentagem dos jovens de 18 a 24 anos que já não estão a estudar sem terem completado o ensino secundário. Nos últimos anos, Portugal teve uma notável recuperação neste indicador. Uma extrapolação exponencial simplista permite prever que o objetivo de 10% para 2020 será atingido, estando nessa altura numa situação similar à da média europeia.

Este indicador esconde a enorme transformação que ocorreu na vida das nossas escolas secundárias que tiveram de se preparar para receber (quase) todos os jovens agora atingidos pela obrigatoriedade de permanecer na escola até aos 18 anos. Se a percentagem dos jovens que terminam o ensino secundário pela via cientifico-humanística teve neste período um crescimento muito modesto, a grande inovação deu-se na expansão das vias profissionais e vocacionais. O objetivo é ter cerca de 50% dos jovens a seguir as vias profissionalizantes o que ainda não foi atingido.

Há sinais bastante robustos de que este processo decorreu mantendo-se uma boa qualidade do ensino que até poderá ter melhorado a fazer fé nos indicadores internacionais PISA, TIMSS e PIRLS. A enorme visibilidade dos exames nacionais dá também uma garantia de transparência na preocupação com a qualidade do ensino. Infelizmente, é muito mais difícil avaliar o sucesso do ensino nas vias profissionais e vocacionais.

Terminada esta fase de recuperação do atraso histórico, teremos certamente de dar mais atenção à qualidade do ensino em todas as suas vias. A via cientifico-humanística mantém-se aberta à crítica pelos professores do ensino superior sempre insatisfeitos com a bagagem dos estudantes que ali chegam. Nas vias profissionalizantes, a medida última é dada pelo sucesso dos seus diplomados que optam pela entrada imediata no mundo do trabalho. Aqueles que decidem continuar imediatamente o seu percurso escolar precisarão de um apoio adicional ao estilo das “passerelles” francesas ou dos bridging courses americanos para se juntarem aos colegas que tinham já optado por um percurso educativo mais longo. Um novo desafio para as escolas no apoio ao sucesso dos seus alunos.

Referência Gomes, JANF (2017) Editorial, Rev. Ciência Elem., V5(03):030

DOI doi.org/10.24927/rce2017.030 

A Revista de Ciência Elementar ISSN 2183-1270 (versão online) está disponível com acesso aberto.

A versão impressa ISSN 2183-9697 é enviada gratuitamente aos colaboradores regulares da Casa das Ciências e pode ser recebida pelo correio mediante o pagamento das despesas de preparação e envio, €10 para os quatro números de um ano.

Contratação de bolseiros

O Presidente da República promulgou em 7 de julho o Decreto da Assembleia da República (decreto 112/XIII de 12 de junho de 2017) sobre a contratação de doutorados. Teria de o fazer. Esta alteração do decreto-lei nº 57/2016 tinha sido aprovada na Assembleia da República em 24 de maio apenas com a abstenção do PSD e do CDS. Depois de um longo caminho de mês e meio pelos corredores do poder, não poderíamos esperar outro desfecho. No seu comentário, o Presidente da República abre o véu quanto à demora.

Apesar de poder envolver um acréscimo de custos para as instituições académicas públicas nos próximos anos – que o Estado dificilmente não terá de assumir como despesa sua –, de poder implicar eventuais questões com docentes já em funções, de criar problemas de gestão de contratações futuras para a investigação e a docência e de apresentar pontos insuficientemente desenvolvidos – como o da progressão nas carreiras –, atendendo a que o presente diploma visa reparar uma flagrante situação de injustiça – qual seja a da precariedade de muitos bolseiros doutorados que desempenham funções em instituições públicas, que deveriam corresponder a um estatuto contratual estável – e de que se trata de um regime excecional e portanto irrepetível, o Presidente da República promulgou...

Que a situação era insustentável, não tenho dúvida.

É o resultado do acumular de tensões de 20 anos de rápido crescimento da formação de doutorados sempre desviados do que deveria ser o seu destino principal no tecido económico e social. Sucessivos governos foram mantendo todos os doutorados que não conseguiam melhor e mais permanente ocupação com bolsas de pós-doutoramento numa sucessão interminável.

Que ninguém tenho votado contra, não é surpreendente. O Governo e o PS garantem que a FCT pagará sem explicar que outros programas serão cancelados ou adiados sine die. Nem poderia explicar porque não contabilizou os custos nem seria capaz de o fazer. Só para a forma inicial de decreto-lei fora elaborada uma lista nominativa nesse esforço de contabilização. Mas decisões unânimes não significa que sejam amadas por todos.

Que esta solução aparente é a pior de todas também não deve haver dúvida. As justificações do Presidente da República dão disso sinal suficientemente claro. Que há um acréscimo de custos e que este acréscimo não está contabilizado (e muito menos orçamentado). Que o seu custo virá a pesar no orçamento das instituições sem garantia de cobertura em sede de orçamento de estado. Que pode implicar questões, leia-se injustiças, com docentes já em funções não haverá dúvidas porque foram apontadas ao longo dos últimos meses. Que podem criar problemas de gestão de contratações futuras para a investigação e a docência, também ninguém tem dúvidas e os reitores foram muito claros. Que apresenta pontos insuficientemente desenvolvidos... Que significa esta objeção, para além de sinalizar a péssima legística, a litigância que ela convida e a sua incompatibilidade com uma carreira de investigação?

Que se trata de um regime excecional e, portanto, irrepetível é fácil de dizer, mas ninguém acreditará. Não acreditam os atuais bolseiros que já tinham encontrado um lugar no setor não académico e agora recuaram para o conforto de um emprego que parece perpétuo e sem grandes exigências. Não vão querer acreditar os novos doutorados que vão certamente esperar que uma nova geringonça apareça nos próximos 20 anos e lhes “resolva o problema”. É pena porque pode ser mesmo irrepetível, tal é a dimensão dos problemas que vai criar. Portugal tem já um sistema de investigação distorcido com excesso de pessoal no setor académico e extrema falta no incipiente setor empresarial e nas instituições de apoio às empresas. Esta lei dá um sinal profundamente errado aqueles que começavam a planear o seu futuro fora do setor académico. E temos de lembrar que esse é o destino principal dos doutorados nos países com que gostamos de nos comparar.

As universidades objetaram a esta lei porque sabem que vão ficar com os seus quadros de pessoal distorcidos e vão ter problemas futuros de sustentabilidade. Mais grave, sabem que vão ter de pagar salários a pessoal que escapa largamente à sua gestão. Ao longo de 40 anos, resistiram a contratar pessoal de investigação por não terem um enquadramento funcional com objetivos claros e financiamento. Agora vão ter o pessoal, vão ter os custos, mas não vão ter um modelo de financiamento e de gestão que o rentabilize.

Compreensivelmente, os atuais bolseiros congratulam-se com uma estabilização da sua posição, pelo menos na aparência. Para muitos, é injusto saberem que vão entrar num contrato mais estável através da ilegalidade de um concurso público “com fotografia”. Só aqueles poucos que sabem que só esse artifício lhes dá o passaporte para uma reforma garantida o poderão aceitar sem remorsos.

O país precisava de desenvolver a sua capacidade de criar valor com os investigadores formados nos últimos anos para garantir a sustentabilidade futura do sistema científico dentro e fora da esfera académica. Já hoje a preocupação com o chamado emprego científico está a deixar investigadores sem dinheiro para fazer a investigação e renovar os equipamentos de que precisam. No futuro, esta situação vai-se agravar e vai isolar o sistema científico académico das necessidades da sociedade. Mas não haverá crise na maioria parlamentar! O desgoverno alimentará as crises longe de São Bento!

José Ferreira Gomes

Secretário de Estado do Ensino Superior e da Ciência no XX Governo
IN:  Jornal Público, 21 de julho de 2017