Segnaliamo ai lettori la prefazione al Black Book of Scientific Evaluation in Portugal. Si tratta di una lettura che crediamo utile anche per via delle somiglianze fra l’esperienza portoghese e quella italiana.

Il volume può essere letto e scaricato a questo indirizzo.

 

Key press releases, letters, articles and texts regarding the subversion and mishandling of the scientific
evaluation system in Portugal in 2014 and 2015

Foreword 

This book provides a comprehensive picture of the process of subversion and mishandling underwent
by the scientific evaluation system in Portugal over the last four years. It is founded on a number of key
press releases, letters, opinion articles and chronicles, as well as in other texts published in the press or
on the Internet in 2014 and 2015 concerning this topic.

Threatening to undermine Portugal’s scientific system, this process of subversion and mishandling has
led, among other things, to the disruption of the broad social and political commitment to support the
country’s scientific and technological development achieved in recent decades. Since mid-2011, when a new government came to power as well as the respective Ministry of Science and Technology (S&T),
public policy formulation has changed drastically for the first time in our democracy. This is reflected in increased  selectivity  on  access  to  science,  particularly  based  on  desultory  “evaluation”  processes.
Furthermore, the application of evaluation methods and practices has not deserved recognition and
acceptance from the national and international scientific community, as well as has  been carried out in
a discretionary way and pursuing doubtful benefit purposes for the national scientific system. Indeed, there can be no sustainable scientific system that is based simply on a restricted and exclusive group of
scientists. It is indeed a path that is going dangerously close to everything that prevented Portugal from
taking up sooner the challenge of science.

Unprecedented movements have then emerged in Portugal and abroad challenging this S&T policy, with
particularly a strong expression in social networks and in the media. The negative impacts of the
evaluation and funding options and schemes were foreseeable and unavoidable, which directly hit
investment in advanced training of human resources and scientific employment, leading to forced
emigration of the best skilled human resources (see, for example, the Observatory of Emigration, 2014).

The subversion and mishandling of the scientific evaluation system is one of the key aspects that have
affected Portugal’s scientific reality in a devastating way, considering the effects that may arise in the future in the social construction of any scientific and technological system. This process has been led by
the Portuguese national funding agency, FCT, which is responsible for coordinating and conducting
scientific evaluation exercises in Portugal since the 1990s. This is, in fact, one of its most important
missions and must be taken up irrespective of the ideological profile of the relevant line Ministry.

Nevertheless, the “evaluation” process of R&D units launched by the FCT Board of Directors at the end
of 2013, which continued for 2014 until early 2015, was characterized by a buck-passing attitude and disdain for FCT concerning its main mission, given the lack of transparency, the trampling of good
practices and the introduction of subsequent changes halfway through the process.

It was no surprise therefore the wave of protests voiced among the scientific community, which have
spread to several other communities, reporting and criticizing wrong procedures that have nothing to
do with good practices, followed and respected by previous Boards and foreign funding agencies. Doubt was even cast on the trust and recognition until then due to FCT. A climate of uncertainty has been
created  as  a  result  of  the  arbitrary  way  that  took  hold  of  the  scope  and  content  of  evaluation, jeopardizing the respect and trustworthiness due to FCT, not to mention a number of guidelines that
have governed the evaluation process, which reflected a faltering policy among erratic strategies and a conception of a national scientific and technological system exclusively focused on privileged/chosen sectors and hardly compatible with national interest on topics such as sustainability, competition and
international recognition.

In 2013 FCT’s Board of Directors failed to meet fully and responsibly its main role: to evaluate the
national scientific system. Discredit has been brought upon the institution itself, while hurting the
national scientific system and its community, as a result of the way this role was undertook, with
aftereffects  that  may  have  inevitably  a  long-lasting  outcome.  FCT  put  the  trustworthiness  of  the
evaluation exercise at stake among the national scientific community by engaging, in an unprecedented
manner (without discussing the issue with the scientific community and without following any tender
procedure), an international institution currently with diminished importance and of little competence
in terms of evaluation of scientific institutions.  Its evaluators, who in previous evaluation processes had
direct contact with every institution, now visited only those which, in theory, have been examined on an
administrative basis and underpinned by bibliometric data only. Thus, a considerable percentage of the
units – approximately 50% – have been excluded from the evaluation exercise. As became apparent
later, this precisely resulted from and complied with the terms of reference established by the FCT  Board of Directors. It is worth noting that these guidelines have been concealed from the scientific
community for months. On the other hand, the approximately 25 review panels, which run in previous
exercises,  were  replaced  for  six  non-specialist,  mixed  panels.  Sometimes,  the  only  expert  that participated  in  the  evaluation  process  had  an  insufficient  curriculum  to  be  contracted  out  by  the
institution subject to evaluation. Thus, the practice of scientific evaluation carried out by experts and independent parties has been undermined and its results could not be used as a strategic management
tool within institutions and across the country.

It is known today that good practices have also been trampling down in calls for grant proposals and
reprehensible and little transparent procedures have been identified. What is more, the FCT Board of Directors has taken part directly in some evaluation results. Classifications awarded by the review
panels have been subsequently changed, and FCT Scientific Boards themselves have been forced to
adopt a position on this matter. In tender procedures for PhD Programmes there were even stranger
situations. First, proposals have been evaluated scientifically and their eligibility examined only at a
later  stage.  As  a  result,  the  proposals  with  the  highest  scientific  classifications,  which  had  been
recommended by review panels for funding, have been excluded as they were considered ineligible
after evaluation.

It should also be stressed that the process of subversion and mishandling of the scientific evaluation in
Portugal in recent years has run in tandem with a significant cut in public spending for scientific activity.

Private investment has also followed the downward trend abruptly and remains significantly low, with
total annual spending in R&D to be cut to approximately MEUR 500 between 2010 and 2013 (IPCTB 2013). As a consequence, Portugal’s gap compared to Europe has been widening, with total annual
spending in R&D decreasing to 1.34% of GDP (while it had reached nearly 1.55% in 2009 and 2010).

Among other results, there was a drastic cut in the number of PhD and post-PhD grants awarded
annually by FCT (from nearly 2300 in 2010 to 1800 in 2012), together with the abrupt adoption of new funding schemes for doctoral programmes, which are primarily and often representative of personal
scientific  interests  of  their  Directors  instead  of  national  interests,  apart  from  relying  upon  local
evaluations, which are more susceptible to clashes of interests than national evaluations.

At the same time, in 2012-2013, a number of approximately 1200 contracts for researchers, who had
been selected in international competitions five years before, came to an end. As FCT opened no more than  400  new  positions,  approximately  one  thousand  PhD  holders  have  been  forced  to  abandon
research or leave the country. The number of contracts for researchers should have been significantly increased to avoid forced emigration of the most qualified assets.

But his Black Book is also a book of hope in the future, so that a truthful evaluation system can be
properly restored and the scientific evaluation system in place in Portugal in recent years can no longer
be put at stake. The book features writings from the scientific community, representing scientists,
scientists’ organizations, trade unions, scientific institutions, the Council of Associate Laboratories (CLA),
University  Rectors  and  the  Council  of  Rectors  of  Portuguese  Universities  (CRUP),  presidents  of
polytechnic institutions and the Coordinating Council of Polytechnics (CCISP), as well as FCT Scientific
Boards.

In  addition,  this Black  Book is  the  response  from  the  scientific  community  to  FCT’s  “International
Evaluation Report”, published with pomp and circumstance by the Portuguese government at the end
of July and which was commissioned to four scientists, without consulting the scientific community or
the scientists’ organizations or scientific institutions or University Rectors or CRUP or CLA. Although
careful reading of the entire report basically shows the widespread criticism of FCT’s procedures over
the last few years (see, for example, Annex IV to The Report), the conclusions and recommendations
even show a dominant tone of agreement with FCT’s Board of Directors. And, in more ideological issues (for example, “to terminate with individual grant calls”; and “to finance only the best”, among other
aspects), it is not surprising that the report supports FCT’s policy in recent years. The evaluators have
been chosen precisely for that purpose and they have done what they were expected to do.

It is against those things, but above all to defend knowledge as bringing about a future for Portugal, that
we raise our voices and mobilize against the subversion and mishandling of the scientific evaluation system in Portugal such as in recent years.

September 2015

Manuel Heitor
Carlos Fiolhais

Alexandre Quintanilha
Maria Fernanda Rollo
João Sentieiro

Send to Kindle

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.