«LISA Pathfinder was led by an Italian scientific team whose members, we understand, would not qualify any more for their current positions, and actually for any permanent position in Italian universities, according to the recently revised Italian regulations. We understand that this paradoxical situation originates from a blind evaluation algorithm. […] We are confident that you, your Honor, in your wisdom, will find ways to correct such an automatic mechanism that, if unchanged, may endanger this great scientific tradition.». Non capita tutti i giorni che tre premi Nobel per la Fisica (Takaaki Kajita, Nobel 2015, Kip S. Thorne e R. Weiss, Nobel 2017), insieme ad altri otto scienziati di altissimo profilo, scrivano al Ministro dell’istruzione esprimendo una ferma condanna degli assurdi automatismi della valutazione all’italiana, con un accorato appello a ripensare la strada intrapresa in solitaria dal nostro Paese. «Bibliometric analysis does indeed carry some useful information, but it is not internationally recognised to base hiring or promotion decisions on automatic algorithms, particularly if they end up comparing activities that are not comparable. Those decisions, in leading universities worldwide, are always based on a case – by – case examination by a competent panel of peers»: adesso che a dirlo a MIUR, ANVUR, INFN, Agenzia Spaziale Italiana e Società Italiana di Fisica non è più solo Roars, ma ben tre premi Nobel, due dei quali (Thorne e Weiss) di freschissima nomina, la Ministra prenderà atto del problema? Per ora, si limita a esprimere soddisfazione per il ruolo degli italiani nella scoperta delle onde gravitazionali.

Vuoi vedere che si è già dimenticata della lettera, cofirmata dai due neo-premi Nobel? Eppure la lettera diceva a chiare lettere che la valutazione all’italiana è destinata non solo a stroncare le carriere di quegli scienziati italiani di cui va così fiera, ma anche a rendere impossibili future collaborazioni su progetti di questo calibro.
Nella lettera, l’assurdità della bibliometria anvuriana è spiegata in questi termini:
We understand that this paradoxical situation originates from a blind evaluation algorithm that compares the publication records of these colleagues to those of the members of the very large collaborations one finds in other branches of physics such as particle physics for example. Also paradoxically, the algorithm assigns the same qualification to all members of these large collaborations, from their leaders down to the lightly involved supporting scholars, often definitely less internationally renowned than the leaders of a small collaboration like LISA Pathfinder.
We would like to respectfully remark, honorable minister, that such a mechanism, had it been in place at the time LISA Pathfinder was initiated almost 20 years ago, would have definitely prevented any Italian group from taking leadership or simply being part of it, as the risk for their personal careers would have been unbearable. It is indeed impossible for highly risky scientific endeavors that have groundbreaking potential, to produce a publication record comparable with that of large mainstream collaborations or large “small-science” communities working on mainstream themes.[…] It is also an easy prediction that the international leadership Italy has gained in the field of spaceborne gravitational wave observatories may quickly be lost, should the regulations keep jeopardizing the academic the academic careers of the involved teams. […]

The Italian historical record in physics is outstanding. A good part of such success rests on the ability of teams of bright Italian scientists to find new but risky research venues. We are confident that you, your Honor, in your wisdom, will find ways to correct such an automatic mechanism that, if unchanged, may endanger this great scientific tradition.

La lettera, datata 21 agosto è stata pubblicata una settimana dopo sul sito web della società italiana di Fisica. Stranamente, non sembra aver suscitato prese di posizione pubbliche, nemmeno nell’area delle scienze fisiche e non è stata ripresa a livello nazionale o internazionale, almeno fino al 29 settembre, data di uscita di un articolo di Laura Margottini sul Fatto Quotidiano. A quanto pare, nel corso di una riunione della società Italiana di Fisica, tenutasi a Trento, il consigliere Anvur Fabio Beltram ha proposto qualche aggiustamento dei criteri senza suscitare grandi apprezzamenti. Insomma, meglio lavare i panni sporchi in famiglia, per quanto il bucato non sia dei più facili. Prendere sul serio le osservazioni degli illustri scienziati stranieri, e non relegali a “una bega tra gruppi concorrenti” o “li hanno informati male“, vorrebbe dire mettere in discussione le fondamenta della valutazione bibliometrica anvuriana. Una mossa che i fisici italiani non possono permettersi, anche perché personaggi di spicco hanno accreditato questa svolta bibliometrica collaborando sia al progetto dei criteri che alla loro somministrazione. Troppo imbarazzante per i “quasi-Nobel” vedersi smentiti dai Nobel veri.
 
File in formato pdf: Lettera a Fedeli

Copy to:
Prof. Fabio Beltram
Consiglio Direttivo
Agenzia Nazionale di Valutazione
del Sistema Universitario e della Ricerca

Prof. Luisa Cifarelli President
Società Italiana di Fisica
Prof. Roberto Battiston President
Agenzia Spaziale Italiana

Prof. Ferdinando Ferroni
President
Istituto Nazionale di Fisica Nucleare

Hannover, 21.8.2017

Real concern about Italian academic career management system

Dear Minister,

we would like to respectfully draw your attention to an aspect of the Italian academic career management system that will potentially have a highly negative impact on the success of Italian research, at least in the field of fundamental physics.

The problem was brought to our attention by the recent case of LISA Pathfinder, a very successful international mission of the European Space Agency, which last year demonstrated the feasibility of spaceborne gravitational wave observatories, a result of historic impact in the field of Gravitational Wave research at large. LISA Pathfinder was led by an Italian scientific team whose members, we understand, would not qualify any more for their current positions, and actually for any permanent position in Italian universities, according to the recently revised Italian regulations.

We understand that this paradoxical situation originates from a blind evaluation algorithm that compares the publication records of these colleagues to those of the members of the very large collaborations one finds in other branches of physics such as particle physics for example. Also paradoxically, the algorithm assigns the same qualification to all members of these large collaborations, from their leaders down to the lightly involved supporting scholars, often definitely less internationally renowned than the leaders of a small collaboration like LISA Pathfinder.

We would like to respectfully remark, honorable minister, that such a mechanism, had it been in place at the time LISA Pathfinder was initiated almost 20 years ago, would have definitely prevented any Italian group from taking leadership or simply being part of it, as the risk for their personal careers would have been unbearable. It is indeed impossible for highly risky scientific endeavors that have groundbreaking potential, to produce a publication record comparable with that of large mainstream collaborations or large “small-science” communities working on mainstream themes. Not only do groundbreaking endeavors initially concern only the small group of scientists who genuinely understand their significance, but also they typically take many years or even decades to come to fruition. Nevertheless, after the wider community understands their impact, they make their scientists and universities famous.

It is also an easy prediction that the international leadership Italy has gained in the field of spaceborne gravitational wave observatories may quickly be lost, should the regulations keep jeopardizing the academic careers of the involved teams.

Bibliometric analysis does indeed carry some useful information, but it is not internationally recognised to base hiring or promotion decisions on automatic algorithms, particularly if they end up comparing activities that are not comparable. Those decisions, in leading universities worldwide, are always based on a case-by-case examination by a competent panel of peers. Indeed, based on our own experiences, we are all of the opinion that the Italian leaders of the LISA Pathfinder team would qualify for an appointment at the top professorial level of any first- rank US or European university.

The Italian historical record in physics is outstanding. A good part of such success rests on the ability of teams of bright Italian scientists to find new but risky research venues. We are confident that you, your Honor, in your wisdom, will find ways to correct such an automatic mechanism that, if unchanged, may endanger this great scientific tradition.

With best regards,

 

 

 

Print Friendly, PDF & Email

19 Commenti

  2. Il punto cruciale non è tanto l’uso (inevitabile) dei criteri bibliometrici, quanto l’intento punitivo del MIUR del quale l’ANVUR si fa pedissequamente interprete. I criteri bibliometrici sono grossolani e imprecisi, buoni a distinguere chi lavora da chi non lavora. Sono completamente inadatti per fare classifiche e stabilire soglie rigide, specialmente se basate su improbabili mediane. Ma ormai dovremmo aver capito che lo scopo del MIUR non è migliorare l’università pubblica ma ridimensionarla, e che il compito dell’ANVUR è mascherare la purga sotto il velo della meritocrazia: “vi puniamo perché ve lo meritate”. In questo contesto la lettera dei premi Nobel è un incidente di percorso che sarà presto archiviato.

  3. Documento importante da esibire (chiedendone conto al Ministro) nel prossimo dibattito televisivo, spero presto, ormai tutti si sono dimenticati, non ne parla più nessuno
    Nel giorno della notizia 24 h. non-stop in (quasi) tutte le trasmissioni televisive, poi più nulla. Avete notato?

  4. Correttamente osservano che ci sono collaborazioni di migliaia di persone che scrivono centinaia di articoli. La soluzione è migliorare gli algoritmi, dividendo il peso di un articolo fra gli autori. Ovvero un articolo con 1000 autori deve contare come 1/1000 per ciascun autore.

    • No, la prego, non dica queste cose, magari qualcuno non capisce che scherza e la prende sul serio! Racconto a tutti il caso del mio SSD (02/C1), che raggruppa astronomi e cosmologi. Questi due gruppi sono significativamente diversi, e questo genera una brutta competizione, perché i cosmologi osservativi lavorano per forza a grandi collaborazioni (servono infatti strumenti molto costosi e complessi, realizzati tipicamente da consorzi internazionali) e quindi passano anni prima di pubblicare qualcosa di grosso: ma quando arriva il momento, esce una selva di pubblicazioni con molti autori che ottengono un altissimo numero di citazioni. Di solito invece gli astronomi osservativi lavorano in gruppi ristretti o da soli, e sono in grado di pubblicare con più frequenza ma meno citazioni. Il fatto che stiamo tutti dentro lo stesso SSD ha generato e continua a generare una lunga serie di ingiustizie: fino ad oggi, se una commissione voleva favorire i cosmologi, chiedeva un alto numero di citazioni, se invece voleva favorire gli astronomi invece pesava gli articoli dividendo per il numero di autori, oppure chiedeva «continuità temporale nelle pubblicazioni».

      Se qualcuno del MIUR o dell’ANVUR ci legge, tenga presente questo: si può valutare il contributo individuale di una persona ad un articolo con mille autori! Bisogna sforzarsi un po’ e chiedere alla persona di presentare una lista degli internal report e delle presentazioni fatte ai meeting di collaborazione!

    • o forse basta dare retta alle dichiarazioni pubbliche internazionali come DORA e a quelle di altre società scientifiche (IEEE, European Physical Society, etc), per non dire della Fondazione Nobel, e semplicemente smettere di usare i pupazzetti voodoo della valutazione bibliometrica automatica.

    • E’ impressionante come nella società possano instaurarsi demenzialità come la bibliometria. L’inutilizzabilità è di strapalese evidenza per una miriade, direi un continuum, di ovvi motivi. All’interno di un SSD ci sono qualcosa come 10^{31} argomenti, a sua volta sullo stesso identico argomento un lavoro può essere fondamentale ma ignorato ed un altro, insignificante, può avere l’impatto della Santanché. Quindi, molto semplicemente: ma deche stamo a parlà! I metri quadri di un immobile sono molto più oggettivi che non la bibliometria, ciò nonostante 100 m^2 di attico a Piazza di Spagna valgono 10^3 volte una cantina con il doppio delle “citazioni”, cioè di 200 m^2 ar Tufello, o peggio in Siria. Again, ma deché stamo a parlà! Pessimo e drammatico il fatto che l’università non abbia mandato immediatamente a quel paese chi ha osato ipotizzare un’idiozia come la valutazione bibliometrica.

    • marco2013: ” ma deche stamo a parlà! I metri quadri di un immobile sono molto più oggettivi che non la bibliometria”
      __________
      Per favore non nominiamo i metri quadri invano. Anvur ci ha già pensato e li utilizza come indicatori nella valutazione della terza missione:
      __________
      5. Produzione e gestione di beni culturali
      […]
      Criteri per la valutazione
      […]
      Conservazione e gestione di poli museali
      […]
      Numero di metri quadri (somma)
      […]
      Gestione e manutenzione di edifici storici
      […]
      Numero totale di metri quadri di superficie coperta nell’ateneo

      da “Manuale per la Valutazione
      Nota integrativa al Manuale per la valutazione approvato dal Consiglio Direttivo nella seduta del 1 aprile 2015”
      __________
      Nella valutazione all’italiana già da tempo la realtà supera la fantasia.

    • Splendido, non sapevo di queste regole. Non possiamo certo pretendere che all’ANVUR conoscano, e tanto meno sappiano dimostrare, il teorema di Godel. C’è però un principio giuridico fondamentale che stabilisce che gli atti della pubblica amministrazione devono soddisfare criteri di razionalità e logicità. Come mai il TAR non ha provveduto a chiudere d’ufficio l’ANVUR? Ci potrebbe provare la Corte dei Conti? Il Consiglio di Stato? O bisognerà prima attendere che l’ANVUR proclami che d’ora in avanti tutti quelli più alti di un metro e 70cm saranno alti 1 e 60cm?

  5. In Genetica e più in generale in Biologia sarebbe assurdo dividere per il numero di autori. Infatti, bisogna considerare che contributo a un articolo scientifico non è lo stesso per tutti gli autori, i principali sono il primo e l’ultimo, che di solito è il “corresponding author” e group leader.
    A parte la mancanza di affidabilità della bibliometria in generale, nel caso di quella casereccia anvuriana, l’errore clamoroso, se di errore si tratta, è stato proprio quello di mettere tutti gli autori di un articolo scientifico sullo stesso piano.
    In questo modo, è chiaro che si azzerano le differenze e molti sono stati abilitati senza meritarlo, solo perché in possesso di scintillanti valori soglia, frutto esclusivo di pubblicazioni dove si ritrovavano nel mezzo di liste con decine e decine di autori.
    Alla faccia del merito!!

    • Appena uno ha una buona idea per scrivere un commento… zac, ecco che qualcun altro ti batte sul tempo! ;)

  7. Ottima notizia! Rimane il fatto che quanto detto era ovvio fin dagli albori ANVUR. Chi ha a che fare con la ricerca sa benissimo che spesso il numero di citazioni ha la stessa rilevanza del numero di foglie in una faggeta, quando quello che conta è la qualità e la quantità dei porcini che ci sono, ben più difficili da trovare.

    La valutazione bibliometrica non è un altro che un trucco maldestro per poter fare e disfare a seconda dei propri desiderata. L’effetto è ben peggio di quanto si possa immaginare. Se si aggiunge la correlazione tra la valutazione degli studenti e lo scatto stipendiale, nonché quella tra FFO e numero di laureati in corso, il programmato declino dell’Università italiana è inevitabile.

    L’Università è in mano a un gruppetto di potere con varie lobby che fanno capo a confindustria, che peraltro si avvale dei bocconiani ed ha qualche manina dentro il MEF. Il ministro di turno al MIUR non ha alcun potere decisionale in merito, non può che prender atto della situazione. Se si opponesse decadrebbe un minuto dopo.

  10. Se nessuna trasmissione televisiva ne parla in prima serata,
    e, tra quelle in prima serata (ore 21.30-23.00 – tipo “Di martedì”, oppure “Piazza pulita”), non ne ha parlato nessuna,
    la notizia non arriva agli italiani.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.