Progetti Prin: è possibile premiare l’eccellenza se le valutazioni non sono eccellenti?

Stanno arrivando i risultati del PRIN 2020. Molti, purtroppo, vedranno deluse le loro attese visto che dal 2017 è stato introdotto un modello che, secondo la logica dell’eccellenza, finanzia un numero molto più limitato di progetti che in passato. Ma sono “eccellenti” anche le procedure di valutazione, oppure sono rimaste ancorate a vecchi metodi non propriamente trasparenti?

Il nostro ricorso al TAR per il PRIN 2017 (settore ERC LS8, linea A) contro l’esclusione dalla fase di valutazione del progetto sulla base della comparazione del curriculum scientifico è stato accettato (sentenza 1; sentenza 2) ed è diventato inappellabile (dopo più di 30 mesi dalla presentazione delle domande). Ci permettiamo quindi di condividere con i lettori di ROARS una sintesi dei principali punti da noi sollevati (i dettagli sono forniti in una descrizione analitica a parte).

1. La composizione della commissione (che abbiamo potuto conoscere solo attraverso accesso agli atti) è squilibrata; l’area scientifica che viene maggiormente premiata (4 progetti finanziati su 14 totali) a dispetto delle sue piccole dimensioni è rappresentata da due membri che peraltro hanno operato nella stessa struttura e hanno lavori in comune. Inoltre, due dei cinque commissari erano in quiescenza, uno da più di cinque anni.
2. Abbiamo identificato incompatibilità non dichiarate e/o di cui non ci è stata fornita attestazione tra PI (principal investigator) e commissari (vedi descrizione analitica); tra i primi vi sono alcuni che maggiormente sembrano aver beneficiato di valutazioni generose rispetto ai loro valori bibliometrici (descrizione analitica). La nostra segnalazione nel ricorso ha portato il Miur a escludere un progetto dal decreto di finanziamento.
3. La commissione non spiega nei verbali originali gli effettivi parametri in base ai quali ha valutato i curricula dei PI, ma poi, chiamata a rispondere ai ricorrenti, non solo dimostra di non avere tenuto conto di esplicite indicazioni del bando circa le differenze citazionali tra s.s.d., ma opera decisioni in contraddizione persino con i criteri che essa stessa dichiara a posteriori (vedi allegato). Sempre in relazione agli aspetti bibliometrici, sembra che gli stessi lavori siano stati contati più volte: non vi è traccia nei verbali del fatto che cinque PI (tre dei quali appartenenti all’area scientifica sopra menzionata), cui sono stati attribuiti punteggi molto alti per il curriculum scientifico, hanno percentuali di lavori condivisi che arrivano tra il 56% e l’85% (mediana 75%) sia tra i 20 lavori riportati nella domanda, che nella produzione scientifica generale (con un effetto rilevante sull’H-index) (vedi descrizione analitica).
4. Oltre a questo (vedi descrizione analitica), la commissione:

• non considera titoli espressamente indicati nel bando, fornendo solo a posteriori una giustificazione “ad personam”;
• valuta maggiormente come “finanziamenti e riconoscimenti” i titoli in ambito nazionale rispetto a quelli acquisiti in grandi progetti competitivi a livello internazionale;
• attribuisce punteggio pieno a un proponente che dichiara tra i progetti in cui ha avuto il ruolo di PI (11 in totale) ne dichiara tre in cui tale ruolo è stato svolto da un membro della commissione e quattro in cui l’effettivo PI è altra persona;
• riferisce di aver attribuito il ruolo di group leader sulla base della presenza come primo o ultimo autore nei lavori scientifici, ma ciò risulta incoerente con le informazioni su cui la stessa commissione ha basato la valutazione;
• aggettiva le riviste scientifiche (ad esempio “di settore”) in un modo che corrisponde agli esiti della valutazione, ma non alla loro collocazione nei principali repertori internazionali e ai loro livelli citazionali;
• promuove un PI (appartenente alla stessa struttura del Presidente di commissione), di cui scrive che “.. non presenta- sulla base del CV al 2017 – sufficienti capacità gestionali di progetti”.

Dati questi elementi e considerato il riconoscimento della validità dei nostri ricorsi da parte del TAR, possiamo quindi definire eccellente la valutazione a cui noi e altri colleghi siamo stati sottoposti? In positivo, si può ripartire da quanto è accaduto per definire delle soluzioni che immaginiamo potrebbero essere utili anche per altri settori ERC:

1. Nella composizione delle commissioni per ciascun settore, deve essere garantito un equilibrio nella rappresentanza dei diversi s.s.d, evitando possibili concentrazioni di potere.
2. E’ opportuno pubblicare la composizione delle commissioni che hanno gestito i progetti per ogni settore (non dei valutatori dei singoli progetti), come nella precedente prassi PRIN e nei progetti ERC, subito dopo gli esiti finali per salvaguardare il loro lavoro in corso d’opera; la consapevolezza di essere sottoposti a una valutazione pubblica ex-post degli atti senza il privilegio dell’anonimato può rendere i commissari maggiormente consapevoli e motivati ad effettuare valutazioni accurate, trasparenti e rigorose.
3. Va evitata quanto più possibile la presenza di commissari inattivi scientificamente negli ultimi tre anni.
4. Per evidenti ragioni di trasparenza, è opportuno che tutto il materiale, compreso le schede Cineca che avrebbero dovuto documentare tutte le incompatibilità (che a noi non sono state fornite, nonostante reiterate richieste), facciano parte integrante della documentazione che si può ottenere attraverso l’accesso agli atti; è necessario rendere più rapidi i meccanismi di accesso agli atti e di verifica nel caso di ricorsi.
5. Il Miur deve vigilare sulla corretta applicazione dei parametri per i settori bibliometrici previsti dal bando: (i) i membri delle commissioni devono fare un uso rigoroso degli indicatori bibliometrici ed essere consapevoli dei possibili effetti distorsivi che una loro applicazione non attenta può generare; (ii) eventuali modifiche che esulino dalla prassi della valutazione scientifica devono essere motivate e dichiarate prima dell’inizio della valutazione, come accade per i concorsi universitari.
6. Vista la centralità della valutazione del curriculum, le relative schede devono riportare analiticamente tutti i criteri e parametri utilizzati usando una griglia completa (che renderebbe più evidenti le eventuali incongruenze e disparità di trattamento), piuttosto che lasciare alla discrezione della commissione cosa riportare e cosa no (cherry picking).

Ci auguriamo che da una situazione negativa, che speriamo non si verifichi mai più, possano derivare azioni concrete per migliorare il processo di valutazione. Cosa che del resto avviene da tempo in altri paesi. E proprio con questo spirito abbiamo affrontato e sostenuto un lungo e faticoso ricorso, nella consapevolezza che molti colleghi più giovani non se lo sarebbero potuto permettere.