Pochi giorni fa sulla rivista Nature è stato pubblicato un editoriale dal titolo “The case for lotteries as a tiebreaker of quality in research funding” in cui si sostiene che l’uso della randomizzazione per scegliere i beneficiari dell’assegnazione di progetti di ricerca quando la differenza tra essi sono troppo piccole per essere rilevanti. L’uso della randomizzazione in questo ambito è relativamente nuovo e la British Academy fa parte di un piccolo gruppo di finanziatori che la sperimentano, guidati dalla Fondazione Volkswagen in Germania, dal Fondo austriaco per la scienza e dal Consiglio per la ricerca sanitaria della Nuova Zelanda. La Fondazione nazionale svizzera per la scienza (FNS) è probabilmente quella che si è spinta più in là: alla fine del 2021 ha deciso di utilizzare la randomizzazione in tutti i casi di spareggio per l’intero portafoglio di sovvenzioni di circa 880 milioni di franchi svizzeri (910 milioni di dollari).
L’editoriale nota che
“sia positivo vedere un’innovazione nella concessione dei finanziamenti basata sulla ricerca: anche solo dieci anni fa, è altamente improbabile che le lotterie sarebbero entrate a far parte del discorso. Il fatto che ora lo siano è in gran parte dovuto alla ricerca, e in particolare ai risultati degli studi sul finanziamento della ricerca. I finanziatori devono monitorare l’impatto dei loro cambiamenti, valutando in particolare se le lotterie hanno aumentato la diversità dei candidati o modificato il carico di lavoro dei revisori. Allo stesso tempo, i ricercatori (e i finanziatori) devono testare altri modelli per l’assegnazione delle sovvenzioni. Uno di questi modelli è quello che i ricercatori chiamano finanziamento “egualitario”, in cui le sovvenzioni sono distribuite in modo più equo e meno competitivo”.
Non pensiamo di esagerare dicendo che abbiamo ospitato su queste colonne, nel 2014, una delle prime proposte in tal senso seguita da un’ampia discussione che è stata liquidata “i soliti burloni ed estremisti di Roars”.
Il filosofo della scienza britannico Donald Gillies aveva pubblicato un articolo dal titolo “Selecting applications for funding: why random choice is better than peer review” in cui discusso sugli effetti distorsivi derivanti dall’adozione generalizzata della peer review ex-ante per la selezione dei progetti di ricerca. La sua tesi può essere riassunta:
Un metodo ampiamente utilizzato per finanziare la ricerca è quello dei progetti competitivi, in cui la selezione delle domande da finanziare viene effettuata mediante revisione anonima tra pari. L’obiettivo del presente lavoro è quello di sostenere che il sistema funzionerebbe in modo più efficiente se la selezione avvenisse tramite scelta casuale piuttosto che tramite peer review. Il sistema di peer review presenta dei difetti che sono stati messi in luce da critiche recenti, tra cui quella del premio Nobel Sir James Black. A sostegno della posizione di Sir James, viene poi dimostrato che l’uso della peer review anonima porta a un pregiudizio sistemico a favore dei programmi di ricerca mainstream e contro quelli delle minoranze. Questo, a sua volta, porta a soffocare le nuove idee e l’innovazione. Questa tesi è illustrata con l’esempio della recente scoperta della causa del cancro al collo dell’utero, una scoperta che ha generato notevoli profitti per le aziende farmaceutiche. Viene poi dimostrato che la selezione per scelta casuale elimina questo pregiudizio sistemico e di conseguenza incoraggia le nuove idee e l’innovazione.
Come ha sintetizzato Alberto Baccini i punti principali sono
- la riduzione della biodiversità della ricerca, accompagnata dal premio sistematico al mainstream e alla maggioranza.
- un effetto San Matteo per quanto riguarda la distribuzione delle risorse per la ricerca, con una progressiva concentrazione delle risorse su pochi gruppi. tale concentrazione è accentuata da prassi che prevedano a livello locale/istituzionale finanziamenti aggiuntivi che premino le risorse già disponibili.
La randomizzazione introdotta va in questa direzione, sebbene sia un piccolo e timido passo. Chiunque abbia presentato un progetto PRIN conosce questo problema. A volte si viene o meno finanziati per un punto (UNO) di differenza: uno su 100. E’ una pratica di valutazione che non significa assolutamente nulla, è deleteria perché introduce un livello di randomizzazione guidata dalla percezione o magari dall’umore di un referee, che assegna il voto X invece che X+1 perché magari gli è andato di traverso un boccone (e per quale altra ragione si può dare 8/10 invece di 9/10 valutando, per dire, l’impatto sociale di un progetto di ricerca?) piuttosto che basato su una scelta davvero causale.
In ogni caso bisogna ricordarsi che finanziare il 5% dei progetti (se non meno) è una pratica insensata in ogni caso, nonché uno spreco incredibile di risorse e un deperimento della diversificazione della ricerca.
Una probabilità attorno al 5-10%, non solo nei PRIN, ma anche a livello europeo ecc., vuol dire che assumendo necessario 1 mese per preparare un buon progetto (considerando anche gli altri impegni da didattici ad organizzativi) si esaurisce tutto il tempo a preparare le doande di progetti, e non rimane più tempo per la ricerca. In termini di pura efficienza del finanziamento, quindi probabilità di essere finanziati sotto il 30-40% corrisponde ad inefficienza del sistema.
Data che l’entità del finanziamento è una decisione politica, il sistema della ricerca si è autoorganizzato creando dei gruppi più larghi ove una od un paio di persone si dedicano a fare i progetti, e gli altri la ricerca. Questo comporta quindi uno scadimento della capacità di innovazione e idee nuove in quanto da una parte vi è la tendenza a rimanere nel mainstream, senza proporre nuove ideee che rischiano di non essere comprese e richiedono uno sforzo maggiore per elaborare nuovi progetti, e dall’altra vi è una riduzione dello stimolo personale e capacità di competizione.
Nuovamente quindi una inefficienza del sistema.
A parte altre considerazioni per altro valide, ridurre il finanziamento sotto un certo livello, comporta una riduzione dell’efficienza dell’investimento. Selezionare i progetti per estrazione non è poi molto diverso da quello che avviene oggi, in cui la selezione non avviene sulla base di un’effettiva valutazione scientifica obiettiva, ma spesso di aspetti marginali. Tuttavia, magari permette di ridurre ad un paio di pagine la proposta, centrandola sul solo aspetto scientifico ed originalità, eliminando tutti gli altri necessari orpelli da impatto a gestione della ricerca) che servono solo a pretesto per scartare un progetto che per altro è valido. Almeno in questo modo presentare un progetto potrebbe richiedere solo un paio di giorni, lasciando ad una lotteria la scelta ed ampliando le basi di chi presenta progetti.
Ogni 2-3 anni mi capita di andare a Bruxelles a fare il valutatore. L’anno scorso abbiamo fatto tutto on line, ero in due panel da 7/8 progetti ciascuno. Ebbene, ogni volta, fatte salve le indicazioni del rapporteur…, resto sorpreso dal puntiglioso e pernicioso zelo di certi valutatori. Anche in quel caso spesso per mezzo punto (eccellenza, impatto etc…) si decide a chi dare milioni di euro, quando l’occhio esperto e smaliziato già alla prima lettura capirebbe tutto, senza dover perdersi nell’incasellare le valutazioni in una griglia artificiosa.