IL CUN boccia l’ANVUR sui criteri prescelti per dar seguito all’innovazione del Bonus ricercatori e PA regalataci dalla legge di stabilità lo scorso dicembre, su impulso della Presidenza del Consiglio dei Ministri. Nel contestare gli aspetti operativi di dettaglio del provvedimento ANVUR, il CUN si produce finalmente in una nota critica di fondo che avrebbe dovuto essere oggetto di reazioni meno blande per tempo.
Oggi si rileva, infatti,
“come le soluzioni accolte per dare attuazione a quanto previsto in merito al finanziamento delle attività base di ricerca, dalla legge di Bilancio per il 2017, riflettano la scelta politica di centralizzare il procedimento per l’erogazione del finanziamento ivi previsto, sacrificando, in termini che questo Consesso reputa non condivisibili, lo spazio d’intervento lasciato agli Atenei i quali, per consuetudine e competenza, rappresentano il soggetto d’elezione per governare tale tipologia d’intervento“.
Ieri si rilevava, in modo molto più sommesso:
Riguardo allo stanziamento di 45 milioni di euro destinati alla ricerca libera, previsto nello stesso articolo 41 ai commi 1-8, il CUN vede con favore che si finanzino le attività di ricerca liberamente svolte dai ricercatori, soprattutto da quelli più giovani, e che si introducano misure di compensazione destinate a sostenere la ricerca di coloro che sono rimasti esclusi dai finanziamenti di progetti presentati su bandi competitivi. Tuttavia la procedura di assegnazione di questo finanziamento obbedisce ancora una volta a una logica centralistica e appare lenta e farraginosa. Questo Consesso ritiene che una più efficace procedura potrebbe essere quella di far confluire tale stanziamento sul fondo di finanziamento ordinario degli atenei in proporzione al numero dei potenziali destinatari, e vincolando le Università a destinarlo al finanziamento della ricerca liberamente proposta.
Una misura che per l’ennesima volta ha finito per calpestare il valore costituzionalmente protetto dell’autonomia accademica costringe oggi a imbracciare il microscopio per contestare nel merito le scelte tecniche operate da ANVUR, nelle cui mani si attua una scelta normativa politicamente e costituzionalmente sbagliata in radice. E lo stesso accade – con conseguenze in quel caso assai più gravi, come i lettori di RORS stanno leggendo – nel caso dei ludi dipartimentali.
Un po’ come quella guarnigione dotata di una vedetta un po’ miope, che, quando il nemico l’ha ormai cinta d’assedio, non ha altra scelta che negoziare la migliore delle rese possibili.
Prot. 20983 del 2677/2017 Alla Sig. Ministra
Sen. Valeria FEDELI
Sede
Oggetto: Raccomandazione “In merito alla procedura, ai criteri e agli indicatori stabiliti per il finanziamento delle attività base di ricerca, di cui all’art.1, commi 295 ss., legge di Bilancio per il 2017”
Adunanza del 25 luglio 2017
IL CONSIGLIO UNIVERSITARIO NAZIONALE
Visto l’articolo 1, commi 295 e seguenti, della legge 11 dicembre 2016, n.232, recante “Bilancio di previsione dello Stato per l’anno finanziario 2017 e bilancio pluriennale per il triennio 2017-2019”, ove si è stabilito uno stanziamento di 45.000.000 di euro l’anno al fine di finanziare le attività base di ricerca dei professori di seconda fascia e dei ricercatori in servizio a tempo pieno presso le Università statali, con un importo individuale del finanziamento pari a 3.000 euro, da assegnarsi in modo da soddisfare il 75% delle domande dei ricercatori e il 25% delle domande dei professori di seconda fascia;
Visto l’Avviso pubblico, approvato con delibera del Consiglio Direttivo dell’Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca (ANVUR), n. 87 del 14 giugno 2017, con cui, in attuazione di quanto previsto dall’art.1, commi 295 e seguenti della l. n. 232/2016, si disciplina la procedura e si definiscono i criteri per la formazione dell’elenco dei beneficiari del suddetto finanziamento;
Esprimendo perplessità in merito al modello prescelto dal legislatore per il pur indispensabile finanziamento delle attività base di ricerca e formulando riserve circa la complessità della procedura delineata per individuare i beneficiari di quanto si annuncia come un finanziamento di entità comunque limitata per ognuno di essi, stante la numerosità della platea interessata;
Evidenziando altresì la necessità, per quanto attiene alle condizioni per la fruizione di tali finanziamenti, di esplicitare il limite temporale di utilizzabilità dei fondi da parte dei singoli beneficiati così da evitare comportamenti difformi da parte dei singoli Atenei;
Nel rilevare come le soluzioni accolte per dare attuazione a quanto previsto in merito al finanziamento delle attività base di ricerca, dalla legge di Bilancio per il 2017, riflettano la scelta politica di centralizzare il procedimento per l’erogazione del finanziamento ivi previsto, sacrificando, in termini che questo Consesso reputa non condivisibili, lo spazio d’intervento lasciato agli Atenei i quali, per consuetudine e competenza, rappresentano il soggetto d’elezione per governare tale tipologia d’intervento,
Con riferimento, in special modo, ai criteri e agli indicatori stabiliti per la selezione dei beneficiari:
OSSERVA
La procedura valutativa delineata allo scopo di individuare, per ogni settore scientifico-disciplinare, i beneficiari del finanziamento si configura come procedura completamente automatica. Scelta della quale pur si comprende la ragione: l’elevato numero dei possibili candidati e i tempi ristretti (dovuti alla cadenza annuale) impediscono di adottare, anche parzialmente, la peer-review. Tuttavia, questo conduce a una valutazione interamente fondata su criteri bibliometrici/quantitativi così trascurando di fatto la complessa articolazione interna dei settori scientifico-disciplinari (SSD). Automatismo che risulta tanto più delicato in quanto si tratta, in questo caso, di valutazioni riferite a singoli e non a strutture, come avviene invece nell’ambito degli esercizi per la Valutazione della Qualità della Ricerca (VQR).
Il che porta a suggerire che le graduatorie, determinate settore per settore, non siano rese pubbliche se non tramite l’indicazione in ordine alfabetico dei beneficiari del nuovo finanziamento per le attività base di ricerca.
In particolare, questo Consesso ritiene meritino di essere segnalati taluni aspetti della procedura valutativa, come definiti nell’Allegato A dell’Avviso pubblico ANVUR, che proprio perché innovativi rispetto ai criteri di valutazione sin qui impiegati e validati necessitano di una verifica puntuale, soprattutto ove si intendesse proporne l’impiego su più vasta scala:
Quanto al numero massimo di prodotti considerati e alla previsione che per ogni SSD sia stabilito un numero massimo di prodotti scelto “con riferimento alla produttività caratteristica del SSD” (pt.2.2. Allegato A) sarebbe opportuno, per ragioni di trasparenza, rendere noti i criteri in base ai quali sono stati determinati tali valori che non in tutti i casi sembrano corrispondere alle valutazioni e alle attese degli afferenti ai settori.
Quanto all’assegnazione dei punteggi pesati (pt.2.4. Allegato A), si segnala quale importante criticità, specie per le aree non bibliometriche, l’impiego di una scala che, distinguendo diverse tipologie di prodotti della ricerca, assegna ai contributi su riviste scientifiche e su libri, ai contributi su riviste di fascia A e alle monografie, rispettivamente, i punteggi 1, 4 e 10. Il criterio quali-quantitativo sotteso, funzionale alla determinazione automatica della graduatoria per la procedura in oggetto, esige un’attenta verifica di compatibilità con le procedure della VQR in peer review, con i criteri adottati nella determinazione delle soglie ai fini dell’ASN (Abilitazione Scientifica Nazionale) e con le relative modalità di esercizio. Il rapporto di 1 a 4 qui instaurato fra contributi su riviste scientifiche e su libri e contributi in riviste di fascia A rappresenta infatti un’innovazione di cui sarebbe necessario, per ragioni di trasparenza, esplicitare le motivazioni. Infine, il punteggio assegnato alle monografie e la limitazione alla presentazione di una sola di esse genera significativi effetti distorsivi in alcuni SSD.
Quanto alle pubblicazioni con autori multipli e ai relativi criteri di valutazione (pt.2.3. Allegato A), si evidenziano le innovazioni introdotte in merito alla numerosità e al posizionamento degli autori, talune delle quali particolarmente significative per le aree bibliometriche dove esistono molto spesso ricerche con molti coautori e sussistono abitudini, peraltro differenti per area e per settore, sull’ordine di firma.
Pur comprendendo l’opportunità di definire in maniera più stringente la authorship di un prodotto, enucleando più chiaramente il contributo di ciascun autore, si ritiene necessario evidenziare alcuni elementi di criticità a cominciare dal fatto che si utilizza una regola ex-post avente per oggetto prodotti della ricerca già pubblicati, senza che gli autori potessero essere a conoscenza che la valutazione di qualità del prodotto sarebbe stata fortemente influenzata anche dal numero dei coautori e dalla posizione di firma di ciascuno di loro.
In primo luogo, anche in questo caso, sarebbe stato opportuno rendere noti i criteri in base ai quali è stato determinato il numero standard di autori, N, superato il quale il punteggio valutativo riportato dal prodotto è pesato in base al numero dei coautori. I valori di N indicati non sembrano infatti riflettere in modo convincente le differenze nel numero medio di autori tra i diversi SSD.
In secondo luogo, non corrisponde all’uso internazionale pesare la qualità di un prodotto della ricerca sulla base della numerosità degli autori. Ad esempio, i principali indicatori bibliometrici (citazioni, indice di Hirsch, etc.), ampiamente usati anche nelle procedure di valutazione italiane (ASN e VQR), non considerano tale parametro. Né corrisponde all’uso internazionale pesare la authorship di un prodotto in base alla posizione della firma. Se infatti è vero che in molti SSD si attribuisce un valore particolare alla prima e ultima firma e al corresponding author (quest’ultimo, invece, non è stato preso in considerazione dalla procedura in esame), è anche vero che le abitudini tra i vari settori sono profondamente diverse e spesso nemmeno codificate, per cui un criterio univoco per i tutti i settori delle aree 3, 5, 6, 7 e 11b può avere effetti ingiustamente penalizzanti. In ogni caso, sarebbe opportuno che il corresponding author sia trattato allo stesso modo del primo e ultimo autore.
In terzo luogo, la formula utilizzata per pesare l’authorship nel caso di un numero di autori che supera il numero standard può generare brusche e ingiustificate variazioni, in particolare quando il numero N è superato di poco. Ad esempio, se N = 4, un articolo in rivista valutato come “eccellente”, se ha 5 autori, allora vale 10 per ciascun autore, mentre, se ha 6 autori, vale 7,7 per il primo e l’ultimo autore e 6,9 per gli altri quattro autori, scendendo così nei fatti dal rango di “eccellente” al rango di “elevato”.
A questo proposito, questo Consesso suggerisce che la formula per pesare il numero dei coautori sia modificata in modo da rendere meno bruschi i salti di punteggio quando il numero dei coautori è di poco superiore al numero standard. Si suggerisce inoltre di incoraggiare presso le comunità scientifiche quelle pratiche di pubblicazione, del resto ormai comuni nelle migliori riviste internazionali, che prevedano di esplicitare ab initio il ruolo di ogni coautore, in modo da poter gradualmente introdurre criteri che premino il contributo degli autori di riferimento.
Si aggiunga che tutto il meccanismo rischia di penalizzare le ricerche multidisciplinari le quali, per loro natura, devono poter contare su un numero maggiore di autori provenienti da diversi settori. Addirittura, in determinati casi il medesimo articolo potrebbe ricevere un punteggio valutativo differente a seconda del SSD cui appartiene il coautore considerato. Al contrario, i bandi per progetti di ricerca nazionali e internazionali o le procedure di selezione per i dottorati innovativi, nei quali ultimi il carattere d’interdisciplinarietà è connotato di qualità, accolgono quali criteri premianti la multidisciplinarità o comunque la capacità di aggregare competenze diversificate.
Tutto ciò rilevato,
IL CONSIGLIO UNIVERSITARIO NAZIONALE
RACCOMANDA
un attento riesame dei criteri e delle procedure prescelte per ovviare almeno in parte alle criticità tecniche segnalate e, comunque, suggerisce di utilizzare queste nuove procedure solo in forma sperimentale raccogliendo, in esito alla procedura, i pareri e le osservazioni delle comunità disciplinari interessate ed evitando di introdurre nuovi criteri valutativi ex post.
LA PRESIDENTE
(Prof.ssa Carla Barbati)
https://www.roars.it/wp-content/uploads/2017/07/raccomandazionefinanziamentoricercaCUN.pdf
Rilevo una questione che riguarda i settori non bibliometrici ed è l’incomprensibile differenza che viene fatta tra i saggi che vengono pubblicati in volume e quelli che hanno edizione in rivista indicata come A: ai primi viene dato un punto, ai secondi quattro.
Mi appare del tutto privo di senso. Di solito con le riviste si collabora in età più giovanile, quando si è meno noti nell’ambiente scientifico e quindi sensibilmente minori sono gli inviti che si ricevono a convegni o a progetti di ricerca comune; poi la parte più rilevante del proprio lavoro va in volume. La presenza di molti saggi in volumi collettanei nella bibliografia di uno studioso è quindi il segnale di una maturità scientifica conseguita, di un apprezzamento della sua ricerca nella comunità scientifica alla quale appartiene. Non solo non vedo alcuna ragione per valutare l’attività delle riviste (A) più prestigiosa, ma questa cosa mi appare una vera e propria distorsione – pesante, anche.
Aggiungasi che in certi settori è frequente la doppia pubblicazione del medesimo saggio ( ad es., in studi in onore e in rivista), che avrà allora diverso valore, a parità di contenuti, a seconda di dove venga letto … geniale davvero!
Secondo me Francesco è molto giovane.
Per Marco Bella: considerare o no il numero degli autori secondo me è una questione un po’ indipendente dal discorso “come valutare un lavoro se con automatismi bibliometrici o leggendoselo”; secondo me almeno in Matematica, una volta assegnato a un lavoro un valore intrinseco, indipendente dal numero deigli autori, poi comunque sia deciso di calcolare tale valore, a ciascun autore va attribuito questo valore diviso per il numro degli autori (a meno di specifiche indicazioni degli autori tutti).
A parte questo, non capisco che senso hanno le percentuali 75% dei ricercatori che fanno domanda, 25% dei pa..
I ricecatori hanno il fiocchetto? Son piu’ bravi? Ma allora le promozioni non sono state fatte bene….
Talvolta (molto spesso) non capisco proprio come ragionano qielli dell’anvur&co…. e se ragionano….
“una volta assegnato a un lavoro un valore intrinseco, indipendente dal numero deigli autori”
_________________
E come?
Possibile che degli accademici non percepiscano come distopico lo scenario in cui un’autorità centralizzata viene incaricata dal governo di assegnare ai lavori scientifici un valore intrinseco? Ai tempi del Cardinal Bellarmino (Presidente dell’Anvur dell’epoca) quale valore intrinseco sarebbe stato assegnato ai lavori di Galileo?
E, a proposito di lucidità, è sintomatico che la discussione non verta sullo scenario distopico, ma su come spartire tra i coautori il valore intrinseco …
Cara Elena,
Ogni area ha degli usi e costumi molto diversi. Ad esempio, in matematica ci sono pochi autori, in fisica delle particelle ci sono delle grandi collaborazioni che possono produrre articoli anche con 7.000 nomi. L’articolo con il quale sono state misurate per la prima volte le onde gravitazionali aveva circa un migliaio di autori. È innegabile però che chi è a capo del progetto ha un credito molto diverso da chi ha semplicemente partecipato. Nella chimica c’è un autore di riferimento e molti coautori (generalmente studenti). Insomma, ogni area fa storia a sé. Per i progetti ERC si riportano gli indici bibliometrici del PI, ma quello che davvero conta è il contributo di chi propone il progetto. Le soglie 75% e 25% (60% e 20% nella proposta originale) sono basate su un’impostazione ideologica: si confondono gli “strumenti di lavoro” con un “incentivo”. Sulla base di questo, si crea un algoritmo che ordini i docenti italiani in un’improbabile classifica. Attenzione: la classifica nasce da una richiesta della politica. Una tale procedura valutativa non ha similitudini con quelle adottate dai paesi avanzati. Soprattutto, come già rilevato da tanti altri commentatori, si tratta di distribuire una cifra minima, 3000 euro a testa, 45 milioni in totale. Per confronto, l’FFO è dell’ordine di 6-7 miliardi di euro.
Sto semplicemente dicendo che secondo me una qualsiasi commissione di un qualsiasi concorso deve prima dare una valore a ogni prodotto della ricerca (del tutto indipendentementevdal numero degli autori) poi a ciascun autore assegnare solo una parte di tale valore. Ma i due problemi come giudicare il valore di un articolo e come “assegnare” parte di tale valore a ciascun autore sono appunto DUE problemi. Insomma anche se una commissione giudica il valore di un articolo non in modo automatico ma leggendoseli (saggissimo metodo) rimane comunque da decidere come valutare il contributo dei coautori e la presa di posizipne su questo punto del cun che sembra favorevole a considerare tutti gli articoli come se fossero a un solo nome mi sembra demenziale. Otretutto per sostenere la loro tesi hanno scritto “cosi si è fatto in asn e vqr”! Ma chi lo.ha detto che tutto qiello che è stato fatto in asn e vqr è giusto?
Cara Elena,
Nei concorsi si valutano al massimo qualche decina di candidati, tra le altre cose tutti dello stesso settore. Come ribadito più volte l’assurdità qui è la pretesa di valutare la produzione scientifica di qualche decina di migliaia di ricercatori in modo del tutto automatico, in aperto contrasto con qualsiasi pratica riconosciuta a livello internazionale, applicando più o meno le stesse regole per tutti. Il risultato sarà sempre assurdo, sia che si divida per n o non si divida per n. Questo è il punto centrale della questione.
… stabilito che galileo avrebbe dovuto pubblicare tre articoli e un libro bellarmino e companu (accademici) avrebbero potuto valutarne il cv e decidere se promuoverlo a PO … se avesse avuto solo due pubblicazioni avrebbe dovuto maturare ancora un po’ … o no?
A mio avviso non c’e’ nulla di male ad utilizzare tecniche di valutazione automatica, ovviamente dopo una approfondito studio dei migliori algoritmi e metriche di valutazione.
Ma ci sono due prerequisiti fondamentali:
1) Algoritmi e metriche debbono essere resi noti prima, e poi rimanere invariati, per il periodo a cui la valutazione si riferisce.
2) Debbono essere applicati solo all’interno di gruppi omogenei.
Per il primo punto, significa che l’Anvur avrebbe dovuto pubblicare le metodiche di valutazione almeno due anni prima del periodo a cui la valutazione verra’ poi applicata. In assenza di un adeguata informazione preventiva, e’ ovvio che le scelte dei singoli possano essere state mal indirizzate da aspettative diverse su come il proprio lavoro sara’ poi valutato.
Per il secondo punto, significa che occorre anzitutto “dividere la torta” in fette predeterminate, sulla base di criteri “politici”, relativi a quanto certe aree scientifiche siano “utili” al paese. A valle di tale divisione, si applicano le metriche per assegnare le risorse agli appartenenti a ciascun gruppo omogeneo.
Poiche’ questo non e’ stato fatto, giudico l’attuale operazione una sostanziale pagliacciata. E’ vero che sono pochi soldi, ma per chi ne ha ZERO anche 3000 euro non sono da disprezzare…
E darli cosi’ a casaccio, senza criterio, fa solo del male al sistema. Allora era meglio darne 2000 a tutti, senza perder tempo con ste pagliacciate di pseudo-valutazioni (che poi hanno anche loro un costo)….
“era meglio darne 2000 a tutti, senza perder tempo con ste pagliacciate di pseudo-valutazioni (che poi hanno anche loro un costo)….”
__________
appunto