VQR, Scatti e Premialità. Un intreccio inaspettato

Spett.le redazione di ROARS,

in questi tempi di fermento intorno al mondo della ricerca universitaria, con la nuova VQR in itinere che ha già suscitato non poche polemiche, la numerosità della produzione scientifica di docenti e ricercatori che impatta su una cospicua fetta del FFO assegnato alle università, l’autonomia degli Atenei sancita dalla L.240/2010 (art. 6, c. 14) nell’emanazione dei criteri per la valutazione di docenti e ricercatori ai fini dell’attribuzione degli scatti stipendiali, e l’esistenza dei fondi premialità, in cui fra l’altro confluiscono sempre per via della L.240/2010 le somme per scatti non attribuite, vorrei segnalare il caso veramente particolare della Scuola Superiore Sant’Anna di Pisa, in cui i suddetti elementi sono riusciti a intrecciarsi in maniera quanto meno creativa.

In tale Ateneo, il regolamento varato dal Senato Accademico prevede, per quanto riguarda la valutazione della ricerca, che il docente o ricercatore debba avere indici bibliometrici maggiori o uguali a quelli medi calcolati sui colleghi di pari ruolo (PA, PO, Ric.) e SSD a livello nazionale. In breve, si prendono i valori dello Scholarly Output, Field-Weighted Citation Index (FWCI) e Percentuale di articoli su riviste in Q1 (TopJ25%), come riportati da SciVal per il singolo docente, si rapportano i 3 valori ai valori medi degli stessi 3 indici ottenuti per i docenti dello stesso ruolo ed SSD a livello nazionale, e si sommano i 3 rapporti ottenuti ottenendo uno score per docente. Per ottenere lo scatto, bisogna avere un valore di score cosiddetto in Fascia Alta, cioè superiore a 3. Si noti che ciascun rapporto vale 1 se il relativo indicatore coincide con il valor medio nazionale, quindi è previsto un minimo di compensazione fra i 3 indici nel momento in cui si sommano, ma bisogna comunque superare le performance dei colleghi di pari ruolo ed SSD (salto qualche ulteriore dettaglio su valori minimi che devono comunque avere i 3 rapporti presi singolarmente).

Questo sembra in contrasto con il senso della L.240/2010 che voleva punire i fannulloni, non trasformare lo scatto in un premio, tanto più che la stessa L.240/2010 prevede l’esistenza di un fondo premialità a parte (art. 9). Oltretutto, tale regolamento presenta diversi sintomi di illegalità, infatti:

• la valutazione è comparativa, dato che nella media nazionale di pari ruolo/SSD rientrano anche i colleghi dello stesso Ateneo che influenzano la media, mentre il regolamento stesso di Ateneo per gli scatti recita “senza alcuna valutazione comparativa tra i richiedenti“;
• non si fa distinzione fra anzianità di servizio per cui al primo scatto si dovrebbe far meglio dei colleghi di pari SSD che magari sono in ruolo da 20 anni in altri Atenei;
• si penalizzano coloro che, per necessità o scelta, si ritrovano a far ricerca in gruppi piccolissimi o anche solo individualmente, ad esempio i neo-assunti, perché un docente che opera nell’Ateneo già da anni ha facilmente diversi dottorandi e collaboratori che pubblicano col docente, mentre il neo-assunto si ritrova nell’impossibilità materiale di riuscire a rispettare le soglie di settore;
• la valutazione ha un evidente disallineamento temporale coi requisiti di legge, infatti non si tiene conto che gli indici bibliometrici — Scholarly Output, FWCI, e TopJ25% di SciVal — misurano quanto si è fatto bene negli anni passati, non di certo nel triennio di valutazione (i lavori su rivista richiedono spesso diversi mesi e fino ad alcuni anni per la pubblicazione, così come ci vogliono anni per verificare l’impatto in termini di indici citazionali) — problema che diventerà ancora più evidente se verrà mantenuto un meccanismo simile dopo l’introduzione del regime biennale (l’Ateneo ha già un gruppo di lavoro per la revisione dei criteri in virtù di ciò, ma sembra proprio che si voglia mantenere il principio di premialità dello scatto);
• la definizione dello score ha un evidente problema di inconsistenza: pubblicare in riviste non Q1, porta ad un aumento del primo indicatore (Scholarly Output), ma ad un abbassamento del terzo (TopJ25%), dove l’abbassamento domina quasi sicuramente l’incremento, per cui il risultato è un disincentivo a pubblicare, ma docenti e ricercatori andrebbero sempre e comunque incoraggiati a pubblicare i risultati delle loro ricerche;
• il docente non obiettivi precisi da realizzare per il riconoscimento dello scatto, ma siamo in presenza di un target mobile: tutto dipende da quanto pubblicheranno i colleghi di pari ruolo/SSD a livello nazionale negli stessi periodi;
• un impatto così diretto delle pubblicazioni sullo stipendio costituisce in generale un disincentivo alla collaborazione con altri Atenei (perché bisogna superare in media i colleghi di altri Atenei).

Segnalo inoltre che in un picco di eccellenza in termini di trasparenza amministrativa, l’Ateneo pubblica sul web il “regolamento per l’impegno didattico del personale docente e ricercatore”
https://www.santannapisa.it/sites/default/files/reg_impegno_didattico_per_pubblicazione.pdf
che sancisce all’art. 13 che la valutazione sui 3 aspetti (didattica, gestionale e ricerca) e’ effettuata secondo criteri a soglia, demandando a delibere del Senato Accademico per la specifica delle stesse. Purtroppo, però, tali delibere non sono accessibili pubblicamente sul web, ma solamente sulla Intranet di Ateneo, dove in una pagina dedicata agli scatti c’e’ un documento della UO Personale dal titolo “Procedura e criteri di valutazione delle relazioni triennali ai fini dell’attribuzione delle classi stipendiali”, che riporta in cima gli estremi di tutte le delibere del SA ai sensi della quale il documento e’ stato redatto. In tale documento si specifica che per il personale docente e’ richiesta “una valutazione piena nelle due valutazioni della ricerca nei due anni solari interamente ricompresi nel triennio”, specificando, in una nota a pie’ di pagina che “Con valutazione piena si intende rientrare nella fascia alta: score totale >= 3 nella valutazione interna della ricerca condotta secondo la metodologia approvata con delibera del Senato Accademico n. 186 dell’8/10/2018.” Finalmente atterriamo sui criteri di valutazione veri e propri, contenuti in una presentazione del Rettore, allegata alla citata delibera del SA del 2018. Tali criteri sono genericamente utilizzati sia per le valutazioni annuali e redistribuzioni interne dei fondi d’Ateneo ai vari Istituti, sia per la valutazione per la concessione degli scatti.

Riassumendo: il regolamento sugli scatti dice che, sul fronte della ricerca, siamo valutati secondo criteri a soglia. Tale soglia, seguendo una catena rocambolesca di documenti e puntatori come dettagliato di sopra, e’ lo score, che viene valutato comparativamente dividendo la performance dell’interessato per quella media dei colleghi di pari ruolo/SSD a livello nazionale, ottenendo un valore che dev’essere >= 3.0, altrimenti niente scatto.

Oltretutto, un docente che volesse dare un’occhiata intermedia alla propria situazione, non potrebbe farlo autonomamente, in quanto anche se hanno tutti accesso a SciVal (per cui l’Ateneo paga una licenza non da poco), non è banale ricostruire il paniere degli Scopus Id dei docenti di pari ruolo/SSD, cosa che invece vien fatta annualmente dall’UO Statistica per tutti i ruoli/SSD di appartenenza dei docenti dell’Ateneo.

Come ciliegina sulla torta, lasciatemi aggiungere che il regolamento di cui sopra viene applicato alla lettera ed in maniera strettamente matematica, senza alcuna possibilità di deroghe per qualsivoglia motivo.

Tanto per fare un esempio concreto, con riferimento a un caso realmente verificatosi in un’area ingegneristica, un docente che ha vinto un posto da Professore Associato provenendo da un periodo nell’industria, in cui il suo lavoro negli anni antecedenti alla presa di servizio non aveva a che vedere con la ricerca e le pubblicazioni, e che quindi non può ritrovarsi quello stream di articoli in valutazione dagli anni precedenti che avrebbero senz’altro migliorato la valutazione — secondo i criteri sopra citati — soprattutto per quanto riguarda il primo anno di servizio, si è ritrovato a valle dei 3 anni, a pochi mesi dall’aver festeggiato l’ottenimento dell’abilitazione ASN da PO, la doccia fredda del primo scatto da PA negato. Questo dopo aver atteso circa 9 mesi per la valutazione della domanda, con un esito contenente poche righe di giustificazione che riportano score ottenuto e soglia minima non raggiunta, senza neanche dettagliare come lo score sia stato calcolato. Da notare che il docente in questione aveva presentato una relazione delle attività in cui si evidenziava che, nonostante le attività di ricerca fossero partite senza disponibilità di fondi né dottorandi, il docente aveva comunque:

• pubblicato 11 prodotti indicizzati Scopus, di cui 3 pubblicate nel periodo di valutazione ma apparse su Scopus con mesi di ritardo l’anno successivo;
• pubblicato 1 articolo su rivista Q2, più un’altro su rivista Q1 di nuovo apparso su Scopus in ritardo ma il cui lavoro era necessariamente stato svolto nel periodo di valutazione;
• pubblicato 1 articolo non indicizzato Scopus risultato comunque in un best-paper award;
• portato all’Ateneo progetti di ricerca industriale conto terzi per un valore complessivo intorno ai 180K EUR;
• depositato 2 brevetti congiuntamente ad un rinomato partner industriale;
• svolto attività di referaggio articoli per 16 conferenze e workshop internazionali, molti dei quali a “marchio” IEEE o ACM, e per 8 diverse riviste internazionali, fra cui diverse della serie IEEE Transactions;
• contribuito a sottomettere 3 proposte di progetti Europei, di cui uno che è stato poi accettato per il finanziamento.

Ora, senz’altro si poteva fare di meglio e c’è indubbiamente chi fa di meglio in 3 anni, ma mi sembra che qui si stia chiedendo ai docenti di tirarsi il sangue in nome dell’eccellenza!

Nello stesso Ateneo, presentando le osservazioni sulle criticità del regolamento di cui sopra agli organi competenti a livello di Ateneo, si è ottenuto solamente un mix di osservazioni di varia natura, come quella che se il 95% dei docenti nell’Ateneo rispettano tali criteri, significa che evidentemente l’asticella è stata posta ad un livello assolutamente raggiungibile, in linea con gli obiettivi di un Ateneo d’eccellenza, o anche che dato che l’FFO è ripartito in base a logiche valutative, è fondamentale che i docenti si diano da fare per mantenere il ranking dell’Ateneo in pole-position.

In definitiva, la L.240/2010 aveva semplicemente aggiunto una fase di verifica degli adempimenti del docente/ricercatore alle proprie mansioni, per la concessione dello scatto stipendiale che spetta di diritto, e per cui è già stato allocato budget per il nuovo triennio. Un regolamento d’Ateneo come quello sopra citato distorce gli obiettivi di tale verifica rendendo di fatto lo scatto triennale un premio concesso solamente a chi riesce a portare le metriche di Ateneo al di sopra delle medie nazionali. Questo stravolge le intenzioni del Legislatore, spingendo il corpo docente e ricercatore a puntare ad una ricerca puramente di quantità, introducendo discriminazioni per alcune categorie di docenti/ricercatori deboli che non hanno ancora un gruppo attivo di collaborazioni interne, negando il diritto allo scatto stipendiale anche a coloro che, pur avendo lavorato con dignità, diligenza, professionalità e passione, dovessero ritrovarsi a non rispettare le soglie. Il lavoro di docente/ricercatore universitario non può e non deve trasformarsi in una competizione contro altri colleghi dello stesso o altri Atenei, nel nome dell’Eccellenza o della necessità di far svettare l’Ateneo di appartenenza in questa o quella classifica nazionale o internazionale.

Una cosa è incentivare il personale docente e ricercatore a primeggiare mediante premi o fondi aggiuntivi, una cosa del tutto diversa è toglier loro lo scatto che avrebbero di diritto qualora non riescano a portar le metriche di Ateneo in vetta alle classifiche. Questo mi sembra del tutto irragionevole, anche in considerazione del fatto che molti Atenei d’Italia, incluso altri “Atenei d’Eccellenza”, si sono allineati su criteri di valutazione della ricerca molto più blandi richiedendo un paio di pubblicazioni o giù di lì. Mi sembra fra l’altro senz’altro degno di nota il regolamento dell’Università di Sassari che, all’Art. 3, c. 5, riporta: “L’accesso alla progressione economica non ha base premiale (art. 8 L. 30 dicembre 2010, n. 240, nel testo risultante per effetto delle modifiche introdotte dall’art. 1, comma 629°, Legge 27 dicembre 2017, n. 205, o legge di bilancio 2018).”

Tali logiche contribuiscono a spingere sempre più verso un’accademia iper-produttiva, in cui si produce sempre più carta auto-referenziale in cui reali conoscenze, innovazioni e risultati della ricerca sono sempre sempre più diluiti, quindi carta utile sempre più alla stessa accademia e meno alla società, rischiando tra l’altro di innescare o alimentare pericolosi meccanismi di “doping citazionale“. Questo rende sempre più difficile “disintossicarsi” da soglie di produttività che non facilitano la creazione di nuove conoscenze o impatto in termini di miglioramento della società in cui viviamo. Forse esagera un docente di UCL che ha proposto provocatoriamente di introdurre il limite massimo di una pubblicazione all’anno, ma comunque abbiamo bisogno di tutt’altro che meccanismi che costringono a creare più carta. Piuttosto, bisognerebbe a mio parere che l’accademia incentivasse una ricerca di qualità, e oltretutto, in considerazione del fatto che le pubblicazioni spesso costano (ad es., registrazione e spese di viaggio per la partecipazione a congressi), una ricerca responsabile fatta di meno risultati, presentati meno frequentemente ma possibilmente di maggior utilità e impatto.

Questo andrebbe realizzato anche mediante meccanismi di valutazione appropriati, da cui non si può certamente prescindere, ma effettuati tenendo conto della complessità delle attività in oggetto, piuttosto che puntando a valutazioni puramente meccaniche. Quest’ostinazione all’applicazione cieca di metodi matematici per la valutazione di un’attività complessa come quella di un docente o ricercatore universitario, forse deve far riflettere: da buon Ingegnere, devo osservare che spesso gli automatismi hanno bisogno di un notevole numero di revisioni e integrazioni, prima di raggiungere un livello di funzionamento accettabile. Ma in procedure di questo tipo, sarebbe sempre e comunque opportuno lasciare un certo margine di discrezionalità nella valutazione, per poter coprire eventuali casistiche inusuali e atipiche che non erano state considerate in fase di redazione e formulazione dei criteri/regolamenti, e/o eventualmente gestire casi eccezionali in cui può esser necessario applicare correttivi ad eventuali errori (o orrori) dei database bibliografici.

Infine, vorrei concludere con l’augurio che i nostri organi di governo possano avere in cantiere una revisione della legislazione in essere per uniformare i criteri di valutazione tra i vari Atenei, in modo da evitare che, a parità di lavoro svolto, alcuni docenti vedano la propria classe stipendiale progredire, altri no, in dipendenza dall’Ateneo di appartenenza, andando a esacerbare le problematiche di divergenza fra Atenei e distorsione della libera attività di ricerca già evidenziate da altri riguardo agli effetti della VQR sul sistema accademico Italiano.

(Lettera firmata)