Spett.le redazione di ROARS,

in questi tempi di fermento intorno al mondo della ricerca universitaria, con la nuova VQR in itinere che ha già suscitato non poche polemiche, la numerosità della produzione scientifica di docenti e ricercatori che impatta su una cospicua fetta del FFO assegnato alle università, l’autonomia degli Atenei sancita dalla L.240/2010 (art. 6, c. 14) nell’emanazione dei criteri per la valutazione di docenti e ricercatori ai fini dell’attribuzione degli scatti stipendiali, e l’esistenza dei fondi premialità, in cui fra l’altro confluiscono sempre per via della L.240/2010 le somme per scatti non attribuite, vorrei segnalare il caso veramente particolare della Scuola Superiore Sant’Anna di Pisa, in cui i suddetti elementi sono riusciti a intrecciarsi in maniera quanto meno creativa.

In tale Ateneo, il regolamento varato dal Senato Accademico prevede, per quanto riguarda la valutazione della ricerca, che il docente o ricercatore debba avere indici bibliometrici maggiori o uguali a quelli medi calcolati sui colleghi di pari ruolo (PA, PO, Ric.) e SSD a livello nazionale. In breve, si prendono i valori dello Scholarly Output, Field-Weighted Citation Index (FWCI) e Percentuale di articoli su riviste in Q1 (TopJ25%), come riportati da SciVal per il singolo docente, si rapportano i 3 valori ai valori medi degli stessi 3 indici ottenuti per i docenti dello stesso ruolo ed SSD a livello nazionale, e si sommano i 3 rapporti ottenuti ottenendo uno score per docente. Per ottenere lo scatto, bisogna avere un valore di score cosiddetto in Fascia Alta, cioè superiore a 3. Si noti che ciascun rapporto vale 1 se il relativo indicatore coincide con il valor medio nazionale, quindi è previsto un minimo di compensazione fra i 3 indici nel momento in cui si sommano, ma bisogna comunque superare le performance dei colleghi di pari ruolo ed SSD (salto qualche ulteriore dettaglio su valori minimi che devono comunque avere i 3 rapporti presi singolarmente).

Questo sembra in contrasto con il senso della L.240/2010 che voleva punire i fannulloni, non trasformare lo scatto in un premio, tanto più che la stessa L.240/2010 prevede l’esistenza di un fondo premialità a parte (art. 9). Oltretutto, tale regolamento presenta diversi sintomi di illegalità, infatti:

  • la valutazione è comparativa, dato che nella media nazionale di pari ruolo/SSD rientrano anche i colleghi dello stesso Ateneo che influenzano la media, mentre il regolamento stesso di Ateneo per gli scatti recita “senza alcuna valutazione comparativa tra i richiedenti“;
  • non si fa distinzione fra anzianità di servizio per cui al primo scatto si dovrebbe far meglio dei colleghi di pari SSD che magari sono in ruolo da 20 anni in altri Atenei;
  • si penalizzano coloro che, per necessità o scelta, si ritrovano a far ricerca in gruppi piccolissimi o anche solo individualmente, ad esempio i neo-assunti, perché un docente che opera nell’Ateneo già da anni ha facilmente diversi dottorandi e collaboratori che pubblicano col docente, mentre il neo-assunto si ritrova nell’impossibilità materiale di riuscire a rispettare le soglie di settore;
  • la valutazione ha un evidente disallineamento temporale coi requisiti di legge, infatti non si tiene conto che gli indici bibliometrici — Scholarly Output, FWCI, e TopJ25% di SciVal — misurano quanto si è fatto bene negli anni passati, non di certo nel triennio di valutazione (i lavori su rivista richiedono spesso diversi mesi e fino ad alcuni anni per la pubblicazione, così come ci vogliono anni per verificare l’impatto in termini di indici citazionali) — problema che diventerà ancora più evidente se verrà mantenuto un meccanismo simile dopo l’introduzione del regime biennale (l’Ateneo ha già un gruppo di lavoro per la revisione dei criteri in virtù di ciò, ma sembra proprio che si voglia mantenere il principio di premialità dello scatto);
  • la definizione dello score ha un evidente problema di inconsistenza: pubblicare in riviste non Q1, porta ad un aumento del primo indicatore (Scholarly Output), ma ad un abbassamento del terzo (TopJ25%), dove l’abbassamento domina quasi sicuramente l’incremento, per cui il risultato è un disincentivo a pubblicare, ma docenti e ricercatori andrebbero sempre e comunque incoraggiati a pubblicare i risultati delle loro ricerche;
  • il docente non obiettivi precisi da realizzare per il riconoscimento dello scatto, ma siamo in presenza di un target mobile: tutto dipende da quanto pubblicheranno i colleghi di pari ruolo/SSD a livello nazionale negli stessi periodi;
  • un impatto così diretto delle pubblicazioni sullo stipendio costituisce in generale un disincentivo alla collaborazione con altri Atenei (perché bisogna superare in media i colleghi di altri Atenei).

Segnalo inoltre che in un picco di eccellenza in termini di trasparenza amministrativa, l’Ateneo pubblica sul web il “regolamento per l’impegno didattico del personale docente e ricercatore”
https://www.santannapisa.it/sites/default/files/reg_impegno_didattico_per_pubblicazione.pdf
che sancisce all’art. 13 che la valutazione sui 3 aspetti (didattica, gestionale e ricerca) e’ effettuata secondo criteri a soglia, demandando a delibere del Senato Accademico per la specifica delle stesse. Purtroppo, però, tali delibere non sono accessibili pubblicamente sul web, ma solamente sulla Intranet di Ateneo, dove in una pagina dedicata agli scatti c’e’ un documento della UO Personale dal titolo “Procedura e criteri di valutazione delle relazioni triennali ai fini dell’attribuzione delle classi stipendiali”, che riporta in cima gli estremi di tutte le delibere del SA ai sensi della quale il documento e’ stato redatto. In tale documento si specifica che per il personale docente e’ richiesta “una valutazione piena nelle due valutazioni della ricerca nei due anni solari interamente ricompresi nel triennio”, specificando, in una nota a pie’ di pagina che “Con valutazione piena si intende rientrare nella fascia alta: score totale >= 3 nella valutazione interna della ricerca condotta secondo la metodologia approvata con delibera del Senato Accademico n. 186 dell’8/10/2018.” Finalmente atterriamo sui criteri di valutazione veri e propri, contenuti in una presentazione del Rettore, allegata alla citata delibera del SA del 2018. Tali criteri sono genericamente utilizzati sia per le valutazioni annuali e redistribuzioni interne dei fondi d’Ateneo ai vari Istituti, sia per la valutazione per la concessione degli scatti.

Riassumendo: il regolamento sugli scatti dice che, sul fronte della ricerca, siamo valutati secondo criteri a soglia. Tale soglia, seguendo una catena rocambolesca di documenti e puntatori come dettagliato di sopra, e’ lo score, che viene valutato comparativamente dividendo la performance dell’interessato per quella media dei colleghi di pari ruolo/SSD a livello nazionale, ottenendo un valore che dev’essere >= 3.0, altrimenti niente scatto.

Oltretutto, un docente che volesse dare un’occhiata intermedia alla propria situazione, non potrebbe farlo autonomamente, in quanto anche se hanno tutti accesso a SciVal (per cui l’Ateneo paga una licenza non da poco), non è banale ricostruire il paniere degli Scopus Id dei docenti di pari ruolo/SSD, cosa che invece vien fatta annualmente dall’UO Statistica per tutti i ruoli/SSD di appartenenza dei docenti dell’Ateneo.

Come ciliegina sulla torta, lasciatemi aggiungere che il regolamento di cui sopra viene applicato alla lettera ed in maniera strettamente matematica, senza alcuna possibilità di deroghe per qualsivoglia motivo.

Tanto per fare un esempio concreto, con riferimento a un caso realmente verificatosi in un’area ingegneristica, un docente che ha vinto un posto da Professore Associato provenendo da un periodo nell’industria, in cui il suo lavoro negli anni antecedenti alla presa di servizio non aveva a che vedere con la ricerca e le pubblicazioni, e che quindi non può ritrovarsi quello stream di articoli in valutazione dagli anni precedenti che avrebbero senz’altro migliorato la valutazione — secondo i criteri sopra citati — soprattutto per quanto riguarda il primo anno di servizio, si è ritrovato a valle dei 3 anni, a pochi mesi dall’aver festeggiato l’ottenimento dell’abilitazione ASN da PO, la doccia fredda del primo scatto da PA negato. Questo dopo aver atteso circa 9 mesi per la valutazione della domanda, con un esito contenente poche righe di giustificazione che riportano score ottenuto e soglia minima non raggiunta, senza neanche dettagliare come lo score sia stato calcolato. Da notare che il docente in questione aveva presentato una relazione delle attività in cui si evidenziava che, nonostante le attività di ricerca fossero partite senza disponibilità di fondi né dottorandi, il docente aveva comunque:

  • pubblicato 11 prodotti indicizzati Scopus, di cui 3 pubblicate nel periodo di valutazione ma apparse su Scopus con mesi di ritardo l’anno successivo;
  • pubblicato 1 articolo su rivista Q2, più un’altro su rivista Q1 di nuovo apparso su Scopus in ritardo ma il cui lavoro era necessariamente stato svolto nel periodo di valutazione;
  • pubblicato 1 articolo non indicizzato Scopus risultato comunque in un best-paper award;
  • portato all’Ateneo progetti di ricerca industriale conto terzi per un valore complessivo intorno ai 180K EUR;
  • depositato 2 brevetti congiuntamente ad un rinomato partner industriale;
  • svolto attività di referaggio articoli per 16 conferenze e workshop internazionali, molti dei quali a “marchio” IEEE o ACM, e per 8 diverse riviste internazionali, fra cui diverse della serie IEEE Transactions;
  • contribuito a sottomettere 3 proposte di progetti Europei, di cui uno che è stato poi accettato per il finanziamento.

Ora, senz’altro si poteva fare di meglio e c’è indubbiamente chi fa di meglio in 3 anni, ma mi sembra che qui si stia chiedendo ai docenti di tirarsi il sangue in nome dell’eccellenza!

Nello stesso Ateneo, presentando le osservazioni sulle criticità del regolamento di cui sopra agli organi competenti a livello di Ateneo, si è ottenuto solamente un mix di osservazioni di varia natura, come quella che se il 95% dei docenti nell’Ateneo rispettano tali criteri, significa che evidentemente l’asticella è stata posta ad un livello assolutamente raggiungibile, in linea con gli obiettivi di un Ateneo d’eccellenza, o anche che dato che l’FFO è ripartito in base a logiche valutative, è fondamentale che i docenti si diano da fare per mantenere il ranking dell’Ateneo in pole-position.

In definitiva, la L.240/2010 aveva semplicemente aggiunto una fase di verifica degli adempimenti del docente/ricercatore alle proprie mansioni, per la concessione dello scatto stipendiale che spetta di diritto, e per cui è già stato allocato budget per il nuovo triennio. Un regolamento d’Ateneo come quello sopra citato distorce gli obiettivi di tale verifica rendendo di fatto lo scatto triennale un premio concesso solamente a chi riesce a portare le metriche di Ateneo al di sopra delle medie nazionali. Questo stravolge le intenzioni del Legislatore, spingendo il corpo docente e ricercatore a puntare ad una ricerca puramente di quantità, introducendo discriminazioni per alcune categorie di docenti/ricercatori deboli che non hanno ancora un gruppo attivo di collaborazioni interne, negando il diritto allo scatto stipendiale anche a coloro che, pur avendo lavorato con dignità, diligenza, professionalità e passione, dovessero ritrovarsi a non rispettare le soglie. Il lavoro di docente/ricercatore universitario non può e non deve trasformarsi in una competizione contro altri colleghi dello stesso o altri Atenei, nel nome dell’Eccellenza o della necessità di far svettare l’Ateneo di appartenenza in questa o quella classifica nazionale o internazionale.

Una cosa è incentivare il personale docente e ricercatore a primeggiare mediante premi o fondi aggiuntivi, una cosa del tutto diversa è toglier loro lo scatto che avrebbero di diritto qualora non riescano a portar le metriche di Ateneo in vetta alle classifiche. Questo mi sembra del tutto irragionevole, anche in considerazione del fatto che molti Atenei d’Italia, incluso altri “Atenei d’Eccellenza”, si sono allineati su criteri di valutazione della ricerca molto più blandi richiedendo un paio di pubblicazioni o giù di lì. Mi sembra fra l’altro senz’altro degno di nota il regolamento dell’Università di Sassari che, all’Art. 3, c. 5, riporta: “L’accesso alla progressione economica non ha base premiale (art. 8 L. 30 dicembre 2010, n. 240, nel testo risultante per effetto delle modifiche introdotte dall’art. 1, comma 629°, Legge 27 dicembre 2017, n. 205, o legge di bilancio 2018).”

Tali logiche contribuiscono a spingere sempre più verso un’accademia iper-produttiva, in cui si produce sempre più carta auto-referenziale in cui reali conoscenze, innovazioni e risultati della ricerca sono sempre sempre più diluiti, quindi carta utile sempre più alla stessa accademia e meno alla società, rischiando tra l’altro di innescare o alimentare pericolosi meccanismi di “doping citazionale“. Questo rende sempre più difficile “disintossicarsi” da soglie di produttività che non facilitano la creazione di nuove conoscenze o impatto in termini di miglioramento della società in cui viviamo. Forse esagera un docente di UCL che ha proposto provocatoriamente di introdurre il limite massimo di una pubblicazione all’anno, ma comunque abbiamo bisogno di tutt’altro che meccanismi che costringono a creare più carta. Piuttosto, bisognerebbe a mio parere che l’accademia incentivasse una ricerca di qualità, e oltretutto, in considerazione del fatto che le pubblicazioni spesso costano (ad es., registrazione e spese di viaggio per la partecipazione a congressi), una ricerca responsabile fatta di meno risultati, presentati meno frequentemente ma possibilmente di maggior utilità e impatto.

Questo andrebbe realizzato anche mediante meccanismi di valutazione appropriati, da cui non si può certamente prescindere, ma effettuati tenendo conto della complessità delle attività in oggetto, piuttosto che puntando a valutazioni puramente meccaniche. Quest’ostinazione all’applicazione cieca di metodi matematici per la valutazione di un’attività complessa come quella di un docente o ricercatore universitario, forse deve far riflettere: da buon Ingegnere, devo osservare che spesso gli automatismi hanno bisogno di un notevole numero di revisioni e integrazioni, prima di raggiungere un livello di funzionamento accettabile. Ma in procedure di questo tipo, sarebbe sempre e comunque opportuno lasciare un certo margine di discrezionalità nella valutazione, per poter coprire eventuali casistiche inusuali e atipiche che non erano state considerate in fase di redazione e formulazione dei criteri/regolamenti, e/o eventualmente gestire casi eccezionali in cui può esser necessario applicare correttivi ad eventuali errori (o orrori) dei database bibliografici.

Infine, vorrei concludere con l’augurio che i nostri organi di governo possano avere in cantiere una revisione della legislazione in essere per uniformare i criteri di valutazione tra i vari Atenei, in modo da evitare che, a parità di lavoro svolto, alcuni docenti vedano la propria classe stipendiale progredire, altri no, in dipendenza dall’Ateneo di appartenenza, andando a esacerbare le problematiche di divergenza fra Atenei e distorsione della libera attività di ricerca già evidenziate da altri riguardo agli effetti della VQR sul sistema accademico Italiano.

(Lettera firmata)

Send to Kindle

18 Commenti

  1. Beh, la conclusione che qualunque persona sensata trarrebbe da questa descrizione è che è molto meglio lasciar andare le sedicenti scuole di eccellenza verso la sterilità da bulimia citazionale e cercare di andare piuttosto in un ateneo “normale” (finché ce ne saranno) dove ancora non sia stato abrogato l’art.33 della Costituzione. Magari ci sarà qualche facility in meno ma a parità di sforzo lo stipendio crescerà più in fretta.

    Oppure, ancor meglio, cercare un paese meno ossessionato di questo dall’ansia da prestazione pubblicistica e dalle misure bibliometriche.

  2. Beh…anche questo però da da pensare: senza molte pubblicazioni, nel giro di pochi anni associato, meno ancora asn per ordinario…
    Pensate al lavoro matto e disperatissimo cui molti di noi sono sottoposti: senza ricevere il titolo di… ciò che già sono: professori a tutti gli effetti

  3. Una distorsione del disposto della legge Gelmini, in quanto applica un meccanismo di premialità alla progressione economica. A questo punto suppongo che il fondo premiale, alimentato con il denaro sottratto tendenziosamente al personale docente tutto, venga distribuito alle funzioni di vertice, delegati, commissioni, che notoriamente gli atenei moltiplicano con grande fantasia (tipo delegato per i rapporti con l’Armenia), magari pure esonerati dal rispetto dei parametri normali.

  4. Anche se allergico alla parola eccellenza, io al Sant’Anna come straordinario laboratorio di idee e produttore di conoscenza continuo e continuerò a crederci. Comprendetemi. Però… Quello che leggete nella lettera è solo la punta dell’iceberg di un’istituzione che con caparbietà talebana pratica la religione bibliometrica da ormai molti anni. E il governo nazionale – va detto – ha costantemente premiato quelle scelte talebane. Forse per questo, il consenso interno al microcosmo della scuola è assordante, quanto marginale e marginalizzata è ogni riflessione critica (avendo per tempo tranquillizzato i settori “non bibliometrici”). Ha ragione quindi Maria Chiara nel sottolineare il significato dell’anonimato.
    Peccato che la lettera si concentri su un solo aspetto, per di più di tipo “venale”, e non abbia il coraggio di domandarsi più radicalmente cosa succede quando la mission di essere “migliori” viene tradotta in questo tipo di esercizi. Studiare il Sant’Anna di oggi sarebbe illuminante.

  5. Il prossimo passo sarà il licenziamento per rendimento insufficiente?
    A me pare una profonda lesione dello stato giuridico che fa capo alla legge, non all’autonomia. La Gelmini ha introdotto la “valutazione” ai fini dello scatto, ma questa valutazione deve riguardare l’assolvimento dei compiti d’ufficio stabiliti dalla legge e uguali per tutti, non il raggiungimento di obiettivi, che invece riguarda la quota premiale, come ben sanno tutti i lavoratori contrattualizzati.

    • Spero che prima o poi qualcuno, privato dello scatto sulla base di queste derive fordiste degli atenei, impugni procedure e regole e sollevi il problema nei tribunali amministrativi. Finora ho solo visto la solita interpretazione dell'”usi ad obbedir tacendo”.

      Va anche detto che è una deriva non solo italiana, ma tanto più grave in quanto il sistema italiano non è un sistame universitario basato su rapporti di lavoro di tipo privatistico (come alcuni sognerebbero).

  6. Abbiamo un potere enorme nelle mani, ma non lo usiamo. Fossimo più uniti, non si pensasse sempre che far male ad un altro spianera’ la propria strada, otterremo trattamenti più giusti in ogni aspetto della nostra vita.

  7. Naturalmente questa ossessione per la valutazione ha portato a una diffusa produzione di falsi, alla publish or perish.
    Invece avrei pensato di fare così: non pubblico niente, così tengo bassi i parametri del SSD però poi chi prende lo scatto me ne versa il 10% sul mio conto alle Cayman

    • Le mediane come indicatore statistico sono state ben scelte: il comportamento del singolo ha un’ influenza quasi sempre nulla. Quindi, oltre a non pubblicare nulla, occorre convincere un po’ di altri colleghi dello stesso SSD a non farlo. Cosa non banale in un’ epoca di ricerca basata sulla competizione economica.

  8. GB si può anche scherzare, ma è una cosa terribilmente seria.
    So che chi non ha sofferto le stesse conseguenze ride e pensa che queste storie siano inutili. Perché chi ha avuto favori dovrebbe prendersela per quel che hanno fatto a te? Perché chi ha profittato della tua situazione?
    Però c’è qualcosa chiamata giustizia…

  9. In realtà basterebbe “pubblicare diversamente”: libri (di primari editori internazionali, con referees etc) invece che riviste; riviste nuove e interessanti invece che riviste “di fascia A”… questi sono già (anche per amara esperienza personale nell’istituzione di cui alla lettera) comportamenti “disallineati” rispetto alle preferenze aziendali.

  10. Al di là delle questioni di principio sulla politica di valutazione, sono molto preoccupato da due aspetti più terra terra che emergono da questo post (incidentalmente, lavoro in un’entità che si chiama Ufficio Bibliometrico, anche noi usiamo Scival e Incites per reportistica interna):

    1) Quando leggo: “non è banale ricostruire il paniere degli Scopus Id dei docenti di pari ruolo/SSD, cosa che invece vien fatta annualmente dall’UO Statistica per tutti i ruoli/SSD di appartenenza dei docenti dell’Ateneo.”
    Quindi l’unità statistica del Sant’Anna fa disambiguazione massiva in Scopus sui profili autore di tutti i docenti/ricercatori italiani attivi negli stessi SSD del S. Anna? Ma quanti sono a fare questo lavoro? Sono molto scettico su un’operazione di questo tipo, soprattutto se non ne vengono apertamente condivise le metodologie. Avete accesso al database per controllare, almeno a campione, la qualità del dato su cui vengono calcolate le soglie?
    2) Il FWCI, una delle varianti del “crown (si fa per dire) indicator” del CWTS, non può essere usato per le valutazioni individuali e tantomeno sul breve periodo: innanzitutto conta le citazioni su una finestra di tre anni, quindi i lavori recenti sono penalizzati in misura maggiore o minore a seconda della aree; inoltre ha troppa variabilità su numeri piccoli, anche con 50 pubblicazioni l’intervallo di stabilità della statistica è precario. Una simulazione di questo tipo l’aveva fatta un collega di Londra tempo fa (https://bit.ly/2zbkroR) e la scarsa qualità dell’indicatore è uno dei punti chiave della guida “Using Scival Responsibly” elaborata dal gruppo LIS Bibliometrics (https://bit.ly/2KkkfGd, p. 12-14), una delle tante iniziative nate sulla scia di DORA e Metric Tide.

    Sarei contento di approfondire la questione col mittente della lettera e coi suoi datori di lavoro, l’anonimato non fa bene a nessuno.

    • posso parzialmente rispondere a De Bellis, essendo sotto gli stessi “datori di lavori”. Per quanto posso comprendere, il lavoro compiuto dall’unità statistica del sant’Anna è tecnicamente ineccepibile. Il problema non è la qualità tecnica degli statistici ma per che cosa è utilizzata… L’elenco delle distorsioni che si creano è lungo, non devo certo spiegarlo a chi segue ROARS. Ma nessun aggiustamento risolve il problema di fondo, ossia che la bibliometria sostituisce la lettura critica dei lavori

  11. nicolabellini 22 Aprile 2020 at 17:53
    “posso parzialmente rispondere a De Bellis … il lavoro compiuto dall’unità statistica del sant’Anna è tecnicamente ineccepibile.”

    Non metto in dubbio le competenze tecniche dell’unità statistica, ma il punto con la bibliometria applicata alla valutazione è proprio quello: non è solo una questione di tecnica statistica, è numerologia politica, dati e metodologie andrebbero condivisi e concordati prima durante e dopo la valutazione da tutte le parti interessate.
    Poi ovviamente si può scalare la discussione di un gradino verso l’alto e contestare l’intero edificio alla luce delle patologie della comunicazione scientifica che ne derivano (comportamenti adattivi, gaming degli indicatori, penalizzazione dei settori non mainstream eccetera eccetera), ma chi lavora negli uffici di supporto non ha voce in capitolo, si cerca di limitare i danni. Aprire dati e metodi di valutazione, anche guardando a quello che si fa fuori dall’Italia, è un primo passo per limitare i danni. Anzi, dal mio punto di vista è una necessità addirittura più impellente dell’apertura dei dati della ricerca e le due sono tragicamente collegate. Ma questa è un’altra storia che andrebbe raccontata con calma in una sede opportuna.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.