Da qualche anno a questa parte l’università e la scuola sono al centro di processi valutativi che hanno suscitato molte critiche per come sono stati sviluppati. Non c’è dubbio che in un sistema con risorse finite, come qualsiasi sistema universitario, è necessario valutare per tre scopi differenti: assumere, promuovere e ripartire le risorse. In Italia un nuovo sistema per assumere docenti universitari e promuovere quelli già in servizio è stato recentemente introdotto come “sotto-prodotto” della riforma Gelmini: vediamo con che risultati.

Supponiamo che ci sia una posizione di professore e si presentino come candidati l’ultimo premio Nobel per la fisica, Peter Higgs, e, per fare un esempio esplicativo e simbolico, il rettore della più grande università italiana, il prof. Luigi Frati. In un sistema di valutazione ideale si preferirebbe assumere un grande scienziato premiato con il Nobel piuttosto che qualcuno che ha dedicato, con successo o meno, la propria attività a dirigere un ateneo con 200.000 studenti per quasi un decennio. Anzi molto spesso si sente dire il sistema italiano è stato cambiato dalla recente riforma Gelmini proprio per contrastare il “potere dei baroni”. E, con tutto il rispetto e la simpatia per il prof. Frati, non è il rettore del primo ateneo italiano il prototipo nazionale di “barone”? Il risultato del sistema che è stato implementato in conseguenza della legge Gelmini è dunque paradossale: il famoso premio Nobel Higgs non verrebbe preso né come membro di  una commissione di selezione e né passerebbe la soglia per essere considerato come candidato al primo livello di professore, mentre il prof. Frati, dall’alto dei suoi strabilianti numeri di articoli e di citazioni, passa tranquillamente entrambe le selezioni. Ma la riforma Gelmini non doveva essere contro i “baroni” e a favore della meritocrazia come ci hanno tante volte raccontato?

In realtà questa situazione paradossale è avvenuta perché in Italia c’è un grave ritardo nella cultura della valutazione, al punto da usare metodi banditi a livello internazionale . Questa situazione ha permesso di far passare il bianco per nero e viceversa. Ma solo a chi non s’informa su quanto accade nel mondo scientifico internazionale sfugge la natura abnorme delle regole escogitate dalla nostra agenzia di valutazione, i cui supporters assomigliano sempre più agli ultimi giapponesi nella jungla che credono che la valutazione della qualità di un ricercatore fatta contando solo il numero di articoli e di citazioni da questi ricevuti, possa ancora affermarsi a livello mondiale. Qualcuno dica loro che Okinawa è caduta in mano agli americani.

(Pubblicato su Il Fatto Quotidiano)

Print Friendly, PDF & Email

45 Commenti

  1. Il bosone di Frati

    Caro Sylos- Labini, sono un assegnista della Sapienza e devo dire che non condivido il suo articolo.

    Il magnifico Frati è un eccellente medico-oncologo, una persona di specchiata virtù, anche se le numerose inchieste condotte negli anni da Repubblica, Espresso, Report e gli scandali più recenti sembrerebbero dimostrare tutt’altro. In base a tali inchieste, verrebbe da credere che Frati sia il primo esponente del clientelismo e del familismo accademico italiano, il burattinaio che da sempre controlla a piacimento i concorsi universitari e che ha sistemato moglie, figli, amici e affini. Ma è stato dimostrato che queste sono solo calunnie prive di fondamento.

    Frati possiede più di 200 pubblicazioni, ma nell’elenco degli autori compare sempre in mezzo a decine di nomi: qualcuno insinua che si tratti di regalie di amici e sudditi riconoscenti per i favori ricevuti. Nemmeno per sogno, in realtà sembra che il nostro rettore sia così generoso e disinteressato da rinunciare di essere il principale autore in favore di giovani colleghi più bisognosi.

    Grazie al sistema di valutazione meritocratico dell’Anvur, a Frati viene finalmente attribuito il giusto valore, mentre il Premio Nobel Higgs, sicuramente raccomandato dalle mafie di Stoccolma, viene considerato per quello che in realtà è, solo un mediocre in confronto al nostro magnifico.

    Complimenti ai sette saggi del consiglio direttivo dell’Anvur: Stefano Fantoni, Sergio Benedetto, Andrea Bonaccorsi, Massimo Castagnaro, Giuseppe Novelli, Fiorella Kostoris e Luisa Ribolzi, che meritano una menzione speciale.

    • Sarcasmo? Lasciamo giudicare ai lettori..

      E’ vero che Novelli è diventato rettore e si è dimesso, ma è stato tra padri fondatori dell’Anvur e ha contribuito non poco alla scelta del sistema bibliometrico automatico… quindi automaticamente merita anche lui una menzione speciale!

  2. Come al solito premetto che non sono un addetto ai lavori per età, storia ed approccio culturale. Allo stesso tempo credo che l’istituzione universitaria sia un bene nazionali ad livello di valore forse superiore di compagnie di bandiera, telco nazionali e simili.
    Tutto ciò premesso veniamo alla discussione di oggi.
    Io credo che per una discussione corretta vadano tenute in conto alcune condizioni base del problema.
    La domanda, a mio parere, base dovrebbe essere: per fare il Rettore di una Università è meglio un esperto manager o un illustre scienziato? con ciò volendo eliminare dalla discussione tutti gli aspetti deteriori e quindi, quale che sia la risposta, tenendo in conto come discriminanti ed escludenti tutte le caratteristiche negative come baronia, politicizzazione eccessiva, onestà reale ed onestà intellettuale. Tanto per essere chiaramente inteso: chiunque è colto ad imbrogliare, tanto o poco non importa, non può entrare nella contesa per un posto di Rettore sia anche lo scopritore del bosone oppure un frate, prete, monaco o chierico!

  3. Pur non essendo un sostenitore della Riforma Gelmini e dei criteri adottati per l’abilitazione, il reclutamento e le progressioni di carriera, emerge un errore di fondo nell’articolo di Sylos-Labini: è previsto che, in presenza di particolari meriti e riconoscimenti (tra cui ovviamente anche il Nobel, anzi Nobel in primis), si può tranquillamente non tener conto degli indicatori bibliometrici del candidato.

    • ottimo, ora gli scrivo e glielo dico… A parte scherzi qui si mette in luce l’assurdità del metodo con un esempio eclatante non realistico (dubito che Higgs voglia fare le abilitazioni in Italia e tantomeno il commissario)

    • Leo: “è previsto che, in presenza di particolari meriti e riconoscimenti (tra cui ovviamente anche il Nobel, anzi Nobel in primis), si può tranquillamente non tener conto degli indicatori bibliometrici del candidato.”
      ================
      La deroga non è garantita. Secondo la Nota circolare 754 del MIUR (http://abilitazione.miur.it/public/documenti/Nota_circolare_754.pdf):
      “Di norma, infatti, l’abilitazione deve essere attribuita dalle commissioni esclusivamente ai candidati che abbiano soddisfatto entrambe le condizioni (giudizio di merito e superamento degli indicatori di impatto della produzione scientifica). Tuttavia, come previsto dall’art. 6, comma 5, le commissioni *possono* discostarsi da tale regola generale. Ciò significa che le commissioni possono non attribuire l’abilitazione a candidati che superano le mediane prescritte per il settore di appartenenza, ma con un giudizio di merito negativo della commissione, ovvero possono attribuire l’abilitazione a candidati che, pur non avendo superato le mediane prescritte, siano valutati dalla commissione con un giudizio di merito estremamente positivo. Resta fermo che ogni decisione della commissione, relativamente a quanto precede, dovrà essere rigorosamente motivata secondo quanto previsto dall’articolo 6, comma 5, del citato decreto […] sia in sede di predeterminazione dei criteri che di giudizio finale“.
      ____________________________
      Pertanto una commissione che – in sede di definizione dei criteri di giudizio – non avesse rigorosamente motivato la possibilità di derogare alle mediane si sarebbe trovata ad avere le mani legate se poi si fosse inaspettatamente trovata di fronte un premio Nobel (i criteri vengono formulati prima di vedere la lista dei candidati). Nel concreto, le commissioni dei fisici sembrano aver introdotto qualche forma di deroga (a volte con criteri un po’ macchinosi), ma non erano tenute a farlo e diverse commissioni dell’abilitazione hanno deciso per l’applicazione rigida dei criteri bibliometrici. In linea di principio, il sistema dell’abilitazione italiana è perfettamente compatibile con la bocciatura automatica di premi Nobel che non superassero i criteri bibliometrici.

    • Premessa: no polemica, solo domanda. Nella citazione
      ================================================
      Resta fermo che ogni decisione della commissione, relativamente a quanto precede, dovrà essere rigorosamente motivata secondo quanto previsto dall’articolo 6, comma 5, del citato decreto […] sia in sede di predeterminazione dei criteri che di giudizio finale
      ================================================

      non “credo” (interpretazione del testo personale) che questo implichi che se nei criteri non si è previsto la presenza di un Nobel, o di una medaglia Fields allora non si possa soprassedere all’applicazione rigida dei criteri stessi.
      Infatti nel seguente documento http://www.anvur.org/attachments/article/253/mediane_spiegate_definitivo_14_settembre_2012.pdf

      si legge
      ” Nel secondo caso, si tratta di candidati eccezionali, anche molto al di sotto della soglia, il cui curriculum
      dimostri una inconfutabile maturità ed eccellenza. Ad esempio, un candidato in un settore di matematica
      con una sola pubblicazione recente (e quindi con poche citazioni), nella quale abbia risolto uno dei
      “Millenium Problems” del Clay Mathematical Institute.”

      Ovviamente questa è una interpretazione dell’ANVUR…ma i casi eccezionali non sono per definizione prevedibili nei criteri definiti a priori.

      Come nota De Nicolao molte commissioni (Area 6 e Area 5) hanno derogato all’applicazione rigida delle mediane motivandole in base alla ‘qualità della posizione dell’autore’ ad esempio (in Med/Bio contano di più 1° e ultimo). Buon senso at last. Ci sarebbe da domandarsi perché altre hanno deciso di aderire strettamente ai criteri…

    • Se le parole hanno un senso, per derogare era necessario averlo previsto esplicitamente nella predeterminazione dei criteri. Se i criteri si limitavano ad accettare il contenuto del D.M. 76/2012, la deroga non era contemplata e non sarebbe stato possibile rimediare nelle fasi successive. Il buon senso (e i suggerimenti sia dell’ANVUR nel documento opportunamente citato da Stef sia del ministro tramite la nota ministeriale 754) suggerivano di lasciarsi aperta questa possibilità. Ma non tutte le commissioni lo hanno fatto.

  4. Forse tra gli indicatori “praticometrici” varrebbe la pena di valutare la quantità di iscritti, la loro variazione nel tempo e, perchè no, il successo nel mondo dei laureati da quell’ateneo.
    Sono cose bassamente industriali? Forse, ma parafrasando il poeta “non si vive di sola gloria e righe scritte”

    • Caro Prof. Salasnich, le ha ragione, ma qui, a partire dal Presidentissimo, nessuno le risponderà in merito…purtroppo!

  5. A proposito di premi Nobel: oggi ho visto da vivo il mitico

    Fasori Evangelikuz Gimnázium di Budapest

    dove hanno studiato, come studenti liceali, i premi nobel Eugene Wigner (fisica) e John Harsanyi (Economia)

    ma anche

    il fantastico matematico John von Neumann ed il bravissimo fisico Eduard Teller.

  6. Tanto ai fisici italiani il Nobel non lo danno (anche quando come il compianto Cabibbo lo meritavano), poiche’ il Nobel traduce anche la capacita’ di un paese di fare sistema, quindi la discussione e’ puramente teorica. Non capisco il confronto tra Higgs e il Magnifico della Sapienza, che essendo il capo di una grande area sperimentale, ovviamente firma in automatico tutti i lavori del gruppo, come chiunque altro che in Italia dirige un gruppo sperimentale di quelle dimensioni (non so come funziona all’estero). La questione di come si firmano i lavori in certe aree e’ infatti uno degli aspetti maggiormente risibili della VQR.

  7. Capisco che i controesempi vi appassionano tanto, ma almeno cercate di farli un po’ più verosimili. Perché un signore di 84 anni dovrebbe sfidarne un’altro di 70 per un’abilitazione da ordinario? Sono entrambi fuori ruolo, e lo sarebbero in qualsiasi paese del mondo. Provate a cercare il signor Luigi Frati nel sito del miur. Non c’è. Il suo stipendio è già pagato dall’inps. Il vero scandalo è che un pensionato faccia ancora il rettore, non che una persona con 200 pubblicazioni possa diventare professore ordinario. Pare che ce ne siano cinque, in Italia, di rettori in carica con lo stipendio pagato dall’inps, alla faccia delle dichiarazioni di ieri del ministro.

    • Senza contare i pro-rettori. Ce ne sono a dozzine gia’ pensonati che continuano con il loro incarico nelle Universita’ italiane.

      “Senza di loro l’universita’ non potrebbe operare al meglio”, si dice.

      Io non ci credo. Anzi. Sono molto dubbioso che un 75 enne possa essere piu’ skilled di un 50nne.

      Stesso problema nelle banche e nelle fondazioni bancarie. Li c’e’ gente di 85 o 90 anni che da 60 opera “per il bene del paese”. Mah.

  8. @Sylos-Labini
    “ottimo, ora gli scrivo e glielo dico…..(dubito che Higgs voglia fare le abilitazioni in Italia e tantomeno il commissario)”
    beh è lei che ha tirato fuori l’esempio di Higss che si candida in Italia per l’abilitazione scontrandosi titanicamente contro un oncologo per una cattedra chissà…di Archeologia? E che ne pensate invece di Newton che resuscitato sfida a un duello di sciabola Marco Mancini davanti al Politecnico Torino? Il mio esempio è più suggestivo…

  9. @De Nicolao
    “Pertanto una commissione che – in sede di definizione dei criteri di giudizio – non avesse rigorosamente motivato la possibilità di derogare alle mediane si sarebbe trovata ad avere le mani legate se poi si fosse inaspettatamente trovata di fronte un premio Nobel”
    Non credo che una commissione si trovi le mani legate qualora volesse concedere l’abilitazione ad un premio Nobel, non credo che altri candidati vincerebbero un ricorso solo perchè è stata concessa l’abilitazione ad un premio Nobel che non superi le mediane..la fantascienza è un filone che anch’io amo ma credo che in questo caso anche Asimov avrebbe qualche perplessità…

  10. @De Nicolao
    ..scherzi a parte.. lei De Nicolao fa riferimento alla libertà delle commissioni di applicare rigidamente i criteri bibliometrici ma se si fa riferimento non ai sistemi di reclutamento ma alla discrezionalità delle singole commissioni e ai criteri pubblicati da singole commissioni allora i criteri di qualunque commissione del mondo possono essere, per usare le sue parole, perfettamente “compatibili con la bocciatura automatica” di un premio Nobel.

    • Tuttavia, nel caso italiano la “regola di default” è quella che boccia Higgs ed Englert. Per avere una regola diversa, la commissione deve specificarlo in anticipo – prima di conoscere la lista dei candidati – e la facoltà di deroga deve essere “rigorosamente motivata”. Insomma, ce n’è abbastanza per scherzarci sopra.

  11. @Sylos-Labini
    “la valutazione non è comparativa dunque non c’è nessuno scontro”
    questo lo so anch’io sono candidato per la prima fascia, sull’assurdità di questo sistema di reclutamento sono perfettamente d’accordo, il mio settore è la Pediatria, si può immaginare quanto contano per me le mediane se poi non sei in grado di curare un paziente…

  12. Adesso per accedere ai dottorati c’è una valutazione preliminare dei titoli fatta dalla commissione: grazie a questo, alcuni candidati molto bravi sono stati esclusi addirittura dalle prove perché avrebbero fatto ombra ai predestinati. Vorrei sapere a cosa serve ogni riforma possibile e immaginabile se i docenti sono di questa levatura morale.

  13. @De Nicolao
    “Tuttavia, nel caso italiano la “regola di default” è quella che boccia Higgs ed Englert.”
    In realtà non è così, la circolare di Profumo da una certa discrezionalità alle commissioni, non esistono selezioni “di default” almeno per ora…in futuro chissà..magari inventeranno “l’autoabilitazione” basata solo sulle mediane e su un software in cui inserire i propri indicatori bibliometrici..ci si potrà autoabilitare o autobocciare da casa o al mare con un semplice click e niente più proroghe…sì in effetti concordo..ce n’è abbastanza per scherzarci..
    ma a proposito, scusate se divago, da noi circolano voci di una ulteriore proroga per tutti i settori, qualcuno sa niente in proposito?

    • La circolare Profumo dà una discrezionalità non nella fase di giudizio tout court, ma una discrezionalità alla possibilità *in sede di criteri* di prevedere una deroga purché “rigorosamente motivata”. Se per i criteri la commissione usava il default, ovvero il fac-simile ministeriale disponibile sul sito, la deroga non c’era e “Higgs, bye-bye”.

    • Beh, il presidente dell’ANVUR è un fisico e parrebbe che l’agenzia non sia stata estranea alla stesura del DM 76 (che al di là di ogni illazione accoglie in pieno l’impianto bibliometrico suggerito da ANVUR). Lo schema di default si basava sul DM 76.
      Io credo che più delle etichette contino le persone. Fatta questa premessa, nemmeno i fisici sono estranei alla Babele attuale.

  14. Premetto che condivido la stragrande maggioranza delle vostre critiche alla ASN. Tuttavia l’insistenza sul caso di Higgs mi pare davvero fuorviante. Si tratta infatti del caso piuttosto raro di uno che ha avuto un’idea brillante quando aveva 35 anni, ci ha scritto un paio di lavori, poi poco a poco ha perso contatto con la ricerca di punta. Non è una mia interpretazione malevola: Higgs lo ammette con un candore e una modestia che gli fanno onore.

    Higgs adesso non passerebbe le famigerate e sconce mediane, e io mi chiedo: sarebbe giusto che uno come lui che ha perso contatto entri in commissione di concorso? Sarebbe giusto che lui (non fosse in pensione da tempo) avesse uno scatto stipendiale? la risposta per me è ovvia anche se naturalmente non giustifica il meccanismo adottato in Italia.

    La riflessione che mi suggerisce il caso Higgs è piuttosto che il mondo civilizzato prevede il diritto sacrosanto di smettere di fare ricerca a un certo punto della propria vita accademica, con buona pace della retorica anvuriana. Con più didattica e senza aumenti di stipendio.

    • Alcuni altri casi:
      “Charles K. Kao ha un modestissimo h=1, poco più alto quello di George E. Smith che ha un h=5 mentre si ferma a 7 quello di Willard S. Boy[le] [refuso corretto il 23/06/2012]. Questi apparentemente modesti studiosi sono stati indigniti del Premio Nobel per la Fisica nel 2009. Nel 2008 Toshinida Maskawa veniva premiato con il Nobel per la fisica: h-index pari ad 1. […] Sicuramente Grigori Perelman non entrerebbe nella classifica dei TIS; ha un modestissimo 1. Ha vinto la medaglia Fields nel 2006, l’equivalente del Nobel per i matematici, per aver risolto la congettura di Poincaré. Non ha bisogno di entrare nalla TIS perché è già in buona compagnia: nel 2002 la medaglia Fields fu assegnata ad altri due modesti, si fa per dire, matematici: Laurent Lafforgue (h=2) e Vladimir Voevodsky (h=6).”
      https://www.roars.it/classifiche-incredibili/

    • mah, anche per Maskawa si può fare lo stesso discorso, ha fatto solo quello e non perchè era particolarmente brillante. Ha avuto culo. Ecco, ci vuole anche quello per vincere il Nobel, talvolta solo quello. Basta un premio Nobel per una cosa fatta 50 anni fa per entrare in commissione di concorso? beh, sono certo che Higgs si asterrebbe dal parteciparvi…

    • A prescindere dai casi (che sono tanti molto piu’ di quelli che uno si aspetta) di scienziati che hanno avuto riconoscimenti importanti per un contributo molto brillante, ma che poi non hanno scritto granche’, il problema e’ di metodo.

      Ne avevo discusso in questo post https://www.roars.it/sullimprevedibilita-delle-scoperte-scientifiche/
      Per capire il cambio di prospettiva che è necessario considerare, Gillies propone di pensare ad un’analogia con la teoria dei test statistici. I test statistici possono essere responsabili di due tipi di errore: di tipo 1 e di tipo 2. Un errore di tipo 1 si verifica se il test porta al rifiuto di un’ipotesi che invece è vera mentre un errore di tipo 2 avviene se il test conferma una ipotesi che è in effetti falsa. Analogamente una procedura di valutazione della ricerca commette un errore di tipo 1 se porta a cancellare finanziamenti a un ricercatore (o a un programma di ricerca) che avrebbe ottenuto ottimi risultati se avesse continuato nella sua ricerca. Per contro, una procedura di valutazione della ricerca commette un errore di tipo 2 se porta a continuare a finanziare un ricercatore che non ottiene alcun risultato rilevante per quanto a lungo vada avanti.

      In genere ci si concentra esclusivamente sull’eliminazione gli errori di tipo 2 con l’idea di rendere la ricerca più conveniente ritirando i fondi ai “cattivi ricercatori” per darli piuttosto ai “buoni ricercatori”. Non ci si preoccupa affatto della possibilità di fare un errore di tipo 1: ritirare i finanziamenti ai ricercatori che avrebbero compiuto importanti progressi se la loro ricerca fosse stata sostenuta. Eppure la storia della scienza mostra che gli errori di tipo 1 sono molto più gravi di quelli di tipo 2. In confronto con gli errori di tipo 1, gli errori tipo 2 sono molto meno gravi. Il peggio che può succedere è che un po’ di soldi del governo siano spesi senza portare a nulla. Inoltre gli errori tipo 2 sono inevitabili dalla natura stessa della ricerca.

      Suggerisco questo libro per eventuali approfondimenti

      http://www.collegepublications.co.uk/other/?00009

    • rispondo con grande dolore che purtroppo anche a me sembra che Higgs possa rimanere fuori. e lo sarebbe anche in virtù della bella legge Gelmini e dell’abilitazione che ha messo in piedi; ovvero un sistema ancora più facilmente controllabile. pensate che se prima i vari majores si dovevano muovere ogni volta in sede locale per i vari concorsi, ora invece con una piccola ristretta commissione possono gestire tutti i futuri concorsi. e mio malgrado (come avrete capito sono stato escluso nonostante 10 anni di insegnamento e alcune monografie…) non sono passati i migliori, ma i migliori amici, le migliore amiche e amichette, e tutta la varia umanità che corrisponde al sottobosco spesso invisibile dei nostri atenei. in molti fra i commissari hanno accolto il suggerimento di intendere questa abilitazione come una valutazione comparativa con l’arbitrio delle mediane e del giudizio (insindacabile) della commissione. sottolineo inoltre che ai furbi è stata data anche la possibilità di inserire pubblicazioni non controllate, tesi di dottorato che sono divenute pubblicazioni a tutti gli effetti (magari poi ripubblicate con isbn, e fanno due), recensioni a volumi di grandissimo spessore e organicità. insomma capite bene che cosa hanno combinato e cosa accadrà a quanti no avranno l’abilitazione: saremo giudicati da tecnici che fanno il quadruplo salto, da nostri dottorandi e magari anche da qualche studente più zelante.
      scusate lo sfogo, ma la verità è in questi termini.

  15. Secondo voi è realistico che vengano bocciate persone che superano le mediane per far posto ai pupilli dei commissari in sedi che fra qualche anno avranno bisogno di associati?
    In altre parole, le idoneità possono essere usate per togliere di mezzo possibili concorrenti?

    • Capisco la tentazione di chi e’ isolato di cercare una protezione in numeri più’ o meno credibili, ma se il problema e’ il successivo concorso lacale, non vedo perché la mafietta che ha pilotato l’ idoneità’ nazionale non possa poi ripetere l’operazione localmente. Io ritengo che le commissioni serie si assumono le loro responsabilità e non si trincerano dietro ai numerelli. Grazie al cielo non mi hanno sorteggiato, ma se mi fossi trovato in una commissione avrei cercato di considerare le mediane poco più che rumore di fondo.

      PS. non parlo per motivi personali, superando di molto tutti gli indicatori “for dummies”

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.