Mancava solo lui, Pietro Ichino: quello che vuole risolvere il problema del precariato semplicemente precarizzando tutti, in base al principio scientifico “mal comune, mezzo gaudio”.* Ultimamente la ministra Fornero lo sta surclassando: il buon vecchio Pietro sta quindi cercando altri campi per disseminare le sue straordinarie intuizioni e ha ben pensato di intervenire sulla Valutazione della Qualità della Ricerca (VQR).

Concepita dall’Agenzia Nazionale di Valutazione (ANVUR) per valutare dipartimenti universitari ed enti di ricerca, la VQR finora è servita più che altro a dimostrare l’incompetenza dell’ANVUR stessa e di molti sedicenti valutatori: le sue “peculiarità” sono oggetto di un acceso dibattito, ma bisogna riconoscere ad Ichino che la sua proposta è di gran lunga la più stroboscopica.

Per apprezzarne l’eccezionale portata basta una rapida lettura delle regole della VQR: in breve, ogni dipartimento deve sottoporre all’ANVUR tre diversi “prodotti della ricerca” (articoli scientifici, libri, manufatti etc.) per ciascun ricercatore e professore che ha in organico. Per gli enti di ricerca il numero pro capite è elevato a sei: ad esempio, l’Istituto Nazionale di Fisica Nucleare (INFN) dovrà sottoporre a valutazione la bellezza di 6600 differenti  “prodotti” del settennio 2004-2010. Ad ogni “prodotto” l’ANVUR attribuirà poi un punteggio numerico che dovrebbe misurarne la “qualità” in base a vari criteri: nella realtà questi ultimi sono a dir poco discutibili, ma supponiamo pure (solo per il breve spazio di questo post!) che siano invece sagaci e sacrosanti.

Il processo pare quindi semplice: basta che ogni ricercatore selezioni i suoi tre (o sei) “pezzi migliori” e li comunichi al suo ente o dipartimento, che li raccoglie e li invia all’ANVUR per il calcolo del totale…  ma ecco puntuale spuntare l’inghippo. La stragrande maggioranza dei progetti di ricerca viene infatti realizzata e firmata da collaborazioni di due o più ricercatori, fino ad arrivare alle svariate centinaia degli esperimenti al CERN di Ginevra. I co-autori sceglieranno ovviamente tutti gli stessi “prodotti” (quelli con punteggio più alto), ma se sono inquadrati nello stesso ente non va bene perché gli articoli presentati devono essere tutti diversi! Ma allora come si fa?

Dopo aver scartato a malincuore l’ipotesi darwiniana (si chiudono tutti i co-autori in una stanza fino a quando non ne sopravvive solo uno), l’ANVUR ha prescritto che l’attribuzione delle pubblicazioni venga decisa dalla struttura di appartenenza. Quindi enti e dipartimenti hanno assegnato d’ufficio ciascun “prodotto” ai suoi singoli ricercatori in base all’ovvio criterio di massimizzare il punteggio totale. Questo criterio ha però delle bizzarre ripercussioni sui casi individuali: infatti paradossalmente premia i “fannulloni” e punisce i “produttivi”.

Prendiamo il caso di due ricercatori che hanno firmato insieme il loro articolo migliore (da 10 punti). Il più “produttivo” dei due ha un secondo miglior articolo che vale 5 punti, mentre  il “fannullone” ne ha uno da soli 2 punti.  A chi si assegna l’articolo da 10, e a chi la seconda scelta? E’ facile: se la struttura assegna l’articolo da 10 punti al “produttivo” e la seconda scelta al “fannullone” ci rimette, perché totalizza 10+2=12 punti. Quindi assegna l’articolo da 10 al “fannullone”: il totale schizza a un sonante 10+5=15 con buona pace del “produttivo”, che in classifica si ritrova dietro al “fannullone”!

Poco male, direte voi: tanto quello che conta è il punteggio globale. Ma proprio a questo punto, nelle menti di migliaia di ricercatori italiani è germinato un atroce sospetto: “Va bene tutto, ma siamo proprio sicuri sicuri che a qualcuno non salti il ghiribizzo di usare questa schifezza per valutare me singolarmente?” I ricercatori sono ormai allertati da anni e anni di fregature costanti: al punto che, spinto dall’inquietudine della base, il presidente dell’INFN Fernando Ferroni ha chiesto assoluta chiarezza sull’impossibilità di un simile uso durante un recente convegno. Certo, l’insensatezza di una tale ipotesi è talmente evidente che nessuno potrebbe seriamente pensare di farlo, ma…

Ebbene, ci credereste? I ricercatori hanno mille motivi per girare con le mutande di latta. Entra in scena Ichino, che con fiero cipiglio il 4 maggio inoltra un esposto al Garante della privacy e alla CiVIT (Commissione indipendente della Valutazione della Trasparenza e Integrità) proprio per chiedere che i dati e i punteggi VQR riferiti ai singoli ricercatori vengano resi pubblici e diffusi in ogni dove. Non solo per esigenze di trasparenza: tali dati (secondo lui) sono di “importanza essenziale” per la “crescita qualitativa della comunità scientifica” e pure per gli studenti universitari, che “devono poter determinare i propri piani di studio e di ricerca sulla base di informazioni complete circa la produttività scientifica dei docenti disponibili”.

L’imbarazzo raggiunge però l’apice venerdì scorso, quando la presidentessa della CIVIT Romilda Rizzo accoglie con entusiasmo l’esposto invitando atenei ed enti di ricerca a procedere alla pubblicazione e gettando tutti in un malinconico sconforto. Risultato: la protesta dal CNR si estende anche ai fisici dell’INFN che chiedono a Ferroni di sospendere la trasmissione dei dati VQR all’ANVUR, fino a totale e definitivo chiarimento della situazione.

Nella speranza che qualcuno si dia una svegliata proviamo a guardare il lato positivo: forse abbiamo guadagnato una bussola per trovare la via di uscita dalla crisi. Se Ichino capisce di mercato del lavoro quanto capisce di valutazione della ricerca, per salvarci ci basterà ascoltare le sue proposte… e fare l’esatto contrario!

*Nota bene – Sia chiaro che le posizioni divergenti con il professor Ichino da me esposte rimangono come è ovvio in un ambito di dibattito civile prendendo le distanze da chi giusto ieri lo minacciava in modo assurdo e indegno.

 

(Pubblicato su Il Fatto Quotidiano)

Print Friendly, PDF & Email

26 Commenti

  1. Vorrei solo ricordare che in questo Paese è ancora in vigore una Costituzione e alcune leggi a tutela dei diritti dei cittadini. Nello specifico, vorrei ricordare, tra le altre, le norme che tutelano i diritti morali d’autore. Mi risulta che in nessun paese al mondo si valutino i ricercatori espropriandoli dei loro diritti sulla produzione scientifica con attribuzioni d’ufficio. Alcuni “liberali” dovrebbero riflettere sul fatto che rischiano di diventare alfieri di un nuovo oscurantismo. Il fenomeno è comunque noto e studiato nella ormai vasta letteratura sul neoliberalismo.

  2. p.s. per una ricostruzione storica dell’idelologia neoliberale, della quale sembrano imbevuti alcuni “riformisti” nostrani, mi permetto di consigliare la lettura di “The road from Mont Pelerin: The making of the neoliberal thought collective,” Mirowski P., Plehwe D. (a cura di), Harvard University Press, 2009.

  4. Segnalo ad Alessandro Ferretti e ai lettori di Roars, la lettera di Pietro Ichino e mia pubblicata oggi dal Corriere della Sera
    http://www2.dse.unibo.it/ichino/new/other_articles/corsera_anvur_privacy_andrea_pietro.pdf
    nella quale esponiamo le ragioni che giustificano la nostra richiesta di trasparenza sulle valutazioni dell’Anvur.

    In particolare riporto qui il passo della lettera che risponde al principale punto di sostanza del commento di Alessandro Ferretti:

    Si afferma inoltre che l’Anvur non valuta l’intera produzione di ciascun ricercatore, ma soltano le tre pubblicazioni da lui/lei scelte per il periodo 2004-2010. Alcuni ricercatori lamentano di non aver potuto scegliere liberamente le proprie tre opere perché costretti da giochi di squadra a consentire l’uso di loro prodotti ad altri co-autori magari meno dotati, al fine di massimizzare la valutazione della struttura di appartenenza, anche a scapito dei singoli membri. Ma se di ogni pubblicazione verrà reso noto il voto conseguito e l’elenco tutti gli autori, i punteggi eccellenti saranno imputabili a ciascuno di essi e non soltanto a quello che ha indicato l’opera fra le proprie tre migliori. Di ogni ricercatore avrà senso usare la valutazione media più favorevole tra quella delle opere da lui/lei scelte e quella di tutte le opere di cui compare come autore.

    Cordiali Saluti

    Andrea Ichino

    • Dal commento qui sopra a me sembra chiaro che il prof. Ichino non sappia di cosa stia parlando, cosa debba fare la VQR, e perche’. Suggerisco almeno di ascoltare quanto dice dal minuto 4 in poi il Presidente del INFN in questo video http://youtu.be/Ao0hVg_vU8I.

    • Gentile Ichino,

      la valutazione ANVUR, una delle poche cose positive che sono accadute nel mondo universitario italiano negli ultimi anni, è stata congegnata in modo da funzionare, più o meno bene, quando applicata a larghe strutture. Infatti, eventuali singolarità, frutto di un inappropriato (nel bene e bel male) esito puntuale dell’applicazione degli indici bibliometrici, possono essere ragionevolmente cancellate da effetti di media su larga scala. In questa ottica mi sembra apparire pienamente accettabile adottare criteri bibliometrici per effettuare la valutazione (anche perché rimangono probabilmente gli unici che si prestino ad essere applicati in una valutazione di questa portata).

      Come noto, il discorso cambia completamente quando invece si vogliono usare le stesse metriche per una eventuale valutazione individuale. Sia chiaro, in nessuna università del mondo qualcuno si azzarderebbe a dare una valutazione del lavoro di una singola persona usando solo gli indici bibliometrici e prendendo in considerazione solo tre lavori in 7 anni. La valutazione individuale, perché così verrebbe inevitabilmente la pubblicazione degli esiti individuali, è cosa assai delicata e da effettuare con un paniere di indici assai composito e tra i quali non può non svettare quello di merito affidato ad un revisore. Per questo motivo trovo che la sua sia una proposta di sorprendente ingenuità e destinata a portare ulteriore confusione in un campo ancora in via di (problematica) definizione come quello della valutazione della ricerca in Italia.

      Cordiali saluti,

      GR Mingione

    • Grazie per il suo contributo pacato e ragionato alla discussione sulla nostra richiesta. Come avrà gia letto nel nostro articolo pubblicato sul Corriere, ciò che chiediamo è solo che venga reso noto in quale delle quattro classi di merito previste sarà posta ogni pubblicazione: gli errori non possono che essere marginali in una aggregazione tra 4 grandi classi, che comunque si basa non solo su indici bibliometrici ma anche su peer review.
      Inoltre, e’ normale nelle competizioni internazionali per posizioni di docenza che ai candidati venga chiesto di presentare non tutti i loro lavori ma solo i 3 o 5 migliori. La valutazione Anvur (VQR) puo’ benissimo essere utilizzata per valutare il meglio (anche se non la totalita’) della produzione scientifica di ogni ricercatore. Basta utilizzare la valutazione media più favorevole tra quella delle opere da lui/lei scelte e quella di tutte le opere di cui compare come autore.
      Consideriamo il caso di due ricercatori tutti con pubblicazioni in classe B, uno con 3 e l’altro con 30. La trasparenza che noi chiediemo metterebbe in luce che nessuno dei due ricercatori ha ottenuto risultati scientifici eccellenti, indipendentemente dalla quantita’. Questa non e’ certo una valutazione completa ed esaustiva dei due ricercatori ma e’ comunque una valutazione utile e informativa.
      Infine, la legge stabilisce in modo chiarissimo che tutti i dati su cui la valutazione si basa devono essere pubblicati; e la sua applicazione, fino a prova contraria, non è un optional.
      Siamo molto contenti di concordare con lei sul fatto che la VQR sia una delle poche cose positive che sono accadute nel mondo universitario italiano negli ultimi anni.

    • Gentile Ichino,

      solo per precisare che, avendo fatto più volte parte di commissioni per attribuire posti di ruolo all’estero (USA, Australia, Finlandia) ed essendo stato consultato come referee varie volte in simili occasioni, non mi è mai capitato né di vedere né di sentire che di un ricercatore o di un candidato si considerassero solo 3 o 5 pubblicazioni. Si è sempre considerata anzi tutta la produzione scientifica, con la relativa attività complementare (supervisione di phd, post-doc, attività seminariale etc); inoltre, mai, in tali valutazioni personali, si è considerato solo l’impatto bibliometrico.

      Auspico, come lei, una valutazione personale i cui esiti siano resi pubblici, ma con i meccanismi adatti al caso. Non è difficile da fare, ma in questo momento di transizione non bisogna andare di corsa, altrimenti i danni saranno permanenti, come accaduto in passato per varie altre cose. Inoltre, auspicherei una preliminare discussione interna alla comunità scientifica prima di andare sui quotidiani, dove il rischio di miscelare competenza specifica a sentimento popolare è ovvio.

      Nuovi saluti,

      GRM

    • Innanzitutto vi ringrazio per la vostra lettera, che nella sua versione integrale mi dà modo di chiarire ulteriormente la questione, a beneficio di tutto il pubblico interessato a capire.

      Innanzitutto, la lettera contiene vari errori materiali. Ad esempio: i ricercatori non si nascondono dietro la tutela della privacy e la richiesta dei ricercatori non è che “i voti dati dall’Anvur alle singole pubblicazioni non devono essere divulgati”: la richiesta è che tali voti non vengano usati per valutare il singolo ricercatore, e non per timidezza ma in quanto assolutamente fuorvianti. Infatti, l’idea di valutare un singolo ricercatore tramite un sistema disegnato per valutare una struttura di ricerca è analoga a valutare la bravura dei singoli calciatori usando come dato il risultato finale della partita. Come ha già anche fatto notare Fantoni, i dati relativi agli individui nel RAE inglese non vengono diffusi pubblicamente proprio per evitare confusioni e false impressioni.

      Nella lettera al Corriere i fratelli Ichino affermano un’altra falsità, quando parlano di “pubblicazioni da lui/lei scelte”. Come facilmente verificabile sul sito dell’ANVUR, le pubblicazioni NON sono scelte dai ricercatori, ma sono attribuite dalle strutture di ricerca. Quindi, in tutti i casi in cui sono presenti più coautori le pubblicazioni attribuite in questo modo NON sono rappresentative della sua produzione scientifica. Quindi, anche nell’ipotetico caso che le singole pubblicazioni fossero valutate correttamente non si otterrebbe comunque un’idea sensata della produzione del ricercatore cui sono state attribuite.

      Per fare un esempio: supponiamo che ci sia un carretto pieno di mele, dove le mele sono le pubblicazioni di un gruppo che lavora insieme ad un progetto e quindi firma insieme gli articoli. Ogni singola mela appartiene quindi a ciascun singolo membro del gruppo di ricerca. Tra queste mele ce ne sono di tutti i formati, da quelle molto grandi a quelle molto piccole. La valutazione ANVUR impone alle strutture di ricerca di assegnare a ciascun membro del gruppo di ricerca tre mele. Ovviamente tutti i ricercatori sono ugualmente “proprietari” delle mele grandi e delle mele piccole, ma nel processo di attribuzione alcuni si ritroveranno con le mele più grandi, altre con quelle piccole. Quindi il problema non è l’errore che si fa a pesare le mele: il problema sta nell’attribuzione delle mele.

      Per quanto riguarda “il passo della lettera che risponde al principale punto di sostanza”: è ovvio che la proposta non risolve per nulla il problema. Infatti, chi nel gruppo di ricerca ha avuto la fortuna di vedersi attribuite delle mele sopra la media si tiene le mele sopra la media, mentre tutti coloro cui sono state atttribuite tre mele sotto la media potranno sostituirle con tre mele medie. Il risultato è paradossale e mi pare che argomentare oltre sia un insulto l’intelligenza del lettore.

      In ultimo, un commento generale: l’ennesima reiterazione di banali errori materiali a sostegno della propria tesi genera in me un notevole imbarazzo, perchè mi riesce difficile capire la genesi di un simile comportamento.

      Una volta scartata l’ipotesi di scuola secondo cui gli autori non siano in grado di afferrare semplici concetti, viene quasi da pensare che un simile modo di argomentare sia finalizzato semplicemente a sollevare un polverone per proporsi come paladini della trasparenza e del merito presso il grande pubblico, approfittando del fatto che quest’ultimo è molto poco informato sul lavoro di ricerca e sulla sua valutazione.

      A me personalmente questo stile argomentativo basato su premesse false ha riportato alla mente le teorie su complotti di ogni genere, dagli UFO ai cerchi nel grano alle scie chimiche ed altre amenità del genere.

      Mi auguro ovviamente che i fratelli Ichino smentiscano quanto prima queste mie impressioni ammettendo perlomeno i loro errori materiali, contribuendo così a fare chiarezza e corretta informazione su una materia così delicata e così strategica per il nostro paese come la valutazione della ricerca.

    • Grazie ad Alessandro Ferretti per il suo contributo. Noi chiediamo solo che venga reso noto in quale delle quattro classi di merito previste sarà posta ogni pubblicazione valutata dall’Anvur con l’elenco completo dei suoi autori. Mi sembra che Alessandro Ferretti, all’inzio del suo commento, concordi sul fatto che questo tipo di trasparenza sia utile e possibile. Se siamo d’accordo su questo abbiamo fatto un passo avanti.

      Divergiamo invece sulla possibilita’ di usare questi dati elementari anche per ottenere informazioni (non necessariamente esaustive ma comunque utili) sui singoli ricercatori.

      Il RAE non chiede che le strutture sottomettano 3 (o N) pubblicazioni per OGNI ricercatore. Ogni struttura sceglie quelle da sottomettere, che possono essere poche o tante e perfino di un solo ricercatore. E’ chiaro che in quel caso si sta valutando il meglio che il dipartimento come squadra ha prodotto. Ma la VQR chiede 3 pubblicazioni per ogni ricercatore di ogni struttura. Questo rende possibile utilizzare le 4 categorie di merito previste dalla VQR anche per una valutazione del livello più alto raggiunto dalla attività di ricerca di ciascun ricercatore. E’ normale nelle competizioni internazionali per posizioni di docenza che ai candidati venga chiesto di presentare non tutti i loro lavori ma solo i 3 o 5 migliori. La valutazione Anvur (VQR) puo’ benissimo essere utilizzata per valutare il meglio (anche se non la totalita’) della produzione scientifica di ogni ricercatore. Basta utilizzare la valutazione media più favorevole tra quella delle opere da lui/lei scelte e quella di tutte le opere di cui compare come autore.
      Consideriamo il caso di due ricercatori tutti con pubblicazioni in classe B, uno con 3 e l’altro con 30. La trasparenza che noi chiediemo metterebbe in luce che nessuno dei due ricercatori ha ottenuto risultati scientifici eccellenti, indipendentemente dalla quantita’. Questa non e’ certo una valutazione completa ed esaustiva dei due ricercatori ma e’ comunque una valutazione utile e informativa.

      Il fatto che il compito affidato all’Anvur sia di valutare le strutture, non ci sembra affatto in contrasto con la nostra proposta. Come scriviamo nell’articolo: “valutare una struttura non significa valutare solo il suo risultato aggregato. Due dipartimenti potrebbero entrambi ottenere un rating di valore medio, ma il primo con un 50% di prodotti eccellenti e i rimanenti pessimi o del tutto mancanti; viceversa, la mediocrità potrebbe prevalere nel secondo dipartimento. Serve l’intera distribuzione delle valutazioni, non solo la media, se non vogliamo fare l’errore di Trilussa! ”

      Ciascun ricercatore italiano ha dovuto caricare individualmente (e liberamente) sul sito Anvur le sue migliori pubblicazioni. Siamo d’accordo su questo?
      Se Alessandro Ferretti fosse disponibile a leggere quello che abbiamo scritto: “se di ogni pubblicazione verrà reso noto il voto conseguito e l’elenco tutti gli autori, i punteggi eccellenti saranno imputabili a ciascuno di essi e non soltanto a quello che ha indicato l’opera fra le proprie tre migliori. Di ogni ricercatore avrà senso usare la valutazione media più favorevole tra quella delle opere da lui/lei scelte e quella di tutte le opere di cui compare come autore.”

    • “Ciascun ricercatore italiano ha dovuto caricare individualmente (e liberamente) sul sito Anvur le sue migliori pubblicazioni. Siamo d’accordo su questo?” NO !

    • Vede Ichino, ad un certo punto in una discussione di questo tipo l’interlocutore che ha palesemente torto, in quanto appunto non sa di cosa parla poiché non si è letto neppure il documento di cui sta parlando, come le ha spiegato Ferretti in maniera dettagliata qui sotto, dovrebbe scrivere un bel messaggio dicendo “Scusate ho letto male il documento e chiaramente quello che ho scritto non ha senso. Grazie delle vostre spiegazioni”. Anche i predicatori che vogliono educare le masse di infedeli possono fare mea culpa.

    • Parole sagge! Che dovrebbero far riflettere chi, nonostante l’evidenza, si ostina a non ammettere che il finanziamento del sistema universitario in Italia, anche tenendo conto della progressivita’ della fiscalita’ generale, e’ regressivo e iniquo (vedi ad esempio pp. 7-9 in http://www2.dse.unibo.it/ichino/new/research_progress/pres_prestiti_num_ese_7.pdf ). Ne riparleremo, se vorrai, quando uscira’ il nostro libro (con Daniele Terlizzese) in proposito e su cui saremo felici di leggere i tuoi commenti.

      andrea ichino

    • Ottima tecnica: cambiare argomento e sollevarne un altro con gli stessi insulsi slogans, un predicatore appunto.

  5. Cari Ichino,

    è con grande imbarazzo che devo constatare per l’ennesima volta la vostra assoluta impermeabilità ai dati di fatto.

    Innazitutto, il fatto che in generale informazioni parziali siano comunque utili è banalmente falso: in moltissimi casi (incluso quello in esame) le informazioni parziali sono totalmente fuorvianti

    http://images5.fanpop.com/image/photos/28600000/How-The-Media-Can-Manipulate-Our-Viewpoint-debate-28612530-743-542.jpg

    Ancora: “Ciascun ricercatore italiano ha dovuto caricare individualmente (e liberamente) sul sito Anvur le sue migliori pubblicazioni. Siamo d’accordo su questo?”

    No, cari Ichino, non siamo affatto d’accordo: se aveste quel minimo di rispetto per i dati di fatto e per i vostri interlocutori che sono alla base di qualsivoglia scambio costruttivo di opinioni avreste letto i criteri dell’ANVUR,

    http://www.anvur.org/sites/anvur-miur/files/bando_vqr_def_07_11.pdf

    ovviamente già linkati nell’articolo di cui sopra, che al fondo di pagina 3 riportano testualmente “per ciascuno dei soggetti valutati la struttura seleziona, da un insieme suggerito da ciascun soggetto in ordine di priorità, il numero di prodotti specificato dalla tabella 3″.

    Per quanto riguarda la chiosa del commento:”Se Alessandro Ferretti fosse disponibile a leggere quello che abbiamo scritto..”.. è il tipico esempio di bue che dà del cornuto all’asino: se voi foste disponibili a leggere quanto ho scritto sapreste che vi ho pure risposto!

    Riassumendo: parlate dei criteri dell’ANVUR senza averli neanche letti, parlate dei commenti altrui senza preoccuparvi di capire di cosa c’è scritto… e voi sareste i paladini della meritocrazia? Toglietemi una curiosità: in base ai vostri standard meritocratici chi mettereste come ministro dell’Università? Adriano Celentano?

    • Che giudichino i lettori: Ferretti ci ricorda quel che ben sappiamo. Le istruzioni dell’Anvur dicono: “per ciascuno dei soggetti valutati la struttura seleziona, DA UN INSIEME SUGGERITO DA CIASCUN SOGGETTO in ordine di priorita’ , il numero di prodotti specificato dalla tabella …” . Che cosa vuol dire “da un insieme suggerito da ciascun soggetto in ordine di priorita’”? Non e’ forse vero che i ricercatori italiani hanno suggerito il loro insieme in ordine di priorita’ caricando sul sito VQR le loro migliori pubblicazioni? Questo è esattamente quanto da noi affermato e che sta alla base del nostro ragionamento.

      Appurato questo, sappiamo benissimo, e lo abbiamo scritto nell’articolo sul Corriere, che “alcuni ricercatori lamentano di non aver potuto scegliere liberamente le proprie tre opere” da far valutare all’Anvur tra quelle suggerite “perche’ costretti da giochi di squadra a consentire l’uso di loro prodotti ad altri co-autori magari meno dotati, al fine di massimizzare la valutazione della struttura di appartenenza, anche a scapito dei singoli membri.”

      Abbiamo pero’ anche spiegato che “se di ogni pubblicazione verra’ reso noto il voto conseguito e l’elenco di tutti gli autori, i punteggi eccellenti saranno imputabili a ciascuno di essi e non soltanto a quello che ha indicato l’opera fra le proprie tre migliori. Di ogni ricercatore avra’ senso usare la valutazione media piu’ favorevole tra quella delle opere da lui/lei scelte e quella di tutte le opere di cui compare come autore.”

      Ossia, supponiamo che il ricercatore X abbia 5 pubblicazioni di valore 4, 4, 3, 2 e 1 in una scala da 1 a 4. Il ricercatore Y invece abbia 3 pubblicazioni: una di valore 3 scritta insieme a X e le altre di valore 2 e 2. In questo caso e’ conveniente per la struttura scegliere le pubblicazioni di valore 4, 4 e 2 per il ricercatore X, in modo che per il ricercatore Y possa essere presentata la pubblicazione di valore 3 (coautorata con X) e poi quelle di valore 2 e 2. In questo caso, le tre pubblicazioni scelte da X non sono le sue tre migliori.

      Se pero’ di ogni pubblicazione sono noti tutti gli autori indipendentemente da quale di essi abbia indicato la pubblicazione stessa tra le sue tre migliori, del ricercatore X saranno note le valutazioni di tutte le sue 4 migliori pubblicazioni. E per il ricercatore Y quelle delle sue migliori 3. Con questi dati elementari ognuno potra’ fare tutte le riaggregazioni che preferisce per valutare la struttura corrispondente non solo nel suo complesso ma anche nelle sue componenti (ossia individui).

      E’ vero che del ricercatore X non conosceremo tutte le sue pubblicazioni, ma conosceremo il meglio prodotto dalla sua attivita’ di ricerca. Si poteva certo, come sempre, trovare altre soluzioni, ma la VQR, pur cosi’ come oggi configurata, consente di valutare il meglio, anche se non la totalita’, della produzione scientifica di ogni ricercatore Italiano. E questa e’ una informazione utile, ancorche’ parziale.

      Infine non dimentichiamoci che la legge è chiarissima nello stabilire che tutti i dati su cui la valutazione si basa devono essere pubblicati; e la sua applicazione non è un optional. Su questo Ferretti incomprensibilmente tace. Cosi’ come e’ incomprensibile il fatto che non voglia nemmeno prendere in considerazione gli enormi vantaggi, menzionati nel nostro articolo, che dalla trasparenza deriverebbero.

      A questo punto per non tediare ulteriormente i lettori, proponiamo di riprendere il dialogo dopo che il Garante per la Privacy si sara’ espresso

      Andrea e Pietro Ichino

    • Gli effetti distorsivi della pubblicazione rimangono comunque evidenti. Per fare un paragone, immaginiamo di valutare i giocatori di calcio in base alle tre migliori partite delle loro nazionali negli europei. Una riserva che ha giocato qualche minuto in tre partite vinte di goleada apparirebbe migliore di molti fuoriclasse. Se un ricercatore è coautore di tre lavori in collaborazione in cui ha svolto un ruolo secondario, ma che sono stati valutati in fascia A, egli apparirebbe migliore di colleghi che sono gli autori principali di lavori in fascia A e B e che magari possono vantare un’ulteriore vasta produzione di buona qualità. Insomma, pubblicare dei voti relativi ad un sottoinsieme molto ristretto di pubblicazioni rende impossibile una valutazione comparativa corretta.

      Inutile dire che i mezzi di informazione utilizzerebbero questi “voti” in modo assai rudimentale pubblicando liste di professori in fascia A, B, C etc.. Questo sarebbe non solo scorretto nei confronti dei ricercatori, ma contribuirebbe a instillare nell’opinione pubblica una visione distorta della ricerca e della sua valutazione. Alcuni strumenti, per loro natura rudimentali, come gli indicatori bibliometrici e le classifiche di riviste, sono a malapena utilizzabili per valutare strutture di ricerca su scala aggregata. Infatti, su scala aggregata si può sperare che le inevitabili approssimazioni non siano tali da impedire una comparazione sensata.

      La lettura dei documenti del RAE/REF britannico può dare un’idea del livello di attenzione e cautela con cui va gestita la procedura valutativa. Il confronto con gli analoghi documenti della VQR italiana è, purtroppo, impietoso. Insomma, a livello di valutazione del singolo ricercatore, non c’è alcuna base scientifica che giustifichi la proposta di Andrea e Pietro Ichino, che non reggerebbe nemmeno se la VQR fose al livello del RAE/REF.

      A maggior ragione la proposta dei fratelli Ichino appare una boutade se consideriamo che, persino su scala aggregata, la VQR italiana poggia su basi scientifiche del tutto precarie, per usare un eufemismo. Ad esempio, per un ricercatore ING-INF/05 pubblicare in fascia C (o superiore) significa pubblicare su una rivista il cui indicatore bibliometrico è sopra il 50-esimo percentile. Per tutti gli altri ricercatori ING-INF/XX, basta che la rivista stia sopra il 25-esimo percentile (https://www.roars.it/?p=6280). In queste condizioni, che senso ha pubblicare i “voti” dei singoli ricercatori?

      Un dubbio finale: vuoi vedere che questa proposta è in realtà il parto di menti raffinatissime il cui vero scopo è screditare e far naufragare definitivamente ogni futuro tentativo di valutazione della ricerca?

      Piuttosto, riporto qui sotto l’ultima della “Sette proposte per la VQR” (https://www.roars.it/?p=9079) fatte da ROARS:

      7. Accesso ai dati ex-post. L’ANVUR si impegni fin da subito a rendere disponibili agli studiosi che ne faranno richiesta *per fini di ricerca* i dati elementari disaggregati dell’intero esercizio.

      Più che sparare nomi e voti, bisogna studiare e fare ricerca anche sui dati della valutazione. I dati disaggregati non servono per essere dati in pasto al pubblico, ma per essere studiati al fine di “valutare la valutazione”. Sul tema della valutazione, c’è un drammatico bisogno di anteporre la professionalità scientifica alle iniziative ad effetto ma scientificamente inconsistenti.

    • Articolo 33 della Costituzione della nostra Repubblica: “L’arte e la scienza sono libere e libero ne è l’insegnamento.”
      Bando ANVUR 2.3: “I poodotti con più autori possono essere presentati una sola volta, pena l’esclusione del prodotto dalla valutazione. In caso di uno stesso prodotto presente nella lista predisposta da più soggetti valutati, la struttura provvede a risolvere al suo interno i conflitti di atrribuzione…i soggetti valutati devono inserire nella lista un numero di prodotti tali da consentire margini sufficienti di scelta alle strutture…I prodotti con coautori appartenenti a strutture diverse possono essere presentati da ciascuna delle strutture cui afferisca almeno un autore. Al fine di premiare, e incentivare per il futuro, la collaborazione tra diverse strutture, il peso di tali prodotti non viene ridotto tramite un coefficiente di proprietà e conta per le strutture che lo presentano come gli altri prodotti.”
      I professori Ichino non spendono una parola per commentare questa valutazione discriminatoria delle strutture e dei ricercatori che vi operano. Non si chiedono quale sia il fondamento costituzionale di incentivi a non collaborare con il ricercatore della porta accanto.
      Dopodiché l’ansia per arrivare alla classifica dei primi della classe è tale che essi decidono di soprassedere su questo punto e di dimostrare che, comunque, i ricercatori, nella valutazione individuale, non sarebbero discriminati.
      Essi considerano irrilevanti le obiezioni di De Nicolao e Mingione sul fatto che non sia opportuno stilare classifiche basate solo su tre lavori.
      A questo riguardo, essi considerano dirimente il fatto che, a differenza del RAE\REF britannico, la VQR consenta a tutti i ricercatori di presentare lo stesso numero di pubblicazioni ritenute migliori.
      Vengono prodotti degli esempi di attribuzione equa del “merito” tramite il loro “algoritmo.” Poremmo crearne altri, in modo combinatorio, che “funzionerebbero” secondo quell'”algoritmo.” Tuttavia esso è basato su ipotesi di razionalità perfetta e di informazione pefetta da parte di tutti gli agenti: la struttura e i riceratori.
      Consideriamo due casi limite.
      I ricercatori hanno scritto solo tre pubblicazioni in comune. In questo caso la struttura subisce una perdita (a mia avviso inammissibile) ma i ricercatori vedono riconosciuto il “merito” individuale, secondo l'”algoritmo” Ichino.
      I ricercatori sottopongono sei publicazioni ciascuno di cui tre in comune. In questo caso, la scelta della struttura, prevista dal bando, potrebbe penalizzare i ricercatori. Non sarebbe così solo nel caso in cui tutta l’informazinne sui criteri di valutazione fosse disponibile ex-ante, cosa non scontata, e si potesse contare sulla capacità di elaborarla razionalmente dalla struttura.
      Tralascio, per ragioni di spazio, molte altre questioni fondamentali. Prima fra tutte, quella sul senso epistemologico di valutazioni di questo tipo. Rinvio al riguardo al lavoro di Donald Gillies, più volte citato in questo sito.
      Ma altrettanto importanti sono i problemi di “disegno istituzionale” sollevati dal complesso delle proposte dei professori Ichino e di altri, a loro affini per impostazione, sull’univesità.
      Chi persegue normativamente il mercato e la concorrenza a tutti i costi dovrebbe porsi il problema che spesso, magari in buona fede, contribuisce alla formazione di oligopolio e oligarchia, dei quali mi sembra vi sia un’evidenza ormai planetaria.
      Ringrazio comunque come lettore e sporadico commentatore di ROARS i professori Ichino per il loro franco contributo alla discussione. Finché c’è dialogo c’è speranza!

    • Ringrazio Giuseppe De Nicolao che ha rispiegato per l’n-esima volta (e con il suo solito rigore) la situazione.

      Mi sento comunque in obbligo di fare una rettifica: in un commento precedente avevo attribuito interamente le inesattezze dei fratelli Ichino ad una cattiva volontà, ma dopo questi scambi il rasoio di Occam mi impone un’altra posizione: una cattiva volontà non può spiegare da sola la grande quantità di errori e confusioni, a meno di non sconfinare nell’autolesionismo. Evidentemente la materia del contendere è più ostica di quanto pensassi, e ora credo che una buona parte delle reiterate inesattezze derivi dal fatto che realmente i proponenti non abbiamo capito la questione, in verità piuttosto faticosa da spiegare per iscritto.

      Cari fratelli Ichino, vi chiedo scusa! Da buon penitente mi rendo quindi disponibile ad un incontro (pubblico o privato che sia) per superare le difficoltà insite negli scambi epistolari, in modo da spiegarvi dialetticamente tutti i dettagli a voi oscuri della procedura di valutazione “VQR”. In questo modo spero di chiarirvi un poco le idee mettendovi in grado di argomentare nel merito, correggendo almeno gli errori materiali più grossolani che impediscono a questo scambio di essere fruttifero.

    • Compatibilmente con gli impegni gia’ presi sono disponibilissimo a un incontro pubblico per parlare della nostra proposta con chiunque sia interessato. Suggerirei pero’ di attendere il pronunciamento del Garante per la Privacy.

      saluti Andrea ichino

    • Caro Ichino, mi scusi nuovamente! Nella mia arroganza sono stato come sempre troppo prolisso e quindi poco chiaro.

      In realtà non ho parlato di un incontro per discutere della vostra proposta. Come più d’uno ha messo esaurientemente in evidenza, la vostra ipotesi è basata su ipotesi errate, quindi dedicarle un dibattito pubblico mi pare un’ovvio spreco di tempo e di risorse di fronte ai problemi ben più gravi dell’Università italiana.

      Pensi che c’è addirittura qualcuno che ha proposto di aumentare a dismisura le tasse universitarie con la curiosa motivazione che ciò aiuterebbe gli studenti più poveri! Questa persona ha perfino caldeggiato l’applicazione pratica di questa idea affermando pubblicamente “non so se questa proposta funzionerà, ma perchè non provare?”

      Per tornare alla mia proposta, provo quindi a rifrasare: “io vi offro il mio aiuto per aiutarvi a capire come funziona il meccanismo della VQR e quali sono le sue conseguenze pratiche.”

      Grazie ancora per il vostro commento, e per qualsiasi ulteriore problema di comprensione non esiti a contattarmi!

  6. In effetti, il bando dell’ANVUR contiene una discriminazione, a mio avviso inaccettabile, tra coautori appartenenti alla medesima struttura e coautori appartenenti a strutture diverse. Ciò obbiliga le strutture ad attribuire i prodotti (termine orripilante) a loro discrezione, ignorando i diritti morali degli autori sulle loro opere. Le strutture inoltre possono ignorare comunque l’ordine di priorità stabilito dagli autori, come precisato dai commenti precedenti. Quindi, prima di iniziare una qualsiasi discussione sulla pubblicizzazione dei risultati della valutazione, andrebbe chiesto di modificare il bando.
    Bisognerebbe poi aprire una discussione seria sul senso stesso di un esercizio di valutazione fatto in questo modo. L’importazione acritica di modelli basati su teorie confuse, come quella dei quasi-market e del new public management, può avere effetti devastanti.
    Meno slogan ideologici: merito, valutazione…e più analisi, prima di imboccare strade che potrebbero portare al definitivo smantellamento dell’università pubblica.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.