Finanziamento dottorati: la VQR è inutile. Basta un po’ di Data science

Botte da orbi. Il Miur elimina gli indicatori VQR dai requisiti per l’accreditamento del dottorato. Ma Anvur, fiancheggiata da un pezzo della CRUI, non ci sta è rende noto che, su richiesta, continuerà a calcolare  gli indicatori R+X1 rottamati. Ma perché mai un ateneo dovrebbe farsi guidare da regole obsolete? Anche se ANVUR non lo dice esplicitamente, è il CUN a ricordare che nella ripartizione della parte di Fondo di finanziamento ordinario destinata ai dottorati, il principale indicatore (50% del peso) è proprio R+X1. Ma ecco che il Capo dipartimento Giuseppe Valditara scrive a CRUI e Anvur, chiedendo all’agenzia di rimuovere dal suo sito l’avviso relativo alla possibilità di chiedere le valutazioni X+R1 dei collegi. A scanso di equivoci, il capo dipartimento specifica che «nel prossimo Decreto ministeriale di ripartizione del Fondo di Finanziamento Ordinario verrà eliminato ogni riferimento ai risultati conseguiti nell’esercizio della VQR per i componenti dei collegi di dottorato». C’è chi plaude, ma c’è anche chi giudica controproducente la reazione di Valditara. Se non verranno usati i risultati della VQR, come farà il MIUR a ripartire i fondi per il dottorato? In questo post vi mostriamo che la VQR non è per nulla indispensabile. Infatti, con opportune tecniche di Data science, i risultati della VQR possono essere sostituiti da altre informazioni, facilmente reperibili, senza modificare in modo apprezzabile la ripartizione dei fondi. Se si confronta la ripartizione basata sulla VQR con quella che usa il suo surrogato, a spostarsi da un ateneo all’altro sono due milioni di euro su un totale di 152, meno dell’1,4%. Un risultato sorprendente e gravido di conseguenze, che cerchiamo di illustrare attraverso un ipotetico dialogo tra due professori, Peppe e Gedeone, ben noti ai lettori di Roars.

Nel grafico il confronto tra la ripartizione (basata al 50% sulla VQR 2011-2014) della parte di FFO 2018 destinata a dottorati e post-lauream [arancione] e la ripartizione [blu] che si ottiene se al posto dell’indicatore X+R1 della VQR si usa una sua predizione basata sulle caratteristiche degli atenei. In rosso, la differenza.

1. Macchine che imparano

«… certo che Valditara si è ficcato in un bel pasticcio!»

Peppe fece letteralmente un salto sulla sedia e, per poco, non gli sfuggì di mano il grafico che stava scrutando.

«Gedeone, chiedere permesso prima di entrare nello studio dei colleghi non si usa più?»

«Ma io ho bussato e visto che non rispondevi ho girato la maniglia … ma cosa stai leggendo di così appassionante? »

«Sto assegnando i voti ai progetti del corso di Data science. Per evitare che copiassero, ho assegnato ad ogni gruppo un diverso problema e …»

«Ah, io ci capisco poco, ma le tecniche di intelligenza artificiale che insegni sono potentissime. Come si fa a non rimanere affascinati da queste reti di neuroni artificiali che sono capaci di imparare, proprio come un cervello umano? Una volta mi avevi spiegato come funzionano ma mi sono dimenticato tutto.»

«È come insegnare a un bambino a riconoscere i cani dai gatti. Bisogna procurarsi tante immagini di cani e di gatti. Le mostri al bambino a una a una, dicendogli di volta in volta se è un cane o un gatto. Dopo che lo hai allenato per benino, se gli mostri un cane che non ha mai visto, ti dirà da solo che quello è un cane e non un gatto. Ecco, con le reti neurali si fa lo stesso. Devi preparare un bel po’ di esempi risolti con cui la rete di neuroni viene allenata. Durante l’allenamento  le connessioni dei neuroni artificiali vengono progressivamente modificate e alla fine a rete dei neuroni artificiali saprà riconoscerà l’immagine di un cane da quella di un gatto. Ma queste reti neuronali possono fare anche tante altre cose ….».

«E non potrebbero essere usate anche per la valutazione della ricerca? Per esempio potremmo allenare la rete con il curriculum giovanile di scienziati che, procedendo nella carriera, hanno raggiunto grandi traguardi e di altri che, al contrario, hanno concluso poco. Invece di riconoscere un cane da un gatto, la rete diventerà capace di capire se un assegnista di ricerca è un genio o una scarpa. In questo modo, potremmo concentrare le risorse per finanziare solo l’eccellenza. Finalmente, avremmo dei metodi oggettivi a cui non potrebbe obiettare nessuno, nemmeno quei sofisti di Roars. Chi potrebbe mettere in discussione una valutazione basata sull’intelligenza artificiale?»

Peppe sospirò profondamente e cercò di cambiare discorso.

«Ma cosa ha combinato Valditara?»

2. E adesso come faremo senza la VQR?

«Hai presente le linee guida per l’accreditamento dei dottorati?»

«Mi stai parlando degli indicatori R, X1 e I che fanno diventare matti i coordinatori dei dottorati? Roba kafkiana: non solo hai bisogno di un foglio Excel per tener traccia di tutti i conti, ma devi estorcere ai colleghi i loro voti VQR. Se vai alla cieca confidando nella prevalutazione di Anvur, stai fresco. Se il collegio è sotto soglia, non sai come cambiarlo e inoltre Anvur ti concede pochissime prevalutazioni.»

«Non sei aggiornato, Peppe. Guarda che, da quest’anno, R, X1 e I sono spariti …» [Dottorati: addio a VQR e regole più semplici. Con un tocco…]

«Evviva! Finalmente una buona notizia!»

«Beh, mica tanto. Adesso, in pratica, è rimasto solo uno stupido criterio quantitativo: la soglia ASN di seconda fascia sul numero degli articoli su rivista, per i settori bibliometrici, e quella sui lavori scientifici oppure sulle monografie, per quelli non bibliometrici. Pensa che non contano più nulla nemmeno le riviste di  classe A…»

«Doppio evviva!» lo interruppe Peppe.

«No, non è proprio il caso di scherzare. Adesso si guarda solo alla quantità. Dopo anni di anarchia e lassismo, erano state finalmente introdotti dei criteri di qualità. Discutibili quanto vuoi, ma non c’è dubbio che una cattiva valutazione sia comunque preferibile all’assenza di valutazione. E con queste modifiche volute da Valditara stiamo facendo un passo indietro, spalancando di nuovo i collegi di dottorato a cani e porci …»

«Scusa, Gedeone, ma secondo te il 50% dei professori associati sono dei cani?»

«No, direi di no. Ma cosa c’entra col mio discorso?»

«La soglia che è rimasta in vigore, che sappiamo essere legata al valore mediano degli indicatori posseduti dai professori associati, esclude metà di loro dalla partecipazione ai collegi. Se devo avanzare una critica a Valditara è quella di aver osato troppo poco. Non si può continuare a dare per scontato che la metà dei docenti di ruolo siano inadeguati al loro compito. Qualsiasi soglia dovrebbe essere assoluta e non costruita in modo da marchiare a fuoco una percentuale di docenti decisa a priori. È come se in un esercito si decidesse a priori che la metà dei soldati non merita di avere fucile e pallottole, lasciando disarmati quelli che sono finiti da metà classifica in giù negli addestramenti di tiro al bersaglio. E poi li mandi tutti in prima linea, metà col fucile e metà disarmati. Te la ricordi la scena dell’assalto contro i nazisti nel film “Il nemico alle porte”?»

Gedeone non sapeva bene come rispondere, anche perché aveva da poco incontrato al bar un coordinatore che era fuori di sé. Sebbene avesse i requisiti, in termini di citazioni e indice H, per essere sorteggiabile come commissario ASN, negli ultimi 5 anni non aveva pubblicato abbastanza articoli. Dopo anni di onorato servizio, incluse tutte le incombenze del coordinamento del dottorato, era diventato un peso morto, buono solo per la rottamazione.

«Vabbè, Peppe, però se qualche ateneo vuole tenere alta la qualità dei suoi dottorati non puoi mica impedirglielo. ANVUR, molto opportunamente, aveva rinnovato la disponibilità a fornire le prevalutazioni di R e X1, gli indicatori VQR dei collegi. Così, gli atenei seri avrebbero potuto continuare a formare i collegi rispettando i vecchi requisiti, che, essendo più severi, garantiscono una maggior qualità …»

«Ma che qualità e qualità, Gedeone. Non avevi letto l’articolo di De Nicolao che spiegava quanto variavano i valori massimi di R+X1 a seconda delle aree disciplinari?» [Peppe, Gedeone, la classifica dei dottorati e l’evangelo anvuriano]

«Non stiamo a spaccare il capello in quattro. Assurdi o meno che siano, R+X1 erano anche usati per ripartire il 50% del finanziamento MIUR per i dottorati. Se un ateneo, vuole alzare R+X1 per avere più soldi, non puoi mica impedirglielo. Ma ecco che arriva Roars che, non si sa sulla base di quali informazioni, rivela l’esistenza di una fronda di rettori nostalgici che, di concerto con Anvur, vorrebbero mantenere lo status quo.»

«Che bei tipi questi rettori. Masochismo o sindrome di Stoccolma?»

«Fai poco lo spiritoso. Da quei cialtroni di Roars, come a suo tempo li aveva giustamente definiti un pezzo grosso di Anvur, mi aspetto questo e altro. Quello che nessuno si aspettava era il blitz di Valditara che ha subito chiesto ad Anvur di rimuovere dal sito l’avviso sulla possibilità di chiedere le simulazioni di R+X1. E, per togliere ogni dubbio, ha anticipato che R+X1 sparirà anche dai futuri criteri di ripartizione del Fondo di Finanziamento Ordinario.»[Valditara ad Anvur: basta simulazioni VQR dei collegi di dottorato. E ANVUR obbedisce]

«Ah, però!»

«Ma è qui che casca l’asino! Valditara si è infilato in un vicolo cieco. Avevamo finalmente un criterio per distribuire i fondi per le borse di dottorato in base alla qualità scientifica. Togliendo ogni riferimento alla VQR, come farà il MIUR a ripartire quei fondi? Se al posto di un criterio perfettibile, ma pur sempre basato sul merito, si tornasse alle vecchie distribuzioni a pioggia, il messaggio sarebbe devastante. Un vero e proprio ritorno all’automia irresponsabile, osteggiata, ma solo a parole, dallo stesso Valditara.»

3. Data science, l’arma segreta

Mentre Gedeone concludeva la sua filippica, Peppe aveva cominciato a rovistare tra un pacco di fogli.

«Stai tranquillo, Gedeone, le sorti magnifiche e progressive della meritocrazia non sono in pericolo. Qui tra questi fogli c’è la soluzione al problema di Valditara.»

Un punto interrogativo si disegnò sul volto di Gedeone.

«Ecco, trovato! Guarda qui!»

«Scusa, Peppe, ma io vedo solo dei cerchiolini allineati su una retta. Cosa c’entra questo grafico con la ripartizione della quota dottorato e post-laurea dell’FFO?».

«Hai ragione, sono saltato direttamente alle conclusioni. Adesso ti spiego. Uno dei progetti che ho assegnato ai miei studenti chiedeva proprio di sviluppare un algoritmo per prevedere gli indicatori R+X1 che misurano la qualità della ricerca svolta dai membri dei collegi di dottorato dei diversi atenei».

«Prevedere in che senso? Sono numeri noti, li ha pubblicati il MIUR insieme alle altre tabelle allegate alla ripartizione dell’FFO 2018.»

«Nel senso che, se hai le informazioni giuste, puoi provare a prevedere gli indicatori collegati alla VQR.»

«Mi stai prendendo in giro?»

«Niente affatto. Se un auto intelligente dotata di telecamera riesce a prevedere la collisione con un pedone con un grado di certezza tale da imporre una sterzata al guidatore, perché non dovrebbero essere prevedibili gli indicatori R+X1 dei collegi di dottorato?

«In quel caso, per prevedere la collisione un’intelligenza artificiale elabora le immagini della telecamera. Ma per prevedere i voti della VQR, che informazioni puoi usare?»

«C’è solo l’imbarazzo della scelta. Per non perdere tempo, ho preso la prima tabella che mi è capitata sotto mano, quella per la ripartizione dei ricercatori del piano straordinario RTDb. Ho tolto la colonna delle assegnazioni VQR e mi sono rimasti questi dati: numero docenti, costo standard degli studenti entro il primo anno fuori corso, numero di borse di dottorato del XXXIII ciclo, ricercatori di tipo B già abilitati, rapporto docenti studenti. Ah, dimenticavo: usando Scival, mi sono procurato per ogni ateneo il numero di lavori scientifici pubblicati tra 2011 e 2014 e il relativo numero di citazioni. Queste informazioni sono quelle che in gergo vengno chiamate “caratteristiche”, le cosiddette features.»

«E poi?»

«E poi, per una quarantina di atenei ho fornito sia le caratteristiche che la variabile bersaglio, ovvero l’indicatore X+R1 della Tabella 7 del riparto FFO 2018. Ecco la sfida che ho sottoposto ai miei studenti: usare questi dati per addestrare un algoritmo alla previsione di R+X1 di un ateneo quando si conoscono le sue caratteristiche. Se preferisci, il problema potrebbe essere formulato anche così: trovare una formula matematica che combinando in modo furbo le caratteristiche di un ateneo ti restituisce una buona previsione di R+X1. Come si capisce se la previsione è buona? Molto semplice: uso la previsione al posto di R+X1 nelle formule per ripartire il fondo dottorati e post laurea dell’FFO 2018. Se la ripartizione cambia poco o nulla, vuol dire che  la VQR è inutile, dato che posso ottenere più o meno la stessa ripartizione basandomi sulle altre caratteristiche degli atenei.»

«Ah, ora comincio a capire. I pallini allineati sulla retta significano che il finanziamento dei dottorati è stato previsto quasi alla perfezione. Però, non è difficile ottenere questo risultato sui dati di addestramento. Voglio proprio vedere cosa combina la loro formula magica quando la si mette alla prova sui dati di test…»

«No Gedeone, questi che vedi non sono i dati di addestramento. I 20 pallini corrispondono a 20 atenei i cui dati sono stati tenuti nascosti agli studenti. Una volta scaduti i termini per la consegna del progetto, ho preso le caratteristiche di questi 20 atenei e le ho date in pasto all’algoritmo addestrato dagli studenti che ha sputato fuori le 20 previsioni di R+X1. Io mi sono limitato a ficcarle al posto di R+X nella formula usata dal MIUR per calcolare il finanziamento dei dottorati ed ecco il grafico che stai guardando a bocca aperta.»

«Non … non è possibile! La corrispondenza tra finanziamento vero e previsto è quasi perfetta! Tra i tuoi studenti deve esserci qualche genio della Data science.»

«Mah, ti dirò … si impegnano, qualcuno è anche bravo, ma di geni non ne ho visti per ora. Se sei curioso, ho anche il grafico con il confronto per tutti e 60 gli atenei statali. Eccolo qui.»

4. L’alba di una nuova era

«Peppe, non so se tu te ne rendi conto, ma quello che mi hai mostrato è un risultato destinato a rivoluzionare la scienza della valutazione. Alla faccia di due personaggi patetici come Baccini e De Nicolao, che insistono a mettere in dubbio la corrispondenza statistica tra bibliometria e peer review, tu hai appena mostrato che la valutazione mista della VQR, in parte bibliometrica in parte peer review, è completamente sostituibile da una valutazione automatica e oggettiva, basata su tecniche avanzate di Data science.»

«Non è che stai correndo avanti un po’ troppo?»

«No, per nulla. Non solo hai tirato fuori quell’incauto di Valditara dal vicolo cieco in cui si era ficcato, ma stai aprendo una nuova era. Addio al bando VQR, addio ai GEV, addio alle astruse regole bibliometriche e le liste di riviste di classe A. Addio pure alla selezione dei prodotti da sottoporre alla valutazione e addio agli arruffapopolo come Carlo Ferraro con i loro boicottaggi che fanno da paravento ai fannulloni e ai ricercatori che hanno paura di farsi valutare. D’ora in poi, basterà un comitato di esperti di Data science che si prenderà cura di addestrare un super algoritmo che potremmo battezzare “Neuro-VQR”. A quel punto, per avere tutte le valutazioni che servono, basterà schiacciare un pulsante …»

«Sì, Neuro-VQR mi sembra proprio il nome giusto» disse Peppe, sicuro che Gedeone non avrebbe colto l’ironia.

«…  e senza dubbio quel comitato di esperti dovresti dirigerlo tu. Lo so che provi della simpatia per De Nicolao, ma anche oggi hai dimostrato che c’è un abisso tra voi due. Lui è solo capace di criticare, mai una proposta costruttiva. Tu, invece, sai usare il tuo talento scientifico per risolvere i problemi e aprire nuovi orizzonti. Altro che De Nicolao! Eri tu che dovevi candidarti per entrare nel Consiglio direttivo dell’Anvur.»

«Scusa, Gedeone, ma dovrei tornare a correggere i progetti. Devo assolutamenti finire di valutare come si comportano gli algoritmi sui dati di test. Domani pomeriggio, i vari gruppi discutono in pubblico i loro progetti.»

«Ma questa è dinamite! Se non lo fai tu, scrivo io a Valditara, spiegandogli che hai trovato la formula magica della valutazione automatica. Che metodo hanno usato gli studenti per ottenere quel risultato così straordinario? Reti neurali, deep learning, reti convoluzionali, oppure quella diavoleria di cui ti occupi tu e che ha un nome complicato … ah ecco: gli spazi di Hilbert a nucleo autoriproducente. O altro ancora?»

«Beh, prima di tutto, io non sono abituato ad appropriarmi del lavoro altrui. Io non ho trovato nessuna formula magica, sono stati gli studenti a risolvere il problema. Anzi, ti dirò che non so che metodo abbiano usato. Ho chiesto loro di rendere gli algoritmi utilizzabili tramite una semplice interfaccia web. Mi hanno mandato il link e l’ho aperto col browser. A quel punto ho caricato il file con i dati di test e ho scaricato le relative previsioni. Non ho la più pallida idea di cosa ci sia dietro quell’interfaccia. Sono curioso di saperlo anch’io. Avrò la risposta domani, quando quel gruppo verrà a discutere il progetto.»

«Senza dubbio saranno i dati bibliometrici di Scopus sulle pubblicazioni e le citazioni degli atenei ad avere un ruolo determinante.»

«Chi lo sa? La tua congettura mi sembra plausibile. Senti, a furia di chiacchierare si è fatto tardi. Che ne dici se andiamo in mensa? Intanto, ti mando per mail questo grafico. Se credi, puoi girarlo tu stesso a Valditara, spiegandogli che, con un pizzico di Data science, la VQR può essere rottamata senza che i fan di Anvur possano obiettare alcunché.»

– CONTINUA –