Con l’ultimo comunicato stampa dell’ANVUR, anche la valutazione della ricerca entra a pieno diritto nell’era della post-verità. I risultati della VQR non escono dal cassetto, ma in compenso il Presidente Graziosi ci informa che «L’università italiana si è messa in moto convergendo verso uno standard comune e più elevato della qualità della ricerca. In media, gli atenei che avevano un livello della qualità della ricerca relativamente basso si sono rimboccati le maniche e, se non hanno scalato posizioni, almeno hanno ridotto lo svantaggio». La prova della convergenza? Se si considera l’indicatore che confronta qualità e dimensione, la distanza tra i primi e gli ultimi atenei si sarebbe accorciata. A Peppe, però, basta qualche semplice calcolo aritmetico per mostrare a Gedeone che la convergenza sbandierata dall’ANVUR è solo un’illusione ottica. Infatti, come effetto collaterale della nuova scala dei punteggi usata nella VQR 2011-2014, l’indicatore che confronta qualità e dimensione viene riscalato verso il basso rispetto alla vecchia VQR. Di quanto? Di un fattore 0,7 che è più o meno proprio quello che ha fatto gridare al miracolo la nostra agenzia di valutazione.
1. La guerra per la valutazione, ininterrotta e asprissima, è vinta
Gedeone fischiettava dalla gioia mentre con passo spedito si dirigeva verso l’ufficio di Peppe, il suo collega e amico-rivale. A metterlo di buon umore era stata l’improvvisata del Presidente dell’Anvur che all’inizio della settimana aveva tenuto una conferenza stampa in cui aveva anticipato alcuni risultati della nuova VQR [ripresi dai principali organi di informazione, TG1 incluso, NdR]. Gedeone, come tanti colleghi era ansioso di conoscere i voti e le classifiche per sapere se il suo ateneo e il suo dipartimento avevano guadagnato o perso posizioni, ma anche perché c’erano in vista decisioni importanti sui collegi di dottorato e, in cuor suo, sperava che qualche votaccio nella VQR gli togliesse dai piedi un paio di colleghi che non aveva mai sopportato.
Con un certo disappunto, aveva dovuto prendere atto che per le tabelle complete dei voti ci sarebbe stato ancora da aspettare (fino a fine febbraio dicevano i soliti bene informati), ma l’impazienza aveva subito ceduto il posto alla soddisfazione per quello che il presidente Graziosi aveva spiegato ai giornalisti:
Oggi, invece, vediamo che le differenze tra atenei si riducono e tutto ci fa pensare che la qualità media del lavoro delle università si sia innalzata. Si può, dunque, ipotizzare che gli esercizi di valutazione abbiano raggiunto uno degli obiettivi che si erano prefissati: favorire una convergenza verso uno standard comune e più elevato della qualità della ricerca.
Insomma, a dispetto di gufi e colleghi ipercritici, la valutazione cominciava a dare i suoi frutti. E lui, Gedeone, era uno di quelli che ci aveva creduto fin dall’inizio. Non aveva perso la fede neppure quando i consiglieri Anvur paragonavano Suinicultura (sì l’avevano scritto proprio così) al Caffè di Pietro Verri oppure quando il presidente Graziosi teorizzava che in una selezione pubblica per accedere al ruolo di consigliere Anvur, non ha senso discutere di possibili plagi, perché gli elaborati presentati dai candidati sarebbero documenti privati.
Episodi discutibili, ma niente più che episodi, dopo tutto.
Nella sua euforia, gli sembrava persino che il tono del comunicato stampa riecheggiasse la prosa altisonante del bollettino della vittoria di Armando Diaz. In effetti, sotto i colpi di quel grafico che Gedeone teneva in mano, i resti degli oppositori dell’Anvur non potevano che ritirarsi “in disordine e senza speranza”.
Il grafico, nella sua semplicità, evidenziava un fatto incontrovertibile: i risultati della nuova VQR, sintetizzati dalla curva blu, più alta e più stretta, dimostravano che la forbice tra più bravi e meno bravi si andava restringendo. La curva rossa, più bassa e larga, mostrava che nella prima VQR c’erano brocchi impresentabili (a sinistra) che potevano scorgere solo col binocolo i fuoriclasse della coda all’estrema destra. Adesso, invece, il plotone si era ricompattato e si marciava finalmente uniti verso un radioso futuro:
L’università italiana si è messa in moto convergendo verso uno standard comune e più elevato della qualità della ricerca. In media, gli atenei che avevano un livello della qualità della ricerca relativamente basso si sono rimboccati le maniche e, se non hanno scalato posizioni, almeno hanno ridotto lo svantaggio.
Non era vero che la competizione era destinata ad aggravare gli squilibri e che avrebbe portato al collasso gli atenei più deboli, quelli del mezzogiorno in testa. Insomma, si poteva ben dire che «la macchina è stata messa in moto».
Mentre pensava compiaciuto che la guerra per la valutazione era finalmente vinta, Gedeone era arrivato a destinazione. Anche quel bastian contrario di Peppe, messo di fronte all’evidenza, avrebbe dovuto ammetterlo.
2. La convergenza immaginaria
-Ciao Peppe, hai saputo della VQR? Guarda qui …
-Senti, oggi è meglio che mi lasci stare. Sono ancora qui che friggo per il consiglio di classe di mio figlio a cui ho partecipato ieri sera.
Peppe sembrava veramente fuori di sé e Gedeone non osò interromperlo, sebbene morisse dalla voglia di prendersi la sua rivincita sul collega. Una bella testa – non c’è che dire – ma totalmente e ingiustamente prevenuto nei confronti della valutazione.
-Lo sai cosa è successo? Il professore di Latino all’inizio dell’anno aveva somministrato un test di ingresso che aveva restituito un quadro assai preoccupante. I più bravi prendevano 9 e 10, ma c’era anche una buona parte della classe che stazionava dal 4 in giù. A distanza di tre mesi, ha svolto un altro test e ieri, tutto trionfante, è venuto a mostrarci il confronto delle distribuzioni dei voti delle due prove. Più o meno, il discorso era questo:
la distribuzione è ora molto più concentrata attorno al valor medio. In altri termini, a 3 mesi di distanza dal primo test, i voti degli studenti appaiono molto più vicini tra loro. In media, i ragazzi che avevano un livello di preparazione relativamente basso si sono rimboccati le maniche e, se non hanno scalato posizioni, almeno hanno ridotto lo svantaggio. Oggi, invece, vediamo che le differenze si riducono e tutto ci fa pensare che la qualità media si sia innalzata. Si può, dunque, ipotizzare che il corso di recupero abbia raggiunto uno degli obiettivi che si erano prefissati: favorire una convergenza verso uno standard comune e più elevato della qualità della preparazione.
Gedeone taceva, cercando di capire se Peppe stava scherzando. Si trattava di un’allusione alla VQR? No, non era un’allusione. Peppe ce l’aveva proprio con il Professore di Latino di suo figlio.
-Nonostante la sua boria, questo qui il latino se lo ricorda peggio di me e te, tanto è vero che il suo corso di recupero è andato poco oltre ripasso di rosa-rosae. Ma questa volta ci ha rimesso la faccia. Aveva appena finito di parlare che, Gianni, mio figlio, alza la mano e, papale papale, gli ricorda che nella seconda prova era stata cambiata la regola per convertire il numero di risposte esatte in voto decimale. Nella prima prova il voto era proporzionale al numero di risposte esatte: con 10 su 10 prendevi 10, con 9 su 10 prendevi 9 e così via. Nella seconda prova, invece, ha cambiato regola e, per dare i voti, ha usato questa formula:
voto = 1.5 + 0.75 x N
dove N è il numero di risposte esatte. Con 10 risposte su 10, il voto non era più 10 ma 1.5 + 7.5 = 9. Inoltre, non potevi più prendere meno di 1,5, persino quando non ne azzeccavi neppure una. Insomma, l’intervallo dei voti, che andava da 0 a 10, si è accorciato e ora va da 1,5 a 9.
Gedeone stava sbiancando, ma Peppe era talmente infervorato che non se ne accorse.
-Per forza che la distribuzione diventava più stretta! Perfido come suo padre, Gianni si era già stampato una trentina di fogli con la distribuzione dei voti del primo test, ricalibrati in base alla nuova regola. Li fa girare tra genitori e compagni di classe e tutti si accorgono che la distribuzione è praticamente identica a quella della seconda prova. Il restringimento era solo dovuto alla diversa scala dei voti. A distanza di tre mesi, ad essere cambiata non era la preparazione degli studenti ma la metrica usata per misurarla. Il professore ha tentato di balbettare qualche giustificazione, ma poi ha visto che alla sua destra il collega di matematica stava per scoppiare a ridere. Allora, ha preso le sue carte e se n’è andato con la coda tra le gambe. Che figura!
Ma tu cosa volevi dirmi sulla VQR?
3. Per fortuna che ci sono Beltram e la Terracini
Gedeone, ormai terreo, cercò invano di cambiare discorso, invocando la fretta di andare alla festa di Natale del dipartimento. Peppe insisteva e non capiva l’improvvisa ritrosia dell’amico. Gedeone, sull’orlo della disperazione, ebbe un’improvvisa illuminazione: non era possibile che l’ANVUR fosse caduta nello stesso infortunio del professore di Latino. Senza alcun dubbio, il comunicato stampa era stato rivisto dagli altri consiglieri, tra cui vi sono matematici e fisici di tutto rispetto.
Rincuorato da questo pensiero, Gedeone tirò fuori dalla tasca il foglio con la figura delle due distribuzioni. Per il nervosismo, l’aveva un po’ accartocciato, ma una volta disteso sulla scrivania, si leggeva ancora bene.
Mentre Gedeone riassumeva il comunicato stampa dell’ANVUR, Peppe lo guardava sbalordito.
-Scusa, Gedeone, mi stai prendendo per i fondelli? Vorresti farmi credere che Graziosi ha usato lo stesso ragionamento del professore di Latino di mio figlio? Lo sai che non ho molta stima degli anvuriani, ma c’è un limite a tutto …
-No, Peppe, non ti prendo in giro. E poi, non vorrai mica mettere sullo stesso piano un professore di Latino con due fuoriclasse della Fisica e della Matematica che avranno sicuramente aiutato Graziosi ad interpretare i risultati della VQR. E poi, non stiamo usando due scale dei voti diverse, ma i risultati di due VQR che …. ehm …
Nello stesso momento in cui pronunciava queste parole, Gedeone si era ricordato che la scala dei voti della VQR 2011-2014 era diversa da quella della VQR 2004-2010. «Maledizione, non sarà mica possibile che …» pensò, mentre si mordeva la lingua.
– Appunto: due VQR che usano due diverse scale dei voti, proprio come ha fatto il professore di Latino di mio figlio. Se te le sei scordate, te le ricordo io:
- Percentile 80-100: 1,0
- Percentile 60-80: 0,8
- Percentile 50-60: 0,5
- Percentile 0-50: 0,0
- Prodotto mancante: -0,5
- Non valutabile: -1.0
- Plagio – frode: -2.0
- Percentile 90-100: 1,0
- Percentile 70-90: 0,7
- Percentile 50-70: 0,4
- Percentile 20-50: 0,1
- Percentile 0-20: 0,0
- Non valutabile: 0,0
Gedeone, che sudava freddo, fece del suo meglio per ostentare sicurezza.
-Figurati se i consiglieri ANVUR non ci hanno pensato! E comunque l’equazione che lega nuovi e vecchi punteggi non è una retta come nel caso dei test di Latino. La situazione non si lascia analizzare in modo così semplice. Avranno fatto i loro calcoli e avranno concluso che la riduzione delle differenze tra atenei non può essere ricondotta al cambio delle regole, ma riflette un fenomeno reale. Ora, però, sarà meglio che ci occupiamo d’altro. Tra un quarto d’ora inizia la festa di Natale del dipartimento. Lascia stare la VQR. Lo sai bene che, messi di fronte ad un buffet, i nostri colleghi sono peggio delle cavallette e non vorrei rimanere a bocca asciutta dopo che ho versato i miei dieci euro.
4. Per il debunking di Anvur basta un quarto d’ora
Peppe esitò un attimo. Sentiva l’odore del sangue, ma anche lui ci teneva al rinfresco dipartimentale. Effettuare il debunking del comunicato Anvur in un quarto d’ora sembrava una vera mission impossible. Stava per desistere, quando gli si accese la classica lampadina.
-Tranquillo, Gedeone, ti chiedo 15 minuti, non uno di più. Se ci dividiamo i compiti ce la possiamo fare. Usa il mio PC per recuperare e aprire le tabelle del Rapporto della prima VQR. Mi serve sapere quale è stato il voto medio di tutti i prodotti valutati. Io intanto, faccio un pò di calcoli con gli IRAS1.
Gedeone acconsentì di malavoglia e, collegatosi al sito dell’ANVUR, si mise a rovistare tra gli esiti della prima VQR. Finalmente, nella Tabella 6.1, trovò i dati che servivano. Per ottenere il voto medio bastava un semplice calcolo in Excel. Intanto, Peppe aveva armeggiato febbrilmente sulla tastiera del suo portatile. Proprio mentre Gedeone annunciava soddisfatto
-Il voto medio della VQR 2004-2010 è stato 0,570 …
Peppe faceva comparire il seguente grafico.
Gedeone, si sentì sollevato.
-Vedi, Peppe, che i conti dell’Anvur erano giusti? Anche tu trovi le stesse curve: nella nuova VQR la distribuzione diventa più alta e stretta rispetto a quella della vecchia VQR, un chiaro segno della convergenza verso uno standard comune …
-No, Gedeone, non è quello che pensi. Aspetta che metto anche la legenda.
-La curva arancione è la distribuzione della vecchia VQR, ma la curva blu non è quella della nuova VQR. La curva blu è la distribuzione che avremmo visto nel luglio 2013 – data di pubblicazione degli esiti della VQR 2004-2010 – se i punteggi fossero stati assegnati con la scala adottata nella nuova VQR 2011-2014.
La “convergenza” che ti sembra di vedere è un’illusione. Le due curve si riferiscono agli stessi prodotti, ma misurati con due scale diverse. Quando si adotta la nuova scala, la distribuzione si alza e si restringe. Ho fatto lo stesso esercizio che aveva fatto mio figlio ricalcolando i voti del primo test di Latino, utilizzando la nuova scala.
-Ma … ma … come hai fatto??
-Mi sono ricordato che l’anno scorso un collega mi aveva spiegato che con un po’ di pazienza era possibile ricalibrare gli indicatori IRAS1 della vecchia VQR, in modo da simulare l’effetto della nuova scala di punteggi. Purtroppo, è un lavoro un po’ noioso che va fatto per ognuna delle 16 aree CUN. Avevo anche iniziato a farlo, ma dopo 5-6 aree mi ero stufato. Poco fa, però, mi è venuta un’idea. Se la conversione da vecchi a nuovi punteggi viene approssimata con una retta, la ricalibrazione degli indicatori IRAS1 si ottiene in un batter d’occhio.
Gedeone ascoltava a bocca aperta.
-Mentre tu rovistavi nel Rapporto VQR, io ho considerato questa approssimazione lineare
v_new = a + b v_old
dove v_new è la conversione nella nuova scala del voto v_old assegnato con la vecchia scala. Ho fatto un po’ di conti (che ti posso spiegare dopo il rinfresco) e ho trovato
- a = 0,136
- b = 0,627
-Va bene, Peppe, fin qui ti seguo, ma come hai fatto ad ottenere la distribuzione della differenza % tra IRAS1 e quota dimensionale?
-È un gioco da ragazzi. Per ricavare le formule bastano pochi minuti. Le ho scritte su questo foglio:
Gedeone diede un’occhiata. Erano conti abbastanza facili, alla portata di uno studente delle superiori. Intanto, Peppe procedeva inesorabile.
-Se chiamo Ai la distribuzione della differenza % tra IRAS1 e quota dimensionale per l’i-esimo ateneo, si ottiene facilmente la seguente formula:
Ai_new = 0,724 Ai_old
In soldoni, il cambiamento delle regole con cui vengono assegnati i punteggi comporta una riduzione uniforme di tutti gli indicatori Ai che vengono moltiplicati per 0,724. Di conseguenza, la distribuzione diventa più alta e stretta, nonostante i prodotti della ricerca siano sempre quelli. Quello che hai davanti agli occhi è lo stesso identico miraggio dei voti dei test di Latino della classe di mio figlio.
Facciamo un’ultima verifica. Nel seguente grafico riportiamo tre curve:
- distribuzione di Ai per VQR 2004-2010 con vecchia scala (arancione);
- distribuzione di Ai per VQR 2004-2010 dopo conversione nella nuova scala (blu);
- distribuzione di Ai per VQR 2011-2014 con nuova scala (giallo).
Mio caro Gedeone, come puoi vedere, la curva blu e quella gialla sono abbastanza simili: la distribuzione della nuova VQR è simile a quella che potevamo predire ricalibrando i voti della vecchia VQR.
[Qui Peppe omise di dire che, proprio quella mattina, una “gola profonda” gli aveva mandato il file Excel degli IRAS1 della nuova VQR, senza i quali non avrebbe potuto tracciare la curva gialla. Ma Gedeone era troppo groggy per domandare come mai Peppe avesse a disposizione i dati non ancora pubblicati. NdR]
5. La “convergenza”: un esempio di post-verità?
Gedeone sembrava una statua di sale, mentre Peppe chiudeva il portatile e si alzava in piedi.
-Non vieni al rinfresco? Se ci muoviamo subito, arriviamo appena in tempo Hai visto che i 15 minuti sono bastati?
-Ma allora tutti i bei discorsi sugli atenei che “si sono rimboccati le maniche” e che “se non hanno scalato posizioni, almeno hanno ridotto lo svantaggio”?
Peppe non rispose. Si limitò a prendere dalla scrivania la stampa del grafico di Graziosi e la strappò in quattro parti che lasciò cadere nel cestino con un sorriso di compatimento.
-Dai, non stare impalato, andiamo a scalare posizioni nella coda per il buffet. Ho bisogno di mettere sotto i denti qualcosa di concreto.
Grazie De Nicolao, divertente come sempre! Stavolta, però, direi che non ci volevano conoscenze di alta matematica, l’inghippo era facilmente individuabile anche da un umanista come me… Come mai un giornalista di vaglia, coraggioso e amante della verità come Corrado Zunino non ce l’ha fatta?
Buone feste
Sono in molti ad aver dubitato della fondatezza del comunicato stampa anvuriano. Tuttavia, senza qualche (semplice) calcolo aritmetico era difficile quantificare la dimensione dell’illusione ottica prodotta dal cambio di metrica. Se si tiene conto di questa distorsione ottica, la tanto vantata convergenza si riduce a ben poca cosa.
Beh, per me non era così semplice rendermi conto dell’ennesimo raggiro della nomenklatura anvuriana (se non a fiuto, infatti la propaganda del regime si riconosce comunque!): perciò ringrazio davvero De Nicolao della spiritosa e illuminante spiegazione. ROARS, se non ci fosse bisognerebbe inventarlo! Buon Natale!
Intervengo, pur avendo dato solo un’occhaita rapida all’articolo, per segnalare che non poiù tardi di qualche giorno fa mi è stato inviato l’ennesimo prodotto da valutare x la nuova VQR….dunque tuttaltro che chiusa….
Attenzione: la VQR è conclusa. Le valutazioni ancora in corso, come spiegato nel sito Anvur, fanno riferimento al cosiddetto esercizio bibliometrico:
_______________________
“Attualmente, i revisori selezionati da ANVUR sono impegnati nella valutazione con modalità peer di un campione pari a circa il 10% dei prodotti già valutati con metodologia bibliometrica. L’obiettivo di questo esercizio è quello di consentire un confronto tra le due metodologie di valutazione per esaminare il grado di corrispondenza dei risultati”
http://www.anvur.org/index.php?option=com_content&view=article&id=1113:conclusione-delle-valutazioni-vqr-new-it&catid=78&Itemid=596&lang=it
su quali valutazioni sono state fatte le considerazioni anvuriane?????
In forma rozza ma efficace: se misuri l’altezza in metri, invece che centimetri, ti sembra che 1,8 sia un numero più piccolo di 180, ma la statura rimane la stessa.
Qui qualcuno discute i dati. Deve diventare una prassi, secondo me, che porta ad un’azione.
Caro Giuseppe,
grazie per questo contributo. E’ chiaro da tempo che all’ANVUR dominano incompetenza e malafede, e che qualunque discorso facciamo tra noi serve per il pubblico: l’ANVUR non ha la minima intenzione di recedere dalla sua posizione.
La tua analisi dimostra che una variazione tra le due VQR normalizzate esiste (curve blu e gialla nell’ultima figura) e poiché la numerosità del campione è grande potrebbe significare qualcosa. L’indicatore usato, se lo capisco correttamente, media a zero, quindi le due curve non differiscono per la media ma per la varianza (già questo dice che l’interpretazione Graziosi sulla qualità media è un’idiozia). Questo effetto potrebbe dipendere dal miglioramento dei peggiori o dal peggioramento dei migliori: guardando i dati originali quale ipotesi è corretta?
È bene ricordare che Peppe aveva a disposizione solo 15 minuti. La sua rapida analisi mostra che, una volta tenuta in considerazione la distorsione ottica dovuta al cambio di metriche, la presunta “convergenza” risulta molto ridimensionata. Per una valutazione maggiormente dettagliata, l’analisi andrebbe ripetuta per ognuna delle 16 aree e per ciascuna di esse si potrebbe valutare cosa e quanto sia cambiato. Ma l’Anvur rilascia comunicati stampa basati su dati tenuti gelosamente nei cassetti e questa analisi disaggregata, per ora, non è possibile.
Commento sulle medie: se gli atenei avessero tutti la stessa numerosità la media della distribuzione del grafico di Graziosi sarebbe nulla per definizione. In presenza di atenei di dimensioni diverse, la media può scostarsi da zero (la media aritmetica di vi – vbar non è zero perché vbar non è la media dei vi -voti medi degli atenei- ma la media di tutti i voti dei prodotti). In particolare, la media dell’indicatore citato da Graziosi dovrebbe essere maggiore di zero se gli atenei piccoli prendono voti migliori di quelli grandi. Nei fatti, lo scostamento sembra comunque piccolo.
Caro Giuseppe,
certamente tu hai studiato gli indicatori ANVUR meglio di me. Nel testo della conferenza stampa però, a proposito dell’IRAS1 si dice che ” esprime il rapporto tra la somma dei punteggi ottenuti dalla singola università in un’area scientifica e la somma dei punteggi di tutte le pubblicazioni valutate nella stessa area scientifica”. Quindi secondo questa definizione la somma di tutti i punteggi IRAS1 dovrebbe essere uno. Il grafico riporta le differenze tra IRAS1 e quota dimensionale dell’ateneo, che presumo sia di nuovo una frazione del tipo X ateneo / somma delle X di tutti gli atenei. La somma delle differenze deve essere uguale alla differenza tra le somme, che è 1-1=0. In pratica la somma di tutti i punti usati per costruire i grafici a campana dovrebbe essere zero; e così pure la media. Almeno se io capisco correttamente i dati ANVUR.
Per ogni ateneo la differenza (frazione IRAS1-frazione dimensionale) è divisa per la sua frazione dimensionale. Dato che le frazioni dimensionali variano da ateneo ad ateneo l’indicatore risultante non ha più la proprietà di sommare a zero.
Dies IRAS :-D
.
E’ la statistica applicata alla politica bellezza, che ha risvolti perfino più magici della statica applicata all’astrologia per stabilire una corrispondenza fra profili psicologici dei nati sotto uno stesso segno. E’ un po’ quella che fa dire a Renzi che 40% al referendum è pari al 40% delle Europee e dovrebbe corrispondere a un 40% alle politiche se si va a votare.
.
La scala è distorta da una VQR all’altra e quindi giustamente gli indicatori vanno scalati e, se minori, le curve di distribuzione a campana cambiano. Ma ormai abbiamo imparato che le campane, strette o larghe, suonano a morto :-D
Se i valori intorno alla media si restringono di un fattore <1, lo fanno in valore assoluto sia per i valori negativi (inferiori alla media) che per quelli positivi (superiori alla media). Questo è confermato anche dalla seconda tabella ANVUR che indica le variazioni di valori A (diff IRAS e quota dimensionale) dei valori sopra la media e sotto, qui:
.
http://www.anvur.org/attachments/article/799/CS_VQR_Anvur_dicembre2016~.pdf
.
Guarda caso tutti i valori migliori, che sono concentrati al Nord diminuiscono, e tutti i peggiori, concentrati nel Sud e nelle isole, migliorano.
Cioè, interpretando alla Graziosi, dopo la prima VQR solo al Sud e nelle isole si sono rimboccati le maniche, mentre a Nord mica tanto. Il Centro, incredibilmente, non ha reagito.
.
La differenza in altezza della campana è dovuta puramente al diminuire della varianza su un volume complessivo di valori rimasto uguale.
'A campana si è ristretta, ma sempre a morto suona!
Una curva a campana si può stringere perché salgono i punteggi bassi o perché scendono quelli alti , o entrambi. Quindi basta che si rimboccano le maniche al Sud per far sembrare che il Nord è andato peggio. Ma potrebbe anche essere accaduto l’inverso: il calo dei finanziamenti ha fatto peggiorare il Nord più del Sud e questo fa sembrare che il Sud sia migliorato.
…molto bravo De Nicolao, non cascarci non era affatto scontato, e l’aver svelato il trucco è stato altamente meritorio.
Per il resto, il piccolo aggiustamento che si nota considerando le linee gialle e blu era prevedibile -o, almeno, io me lo aspettavo-, e ritengo dipenda effettivamente da un piccolo miglioramento dei peggiori, dovuto essenzialmente a due fattori, che però non corrispondono ad un miglioramento della ricerca.
Il primo è che la VQR, questa volta, è stata presa molto più sul serio, specie dai dipartimenti che sono stati penalizzati dagli scorsi risultati. La scorsa volta molti non si erano resi conto di quanto sarebbe stata importante: l’avevano snobbata, e molti docenti erano stati lasciati soli con il “solito adempimento burocratico che non conta niente”. Sono certo che invece, questa volta, il numero degli errori e delle omissioni, fortemente penalizzanti, si sarà ridotto al lumicino.
Il secondo è quello della “attivazione degli inattivi”. E questo è un reale effetto positivo della VQR. Piaccia o non piaccia, infatti, l’università italiana si caratterizzava per un alto numero (paradossalmente più di ricercatori che di professori) di totalmente inattivi nel campo della ricerca (con diversità tra le varie aree: maglia nera a medicina, grigia a giurisprudenza).
Quindi, qui non è tanto una questione di qualità della ricerca, ma di sua quantità. Non è, cioè, che la qualità dei “peggiori” è aumentata, ma che molti totalmente inattivi/improduttivi sono stati “sollecitati” da direttori e colleghi a produrre qualcosa…purché sia.
Mi è stato raccontato che, in un Dipartimento particolarmente penalizzato dalla scorsa VQR, l’allora direttore mise i dati sul maxi schermo per “mettere alla berlina”, o se volete, più correttamente, per “responsabilizzare” quei componenti che non avevano avuto prodotti da inserire.
Quindi, nessun innalzamento della qualità. Solo maggiore attenzione ad una procedura che si è capito essere di importanza vitale per il futuro e dei dipartimenti, e il suono della sveglia per gli inattivi: quest’ultimo fatto molto positivo, perché la presenza (specie di ricercatori, che quindi non fanno didattica, né, tanto meno, gliela fanno fare a giurisprudenza o medicina, per non farli diventare “prof”) di colleghi che non producono niente non è ammissibile, sia in se, che in relazione all’esistenza di una nutrita schiera di precari iper-produttiva, che è fuori, dove è “pianto e stridore di denti”.
Ultimo ma non ultimo, si consideri che si tratta proprio degli anni in cui sono andati in pensione molti ricercatori ope legis della 382/80, gente che è rimasta nel ruolo di ricercatore, molte volte, perché, semplicemente, non ha mai pubblicato. D’altronde, era diventata di ruolo come ricercatore senza aver mai pubblicato, e poi è tranquillamente arrivata a percepire 3000 euro al mese netti senza fare niente (e qualcuno si stupisce ancora che ai precari di oggi girano le eliche), quindi è stata coerente.
Tom Bombadillo
Non è vero che c’erano tanti inattivi nella prima VQR (o nell’università italiana): erano meno del 5% dei docenti in servizio. Nella seconda VQR gli inattivi sono invece aumentati, almeno all’apparenza, perché c’è stato un più sostanziale boicottaggio, anche da parte di ricercatori e docenti attivi.
E’ ingiusto! Adesso per entrare in ROARS il sistema chiede anche le moltiplicazioni e per giunta in inglese. Allora ditelo che non volete che quelli di ANVUR vi leggano. Poi uno se scrive la soluzione giusta voi gli dite che ha copiato le tabelline di Pitagora. Non è giusto :-)
— e qualcuno si stupisce ancora che ai precari di oggi girano le eliche —
Tutta la generazione dei 25-45enni attuali sta pagando il conto dei 55-70enni attuali. I nati fra il 1940 e il 1955 hanno fatto man-bassa di tutto l’edibile e noi adesso paghiamo il conto … in tutti i campi, non solo in quello universitario e in tutto il mondo, non solo in Italia-
Non tutti gli attuali 60enni sono stati degli egoisti, ma molti si, anche a loro insaputa.
è difficile capire cosa vuol dire.
Nella fascia da 55-60 anni ci sono molti che sono giunti all’università dopo una dura gavetta. Si diceva allora che tutti i posti erano stati presi dai sessantottini. Ora si troverebbero finalmente nella posizione di poter occupare le posizioni per cui hanno lavorato, ma i ‘giovani’ premono e si sentono ingiustamente esclusi.Con ragione potrebbero dire di essersi trovati in posizione difficile e mediana fra forze generazionali un po’ ‘rudi’.
Non credo la semplificazione generazionale giovi e, soprattutto, non è vera.
concordo … generalizzare è sempre sbagliato … infatti non dico tutti, ma molti … comunque non è facile e quindi per semplicità concordo.
Se guardiamo all’ARWU (Shanghai), per quello che può valere, dal 2010 al 2016 le univerità italiane sono peggiorate o, comunque, sono migliorate meno del resto del mondo. Complimenti all’ANVUR e ai ministri MIUR di questo periodo.
Non opponiamo stregoneria a stregoneria (stavo per scrivere “ciarlataneria a ciarlataneria”). Come più volte ricordato, le falle tecniche e scientifiche della classifica ARWU sono ormai note e non la prenderei certo come riferimento, soprattutto sui miglioramenti che sono distorti dalla cosiddetta “normalization trap”:
==================
“Should you believe in the Shanghai ranking? – An MCDM [=Multiple Criteria Decision Making] view”
http://www.lamsade.dauphine.fr/~bouyssou/BillautBouyssouVinckeScientometrics.pdf
__________________
Se negli uffici romani è d’uso rilasciare comunicati in cui si dicono cose errate su argomenti di cui si capisce poco o nulla, non mi sembra il caso di adeguarsi. Farlo gratis, poi, sarebbe veramente imperdonabile. I colleghi che hanno buttato alle ortiche la loro reputazione scientifica lo hanno fatto per un lauto compenso, almeno.
Ovvio. La cosa buffa (triste) è però che ANVUR dice che siamo migliorati quando altri con le stesse cialtronerie ci dicono che siamo peggiorati.
..cialtronerie… pardon volevo dire argomenti….
Buon Natale a tutti.
Conta , conta perchè è quella che utilizzano gli studenti cinesi…..comunque gli atenei che si riferivano alla classifica di Shanghai quando le cose andavano un po’ meglio (una quindicina d’anni fa) ora si metteno in evidenza sul loro sito altre classifiche…più buone.
Innanzi tutto Buon Natale a tutta la redazione e anche al direttivo ANVUR che sono sicuro leggerà questo articolo!
La curva di cui si parla sopra (seconda figura) si è stretta e alzata, segno, in base a quello che dice ANVUR, che la maggior parte degli atenei si sarebbero avvicinati alla “qualità media” nella seconda VQR. Questo, secondo ANVUR, grazie al processo virtuoso innescato proprio dalla VQR. I discorsi di De Nicolao sono molto interessanti ma soprattutto divertenti. Anche però un po’ complessi per il giornalista quadratico medio che si occupa d’università. Si potrebbe semplificare in questo modo?
———–
Nella prima VQR i voti dei singoli prodotti variavano da 1.0 a -0.5 (in realtà fino a -2 nei rari casi di plagio), un intervallo di 1.5 punti. Nella seconda, i voti variavano da 1.0 a 0 (intervallo 1.0 punti). Era molto probabile che i voti si sarebbero dovuti concentrare di più, e qualsiasi parametro derivato avrebbe avuto una varianza minore con il nuovo sistema di calcolo. Insomma, diminuiva l’intervallo dei voti, era atteso che diminuisse anche la varianza dei parametri calcolati su questi.
———–
Era un argomento sul quale un giornalista presente alla conferenza stampa del 19 dicembre avrebbe potuto alzare la manina e formulare una domanda?
Ottima sintesi di Marco Bella. L’analisi tecnica si rendeva necessaria per capire se e come la concentrazione dei voti si rifletteva sulla distribuzione dell’indicatore citato nel comunicato stampa Anvur. Infatti, in linea di principio, non sarebbe difficile utilizzare indicatori insensibili ad eventuali riscalature (lineari) dei voti. L’Anvur per inadeguatezza o per scelta deliberata ha utilizzato un indicatore che risentiva del cambio di metrica e su di esso ha imbastito il suo “story-telling”. Ma Beltram e Terracini (dubito che gli altri consiglieri fossero in grado di capire senza un aiuto) erano distratti o sono gli artefici di questa cortina fumogena?
Colgo l’occasione per ricambiare gli auguri.
Giuseppe De Nicolao: “dubito che gli altri consiglieri fossero in grado di capire senza un aiuto”. Basterà l’aiuto? Non è che qualcuno del direttivo penserà che tu “abbia auspicato” un cambio di metrica? ;-)
Osservo che continuate ad essere (festosamente) sulle barricate. Buone feste a tutti voi!
A Giuseppe De Nicolao, a proposito di “L’Anvur per inadeguatezza o per scelta deliberata…”. Se qualcuno sbaglia, e ci si domanda se lo ha fatto perché incompetente o di proposito, penso sia più grave la seconda spiegazione, in quanto, potendo egli scegliere, ha scelto di ingannare. D’altronde non siamo al circo per divertirci dei giochi dell’illusionista. O sì?
Inadeguatezza o scelta deliberata? Mi sembra un quesito interessante a cui non so dare una risposta sicura. Potrebbe anche essere che persino all’interno del direttivo Anvur alcuni avessero capito e altri no, con i secondi che venivano presi per il naso dai primi. Oppure che tutto il direttivo sia stato preso per il naso da qualche consulente tecnico. Però, Graziosi parlava di una convergenza “in atto” ancor prima della scadenza per il conferimento dei prodotti. Graziosi faceva parte di coloro che erano al corrente del trucco? Oppure, ingenuo ma in buonafede, era il primo a credere alla taumaturgica convergenza, perché si era bevuto il raccontino confezionato da qualcuno ben più sveglio? Io posso aggiungere che prima del conferimento dei prodotti alcuni atenei “top” erano già convinti che avrebbero perso terreno. Verosimile che avessero calcolato come sarebbero cambiate le cose in seguito alla conversione dei loro voti VQR 2004-2010 nella nuova metrica 2011-2014.
Inadeguatezza o scelta deliberata? …state parlando della gestione della Capitale da parte della Raggi o della gestione della valutazione universitaria da parte dell’ANVUR?
In ogni caso soldi rubati sono!
A ragionamenti anonimi di questo tipo non sarebbe il caso di rispondere. Se ci limitiamo all’Anvur, perché si parla di questo, si constata che operano in maniera pasticciata, che non garantiscono la trasparenza necessaria, che sono troppo costosi, loro e le loro procedure ingarbugliate, e – dal momento che l’Anvur è un’emanazione politica e dunque la prima responsabilità è quella politica – che il Governo (per fare un altro esempio per me scandaloso) stanzia 20 miliardi per le banche mentre non ha 50 milioni per i bambini malati di Taranto (non so se questi dati sono definitivi). NESSUNO ha mai usato, prima di Lei, il verbo “rubare”: se lo tenga per sé, please.
Essere anonimi non è illegale, se fosse illegale, Roars sarebbe complice.
Usare le parole giuste non è reato: al mio paese “troppo costosi” come dice lei, vuol dire rubare! Giustamente costosi vuol dire guadagnarsi il giusto compenso, ma troppo costosi significa: rubare! Sorry, ma bisogna avere il coraggio di dare alle parole il giusto significato.
Grazie di cuore a Giuseppe De Nicolao per l’ (ennesimo) ottimo articolo che dimostra, sullo stesso terreno scelto da Graziosi per perorare la causa dell’ANVUR (questo, e non altro, sembra lo scopo di questa uscita stampa), la banale strumentalità delle argomentazioni utilizzate. Tanto brillante GDN quanto disarmante la situazione in cui ci si trova.
D’altro canto le logiche post 2010 hanno portato alla strutturazione di nuovi potentati accademici, di cui l’ANVUR è oggettivamente il vertice (si pensi ad esempio alle nomine dei GEV), che sentono costantemente il bisogno di crearsi “buona stampa”, contando sulla proverbiale passività degli universitari e di alcuni organi più o meno istituzionali (si pensi ad esempio alla CRUI). Da questo punto di vista sembra che il presidente dell’ANVUR abbia semplicemente voluto dare ragione a se stesso, provando a dimostrare di avere anche la “palla di vetro” e una sorta di potere taumaturgico (il che fa sempre molto colpo, particolarmente sulle “popolazioni inermi”), sostanzialmente auto-confermando – ce lo fa giustamente notare Caputo in R29A – quanto aveva già detto prima ancora che la seconda tornata VQR si realizzasse: https://youtu.be/ByplPzq8rFo?t=4m25s. Io scommetto, io guido il gioco, io vinco (e ci mancherebbe!). L’ANVUR sarebbe il toccasana del sistema universitario perché fornisce “criteri unici nazionali” (ah sì? Wow!).
Anche quando i dati dovessero “graziosamente” (ahem) essere pubblicati, sarà molto importante che gli universitari non si facciano prendere dalle alchimie numerologiche (effetto psicologico classico, indotto da qualsiasi classifica, anche fosse random), tenendo a mente gli enormi problemi intrinseci che caratterizzano ab origine una procedura come la VQR, come hanno benissimo indicato ripetutamente ROARS ed altri (ad es. http://www.rete29aprile.it/index.php/comunicati-stampa-menu/comunicati-r29a/505-qualche-domanda-sulla-vqr). Una procedura che, invece di rafforzarla, scardina quel poco di cultura della valutazione che esisteva (per esempio introducendo per i settori non bibliometrici una falsa peer review asimmetrica, che pare pensata per favorire nuovi potentati e mainstream). Nelle università sarebbe oggi il momento di affrontare seriamente il tema del senso e della modalità della valutazione. Quali obiettivi di sistema deve raggiungere? Come può essere realizzata in modo efficace e trasparente?
Se poi, invece, la numerologia dovesse prevalere, allora si potrebbero esaminare i dati tenendo conto di molti angoli visuali: per esempio di chi ha conferito con ORCID (obbligatorio nel bando iniziale) e chi no, ma i cui dati sono stati ugualmente utilizzati (regolarmente?); di chi ha conferito entro la prima indifferibile scadenza (poi regolarmente differita) e chi dopo – avendo dunque più tempo per ponderare le scelte; degli atenei che hanno solo conferimenti “spontanei”, di quelli che li hanno fatto forzosamente (dunque che hanno selezionato in base ad algoritmi) e di quelli che si sono rifiutati di effettuare caricamenti coattivi; di quelli che hanno forzosamente caricato i dati di tutti coloro che protestavano e degli altri che hanno approfittato della protesta per caricare solo i dati che ritenevano più “spendibili”, puntando su algoritmi successivi di correzione dei dati per neutralizzare (!) la protesta. Ecco, se proprio qualcuno vorrà divertirsi con le classifiche (che magari si vorranno usare anche per i “tornei dipartimentali”, ma pure – contra legem – per le valutazioni personali), per onestà intellettuale dovrebbe elaborare classifiche in grado di tenere conto di tutti questi elementi. Senza contare la regola base della ricerca, ovvero che fattispecie diverse (come le 2 VQR, tra le quali – com’è noto anche ai sassi – mille cose sono cambiate; ad esempio il sistema di punteggio, ma non solo) non si possono spacciare per confrontabili, a meno di non voler usare i dati e un pseud-approccio scientifico assai eticamente discutibile come fumo negli occhi per raggirare i gonzi (e in questo caso chi sarebbero in gonzi? Ahimè, la risposta è semplice).
Ancora un grandissimo grazie a GDN; ne approfitto per fare a lui e a tutta la redazione di ROARS moltissimi auguri per queste feste, auspicando anche un 2017 se non proprio ottimo, almeno decente. Ne abbiamo veramente bisogno!
grazie Massi, auguri ricambiati !
grazie!
“Ma Beltram e Terracini erano distratti o sono gli artefici di questa cortina fumogena?” Non potremmo fargliela direttamente, questa domanda?
Mi permetto di segnalare un mio post sull’argomento:
http://www.ilfattoquotidiano.it/2016/12/26/universita-e-ricerca-il-sud-risale-ma-nessuno-ha-visto-i-dati/3278842/
“Dichiara il presidente Graziosi: “Il recupero del Sud lo ascriviamo al buon funzionamento della Legge Gelmini sul versante management […] la non rieleggibilità dei rettori e i consigli di amministrazione più stabili hanno consentito politiche rigorose sui bilanci, un buon recupero di fondi comunitari e migliori assunzioni”.” Certo che ce ne vuole di coraggio a dire cose del genere: oltre il danno la beffa. Mancano gli ortaggi dalla platea purtroppo.
Sinceramente non mi piacciono gli argomenti “ad personam”, come chiedere le dimissioni di un ministro per una frase fuori posto (es. vedi caso Poletti). Come dovremmo però “valutare” coloro che hanno presentato un’intera analisi alla stampa con elementi che potremmo come minimo definire discutibili?
Fosse solo una frase fuori posto il problema. Diciamo che il problema è puramente politico e non (solo) di persone.
siamo anche in grado di mostrarvi gli effetti della lezioncina di Peppe sui componenti del direttivo ANVUR:
https://www.youtube.com/watch?v=M1owcncKCHg
Mi identifico molto con il tizio che mostra che il grafico era girato dalla parte sbagliata.
Non è migliorata la ricerca: al Sud hanno compreso che le disposizioni ministeriali richiedevano che si pubblicasse all’estero e presso alcune famose case editrici italiane: le case editrici locali, che spesso pubblicavano ottimi lavori, ma non avevano la forza per una distribuzione capillare, sono fallite.
Ecco un effetto collaterale delle politiche universitarie: l’Università è un gran affare, ma non per i ricercatori, per tutte le forze economiche interessate, che, anche in questo modo, la stanno condizionando e stanno pesantemente condizionando la vita di interi territori.
E che dire di AVA2 (Il Ministero colpisce ancora)?
Nel DM 987 (del 12.12) è sparito il DID. Le linee guida dell’ANVUR (del 22.12) lo tengono in vita citando il DM 1059/2013 (sostituito dal DM 987).
Chi è Rogue One?
Buon Anno e che la Forza sia con voi!