È opinione comune che l’era della valutazione della ricerca abbia inizio nel 1986, quando sotto il governo della Thatcher venne varata la prima edizione del RAE (Research Assessment Exercise). Tuttavia, la verità storica potrebbe essere ben diversa. Da poco, sono stati resi accessibili gli archivi pre-1989 della polizia segreta della Ruritania, che allora si chiamava Repubblica Democratica Popolare Ruritana ed era nella sfera di influenza dell’Unione Sovietica. La consultazione di questi archivi ha permesso di rispolverare un episodio poco noto della storia dell’università ruritana che non mancherà di destare qualche scalpore e costringerà senz’altro a rivedere la storia della valutazione della ricerca, ritenuta fino ad oggi un parto della cultura manageriale anglosassone.

Si tratta di una vicenda ricca di colpi di scena e non priva  di risvolti dolorosi per i ricercatori accademici le cui carriere e i cui destini furono sconvolti in modo così crudele. Oggi sono in gran parte scomparsi ed è giunto il momento di dare spazio alla riflessione storica e scientifica, lasciando da parte le accuse e le recriminazioni che spesso inquinano l’analisi degli eventi troppo recenti.

Una rara foto del plenum del Partito Comunista Ruritano a cavallo degli anni ’60 del secolo scorso

1. Il plenum del PCR (Partito Comunista Ruritano)  decreta la nascita dell’ANVUR

Tutto iniziò nel lontano 1960, in piena guerra fredda, nel corso di un plenum del comitato  centrale del Partito Comunista Ruritano. Il punto all’ordine del giorno era uno solo: il risanamento del sistema universitario. Le imprese spaziali di Gagarin avevano dato dimostrazione tangibile dell’eccellenza mondiale della scienza dell’alleato sovietico che con i suoi successi non solo dimostrava la superiorità del socialismo reale ma costituiva un esempio da emulare, seppure con risorse più limitate. In Ruritania, da tempo gli economisti ortodossi del partito denunciavano la decadenza dell’università ruritana attraverso sferzanti editoriali sulle prime pagine del Ruritanski Rude Pravo (“Legge Rossa Ruritana”). Nel corso del summit, venne presa una decisione storica: furono poste le basi della legge istitutiva dell’ANVUR, l’Agenzia per la Valutazione del sistema Universitario Ruritano. Tra i compiti attribuiti all’ANVUR vi era quello di mettere a punto un censimento della qualità scientifica della ricerca prodotta da tutte le università ruritane. Si trattava della VQR, la Valutazione della Qualità Ruritana, quello che con la terminologia attuale risulterebbe essere il primo “research assessment”  della storia, diversi decenni in anticipo rispetto al RAE inglese.

 

La monumentale sede del KINEKA, l’archivio universitario centrale della Ruritania

 

L’impresa era titanica, ma il timore di un inarrestabile declino e la volontà di non perdere il passo rispetto all’ingombrante alleato sovietico resero possibile il reperimento delle risorse, anche a costo di sacrificare i finanziamenti della ricerca. Ai docenti universitari, accusati di essere scarsamente produttivi ed anche poco ligi all’ortodossia marxista-leninista, venne trattenuta una quota dello  stipendio per pagare le strutture, gli stipendi e le spese dell’ANVUR.

La selezione del direttivo ANVUR fu ufficialmente condotta in base a criteri di eccellenza scientifica. Oltreoceano, Eugene Garfield stava ponendo le basi dell’ISI, l’Institute for Scientific Information che per anni avrebbe raccolto in forma cartacea le citazioni incrociate che gli articoli scientifici  facevano gli uni degli altri. Non è dato sapere se per qualche via traversa l’idea avesse superato la cortina di ferro. Comunque sia, in Ruritania il  moloch burocratico del KINEKA, l’archivio universitario centrale che occupava un enorme palazzo nella capitale Zenda, si attivò per contare le citazioni ricevute da tutti gli accademici ruritani. Si trattò di un’impresa che mobilitò migliaia di studenti che su base volontaria trascorsero le vacanze estive del 1961 compulsando i volumi della BNR, la Biblioteca Nazionale Ruritana.

Gli errori e le omissioni erano tutt’altro che rari. I capi bibliotecari temevano soprattutto i cosiddetti “mancati agganci”, ovvero quando la scheda di un docente rimandava ad una pubblicazione  fornendo segnature inesistenti oppure corrispondenti a scaffali desolatamente vuoti a causa di furti o di ricollocazioni errate. Nonostante tutto ciò, venne formata una rosa di 15 scienziati, eccellenti  nelle rispettive materie, entro cui il ministro della scienza e della cultura selezionò quelli che, a mezza voce, erano ironicamente soprannominati “The magnificent seven” (evidentemente, nonostante i divieti del regime nei confronti del cinema hollywoodiano, l’eco del film di Sturges era giunto fino in Ruritania).

 

Il presidente dell’ANVUR, Stefan Fantonov, premia le studentesse e gli studenti che hanno trascorso l’estate 1961 lavorando negli archivi del KINEKA per  ripristinare gli “agganci bibliometrici”.

 

2. Una VQR lacrime e sangue?

I membri del direttivo ANVUR si mostrarono da subito ben determinati a valutare con severità. Nella sonnacchiosa accademia ruritana, destò sensazione la dichiarazione di Sergej Benedikt, il coordinatore della VQR, che prometteva lacrime e sangue:

Tutte le università dovranno ripartire da zero. E quando la valutazione sarà conclusa qualche sede dovrà essere chiusa.

In mancanza di qualsiasi precedente nazionale ed internazionale, il direttivo ANVUR fu costretto ad improvvisare delle metodologie per la valutazione della ricerca. È interessante notare come venissero anticipate alcune caratteristiche del RAE inglese. Ad ogni docente venne richiesto di spedire al KINEKA la copia cartacea dei suoi tre migliori lavori pubblicati negli anni 1954-1960. Per le scienze dure, il KINEKA raccolse le citazioni dei lavori sottoposti a valutazione e, incrociandole con il Dopad Faktor (un rudimentale ma ingegnoso antesignano dell’Impact Factor), vennero usate per classificare i lavori in quattro categorie di qualità:

  • eccellente (1 punto)
  • buona (0,8 punti)
  • accettabile (0,5 punti)
  • limitata (0 punti).

Per ogni pubblicazione mancante oltre a sottrarre 0,5 punti alla struttura di appartenenza, veniva aperto un fascicolo intestato al professore neghittoso che, oltre a veder decurtato il suo stipendio, veniva messo sotto osservazione dagli informatori della temuta polizia segreta. Dopo qualche dibattito, era stato deciso che le pubblicazioni nel campo delle scienze umane e sociali sarebbero state valutate da revisori scelti da appositi comitati di esperti. È lecito sospettare che oltre all’obiettiva difficoltà di usare le citazioni in campo umanistico e all’impossibilità di  classificare le monografie senza leggerle, avesse avuto un peso il desiderio di verificare l’ortodossia marxista-leninista degli accademici, affidando la valutazione dei loro lavori a revisori di provata fedeltà al partito.

3. “Regression to mediocrity”

Finalmente arrivò il gran giorno: il 16 luglio 1963, furono resi pubblici i risultati della VQR. Si trattava di 14 libroni, migliaia di pagine che disegnavano un quadro completo della ricerca ruritana, assegnando a ciascun ateneo non solo 14 punteggi, uno per ciascuna delle aree disciplinari, ma anche punteggi specifici per ciascuno dei settori scientifico-disciplinari. Il punteggio assegnato agli atenei non era altro che il punteggio medio delle pubblicazioni valutate. Se tutti i professori di un’area disciplinare avessero presentato lavori “eccellenti” avrebbero fatto l’en plein ed il punteggio sarebbe stato pari ad uno. In molte aree punteggio medio degli atenei si aggirava intorno allo 0,5, con pochi atenei che superavano lo 0,9.

Tra i rettori delle università l’attesa per gli esiti era spasmodica: a seguito della campagna condotta dagli economisti del regime contro il declino dell’università, il timore di diventare facili capri espiatori era più che legittimo. Nonostante la Ruritania, da paese comunista qual era, perseguisse l’egualitarismo anche nel campo dell’istruzione, non ci si poteva aspettare una perfetta omogeneità dei punteggi degli atenei. L’idea del partito era di premiare i rettori degli atenei che si fossero collocati nella fascia più alta e di sostituire gli altri. Non appena furono resi pubblici gli esiti, si scoprì che quasi nessuno dei mega-atenei della capitale e delle città principali raggiungeva le posizioni di testa.

Se si costruiva un grafico mettendo sull’asse x le dimensioni degli atenei (per es. contando il numero di soggetti valutati) e sulla y i punteggi medi conseguiti dagli atenei stessi, si ottenevano delle nuvole di punti che assumevano una caratteristica forma ad imbuto orizzontale. I punteggi più alti e più bassi erano riservati ai piccoli atenei di provincia mentre i mega atenei si addensavano nella zona centrale e, tranne rari casi, non si sottraevano ad un giudizio mediocre.

La polemica divampò quasi subito, innescata dal decano degli economisti di regime che sul Ruritanski Rude Pravo scrisse un durissimo editoriale intitolato “Regressione alla mediocrità” (citando la famosa espressione di F. Galton). Il succo era semplice: non era possibile che quasi nessuno dei mega atenei raggiungesse la vetta delle classifiche nelle 14 aree disciplinari. La loro regressione alla mediocrità era la dimostrazione del dilagare dei favoritismi e del nepotismo, reso possibile da una dirigenza priva di polso e imborghesita dalle mollezze della vita cittadina. Viceversa, i piccoli atenei di provincia che primeggiavano dimostravano che i valori genuini del popolo rivoluzionario potevano mantenersi intatti solo a contatto con la sana vita rurale. L’editoriale si chiudeva con richieste severissime:

  • destituzione di tutti i rettori dei mega-atenei
  • abolizione di ogni forma di autogoverno degli atenei
  • controllo finanziario diretto da parte del ministero delle finanze sotto l’occhio vigile dell’ANVUR
  • chiusura e/o accorpamento dei piccoli atenei il cui punteggio era sotto la mediana

Il destino dei rettori dei mega-atenei fu particolarmente umiliante. Temuti e riveriti fino al giorno prima, si trovarono disprezzati e additati come nemici del popolo. Con una forma di crudele contrappasso vennero inviati nelle scuole rurali perché insegnassero a leggere e scrivere ai contadini, presso i quali dilagava la piaga dell’analfabetismo.

Anno 1965: dopo la sua destituzione, l’ex rettore dell’Università Statale di Zenda legge il giornale ai contadini di una scuola rurale.

4. L’ANVUR è nudo: la legge dell’imbuto

Passarono alcuni anni. La VQR era passata come un turbine decretando la morte accademica e civile di alcuni illustri rettori come pure la chiusura di atenei e dipartimenti. I settori di ricerca più poveri di citazioni erano stati abbandonati come pure le riviste che non avevano il bollino di eccellenza nelle classifiche ANVUR. La prima cosa che imparavano i giovani ricercatori era la necessità di intrufolarsi in un network di colleghi disposti a citarsi a vicenda. L’ANVUR era più potente e temuta che mai e premeva per lo svolgimento di una nuova VQR il cui arrivo turbava i sonni di buona parte dei vertici accademici.

Correva l’anno 1967 e nel corso dell’annuale convegno sulla valutazione della ricerca i presenti ascoltavano distratti la sfilza di relazioni ricche di numeri, ma prive di concetti che non si riducessero all’esaltazione delle sorti “magnifiche e progressive” della ricerca ruritana in seguito all’avvento dell’ANVUR. Alle 17:45 salì sul palco, Vlad, un giovane dottorando dell’università di Strelsau, grazioso capoluogo di una regione rurale, il quale cominciò ad esporre il suo contributo dal titolo bizzarro:

La “legge dell’imbuto”: perché i mega-atenei non possono vincere nella VQR

Era la prima volta che Vlad parlava in una conferenza e si sentiva intimidito dalla sala dell’Accademia delle Scienze dove, alle sue spalle, incombeva un busto di Lenin. Nonostante la bocca impastata, riuscì  a pronunciare le prime frasi e l’impaccio lasciò il posto ad un’esposizione sempre più fluente che, passo dopo passo, demoliva inesorabilmente i luoghi comuni che quattro anni prima avevano dominato l’interpretazione degli esiti della VQR. Nella prima fila, alcuni alti funzionari di partito, quasi assopiti sulla poltrona, dapprima si riebbero, un po’ perplessi, per poi protendersi in avanti con i gomiti appoggiati sulle ginocchia per non perdersi una parola della presentazione. Nella sala, il brusio di fondo, tipico di un convegno che volge stancamente al termine, fece posto ad  un silenzio teso, quasi sospeso.

Senza rinunciare al rigore tecnico, Vlad riusciva a farsi capire anche dai funzionari di partito, il cui compito era quello di vigilare sull’ortodossia ideologica degli interventi. L’oggetto della sua memoria era lo studio delle conseguenze di un’ipotesi. Immaginiamo che, statisticamente parlando, non ci sia alcuna differenza tra gli atenei ruritani in termini di qualità della docenza: come sarebbe fatta la classifica della VQR? Cosa verrebbe fuori al posto del famigerato imbuto che era costato il posto a diversi rettori? Per riprodurre questa situazione di assoluta parità, Vlad immaginava di partire da un plotone di docenti, più o meno bravi, e di formare l’organico degli atenei pescando a caso da questo plotone. Un ateneo piccolo avrebbe pescato pochi docenti, mente un mega-ateneo ne avrebbe pescati molti di più, ma l’esito finale sarebbe stato comunque del tutto casuale. Si assumeva che i docenti più bravi avrebbero ottenuto punteggi migliori nella VQR. Dato che il bacino dell’estrazione era lo stesso per tutti, le differenze di punteggio medio sarebbero state esclusivamente dovute alla casualità del campionamento. Un ateneo sarebbe stato migliore di un altro solo perché era stato più fortunato nel pescare. Vlad formulò la sua domanda:

Se sulla x mettiamo le dimensioni degli atenei e sulla y i loro punteggi, che forma avrà la nuvola dei punti che li rappresentano?

La sala trattenne il fiato, per poi rilassarsi quando Vlad appoggiò sul proiettore una trasparenza che mostrava una nuvola sparpagliata sul piano in cui primeggiava un grande ateneo.

Era il risultato che tutti si aspettavano. Che un ateneo fosse grande o piccolo, aveva sempre la stessa probabilità di eccellere o di essere maglia nera. Ma qui Vlad si giocò il suo coup de théâtre:

No, non è questo il risultato. Le cose vanno diversamente.

Un brusio salì dalla sala, mentre Vlad esasperò l’attesa dilungandosi sul modo con cui aveva ricostruito la vera forma della nuvola dei punti. Bisognava simulare la selezione casuale dei docenti. All’epoca non esistevano i personal computer e Vlad aveva fatto ricorso ad un metodo ingegnoso, anche se laborioso. Aveva preso l’elenco del telefono ed aveva estratto la successione delle cifre finali dei numeri telefonici per simulare l’estrazione di numeri puramente casuali. Dato che aveva ripetuto la faticosa operazione ben otto volte, era come se avesse simulato otto VQR effettuate su otto diversi sistemi universitari estratti a caso. Dopo un’ultima pausa, Vlad appoggiò sul proiettore la sua trasparenza:

ecco, in questa figura vi mostro la simulazione di otto diverse VQR, tutte condotte su sistemi universitari in cui le differenze tra la qualità dei diversi atenei sono frutto di pura casualità

Non tutti capirono al volo, ma i più attenti si resero subito conto delle conseguenze. Tutti i grafici presentavano la caratteristica forma ad imbuto della VQR 1954-1960. Era la dimostrazione che la regressione alla mediocrità non dipendeva dai rettori incapaci o da professori nepotisti e fannulloni. Se si usava il punteggio medio per costruire le classifiche, al crescere della dimensione dell’ateneo il punteggio medio tendeva inesorabilmente al punteggio medio della popolazione di docenti da cui si estraeva a caso. Era il modo stesso in cui era costruita la classifica che impediva ai mega-atenei di arrivare primi. La retorica del “piccolo è bello” e la cacciata dei rettori erano frutto di ignoranza statistica. Vlad concluse che bastava masticare qualche basilare nozione di statistica per capire che il punteggio medio era del tutto inadatto a stilare classifiche.

Uno dei presenti obiettò che si poteva rimediare dividendo gli atenei in classi dimensionali (piccoli, medi e grandi) in modo da elaborare tre classifiche. Vlad ebbe gioco facile a mostrare che si trattava solo di un palliativo. All’interno della stessa classe dimensionale, il problema dell’imbuto si riproponeva tale e quale, rendendo più difficile la vittoria agli atenei più grandi. Ancora peggio, se un ateneo si trovava a cavallo tra due classi dimensionali: una manciata di professori in più o in meno poteva precipitarlo dal paradiso dell’alta classifica all’inferno dei fanalini di coda. Per un ateneo medio-grande, competere con i mega-atenei era un colpo di fortuna mentre vedersela con quelli medio piccoli diventava una iattura. Era questo il senso ultimo della legge dell’imbuto.

5. Epilogo

La presentazione di Vlad risvegliò l’accademia ruritana. Si scoprì che la “legge dell’imbuto” era già stata notata da tempo da diversi statistici. Però, chi apparteneva ad un ateneo premiato dalla VQR aveva taciuto per opportunismo, mentre chi apparteneva ad atenei penalizzati non aveva osato sollevare obiezioni per non essere accusato di essere nemico della valutazione.

Comunque sia, l’episodio segnò la fine del dispotismo poco illuminato dell’ANVUR, il cui strapotere era ormai mal tollerato. Tra i rettori destituiti, quelli che non avevano raggiunto l’età della pensione vennero reintegrati nel ruolo di professori, ma continuarono ad essere guardati con un misto di sospetto e commiserazione dai colleghi, perché, pavidi com’erano, non avevano saputo difendere i propri atenei dal fanatismo di politici e valutatori ottusi. Il consiglio direttivo dell’ANVUR fu sciolto prima che potesse metter mano alla nuova VQR.

Vlad sperimentò sulla propria pelle l’ostracismo dei colleghi del suo piccolo ateneo di provincia che non gli perdonarono di aver sgretolato i fondamenti di quella classifica che li aveva collocati ai primi posti della Ruritania, attirando sia studenti che finanziamenti statali. Nel 1969, in seguito all’invasione della Cecoslovacchia da parte dell’URSS, Vlad fuggì in occidente e se ne persero le tracce. C’è chi dice che abbia cambiato nome per sfuggire alla caccia dei servizi segreti ruritani e che, dopo parecchi anni, sia divenuto una delle menti ispiratrici del RAE inglese. A proposito di classifiche, sul sito del RAE si può leggere:

We have not produced any ranked lists of single scores for institutions or UoAs [Units of Assessment], and nor do we intend to.

RAE – Frequently asked questions

Send to Kindle

88 Commenti

  1. Particolarmente bello lo stile narrativo. Ma ho una domanda. La legge statistica (o, meglio, probabilistica) enunciata appare estremamente ragionevole, per non dire ovvia (soprattutto in considerazione che nel sistema Italiano un ateneo non può offrire stipendi più alti o benefit maggiori per accaparrarsi i migliori scienziati o quelli che preferisce). Si vuole sottintendere che l’ANVUR non abbia preso in considerazione questo effetto ad imbuto ed intenda classificare gli atenei solo in base al “voto medio”, a prescindere dalle dimensioni o da altri fattori?

    • Yes. Pare che ci saranno classifiche per classi dimensionali ma come spiegato nell’articolo è solo un palliativo che non rimuove la distorsione.

    • Ma, in tal caso, non basterebbe normalizzare i risultati per classe dimensionale? Mi spiego con un esempio, perché non sono certo di aver utilizzato la terminologia corretta. Nella classe di dimensione “very small” abbiamo i valori medi per ateneo: 0.1, 0.3, 0.5, 0.6, 0.8 e 0.9. Nella classe di dimensione “very large” abbiamo i valori medi per ateneo: 0.4, 0.4, 0.5, 0.5, 0.6, 0.7. Normalizzando rispetto ai valori della classe “very small”, questi ultimi apparirebbero come qualcosa del tipo (non faccio i conti, vado ad occhio): 0.2, 0.2, 0.5, 0.5, 0.8, 0.9.

      Sono certo che esistano strumenti noti che permettano una operazione simile, non potrebbero bastare a risolvere almeno in parte il problema?

    • Ok, leggendo meglio immagino il problema sia che l’analisi statistica, anche suddividendo in classi dimensionali, non sia abbastanza efficace su un numero così basso di variabili (come il numero di atenei). Ed ogni suddivisione sarebbe arbitraria, dato appunto il numero ridotto di variabili. In buona sostanza, se non ho capito male, c’è il rischio che i dati ottenuti non siano, di fatto, significativi, a prescindere da qualsiasi normalizzazione.

  2. @ De Nicolao e @ tutti:

    scusate,
    ma se in Italia (università italiana) non si può licenziare, a che cosa serve la valutazione?

    montagne di verifiche inutili, che fanno perdere tempo…..ma se il dipendente-docente fannullone (a seguito di verifica), non può essere licenziato, a che serve la verifica?

    se, poi, ci dovesse rimettere il dip. o la facoltà, che non può più assumere, a questi che interessa?, tanto i loro componenti attuali avranno sempre il posto!!!!!!!!!!

    non vi sembra una cosa superflua e che prende in giro i precari, che magari per colpa di alcuni assenteisti non potranno trovare spazio?

    spero di essere stato chiaro.

  3. Io non ho visto mai nessuno, docente o non docente, punito perché non svolgeva il suo lavoro, invece ho visto molti che non svolgevano il proprio lavoro: dai congedi biennali generosamente concessi dai Consigli di Facoltà ai suoi membri (pur con gravi ricadute per la didattica di quella materia) e assenze di tre mesi del personale non docente nel periodo estivo (con gravi disagi per gli studenti che trovano le biblioteche chiuse). A nessuno è mai importato nulla e queste cose continuano a ripetersi. ERGO: ci stiamo e ci stanno prendendo in giro.

  4. e continuando … l’ordinario che ha fatto ricercatore il suo segretario sta ben saldo al suo posto e così la creatura che ha generosamente beneficato: cosa gliene frega di quello che verrà dopo?

    • Luca Salasnich: “Si puo’ rendere un po’ piu’ matematica questa “legge ad imbuto”? ”
      =========================
      Si può fare senza troppa difficoltà. Per comodità, ragioniamo facendo finta che esista una sola area disciplinare.

      Indichiamo con P_k il “punteggio di un Professore k”, scelto a caso.

      Si ipotizza che media e varianza della variabile casuale P_k siano E[P_k]=m, Var[P_k]=s^2.

      Punteggio totale T:=P_1 + P_2 + … + P_N di un ateneo con N professori: risulta che E[T]=Nm, Var[T]=N s^2.

      Inoltre, per N “abbastanza grande”, il Central Limit Theorem ci dice che la variabile casuale T è (circa) gaussiana.

      Punteggio medio M:=T/N di un ateneo con N professori: anch’esso circa gaussiano, ma con E[M]=E[T/N]=m, Var[M]=Var[T]/N^2=s^2/N.

      Ne segue che nel 95% dei casi, il punteggio medio di un ateneo di N professori cade nell’intervallo [m – 1.96 s/sqrt(N), m + 1.96 s/sqrt(N)], dove sqrt(N) indica la radice quadrata di N. È facile notare che al crescere di N, la larghezza dell’intervallo tende a zero, come un imbuto che si stringe (si vedano le linee rosse).
      Gli “scatter plot” (grafici bidimensionali con punti distribuiti) sono stati mostrati perché più comprensibili ai profani, ma anche perché sarà possibile costruire dei grafici analoghi a partire dalle classifiche della VQR.

  5. VQR= tutte cavolate.

    o posso licenziare chi non produce (allora la valutazione è Sacrosanta e serve)

    o non posso licenziare nessuno (come in Italia) e la valutazione non serve!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

    ma ci vuole tanto a capirlo?

    ps: VQR= SPENDERE SOLDI PER METTERE BENZINA IN UNA MACCHINA CHE VA A DIESEL, NON SERVE ED è DANNOSA!!!!!!!

    ma ci vuole tanto a capirlo?

    allora sono io che sono stupido!

  6. Bel post.

    .

    Ero a Leicester per l’ultimo RAE (adesso si chiama REF); il giorno in cui vennero annunciati i risultati, c’era il senato accademico, e tutti avevano facce lunghe lunghe, pareva un funerale. Tanti dipartimenti erano andati male (vero che il RAE non fa classifiche, ma gli accademici (e i giornali) le fanno eccome).

    .

    Fast forward sei mesi dopo; di nuovo senato, il giorno dell’annuncio della distribuzione finanziaria conseguente alla valutazione. Euforia generale, tutti i capi dipartimento con gran sorrisi, pacche sule spalle e feliciatazioni generali: Leicester era una delle poche universita’ ad aver avuto un aumento di fondi sostanziale.

    .

    Cos’era successo?

    .

    Le regole del RAE permettevano di scegliere che professori sottoporre alla valutazione, e Leicester aveva adottato una politica inclusiva, sottoponendo (quasi) tutti; altre universita’, invece, avevano sottoposto solo i migliori. Il finanziamento, pero’ si basava sul numero di professori sottoposti, quindi sottoporre un professore “debole” riduce si’ la media per persona, ma aumentando il numero di persone, a Leicester aveva aumentato il finanziamento complessivo.

    .

    L’onore (di essere primo o settimo) conta, nel breve periodo, per la soddisfazione personale; ma nel lungo termine, quello che conta per la salute di un ateneo sono i finanziamenti che riceve: per diventare eccellenti ci vogliono soldi, e un sistema di valutazione efficace ha senso solo se i soldi seguono la valutazione. Un meccanismo fatto bene, ad esempio, premierebbe un mega-ateneo dove tutti sono al di sopra della media nazionale, piuttosto che uno che si specializza assumendo solo superstar.

    • Grazie per il commento, utile per capire perché l’HEFCE si rifiuta di pubblicare classifiche. Lo scopo non è mettere in fila gli atenei inglesi, ma si tratta di finanziare in base ai “quality profiles”. Come ovvio, chi presenta un numero elevato di pubblicazioni valutate in fascia alta finisce per ricevere di più anche se il suo voto medio è inferiore a quello di chi presenta poche pubblicazioni ma di alto profilo. Chi nel RAE/REF presenta solo i professori migliori sta cercando di allontanarsi dalla parte stretta dell’imbuto (quella delle università che, avendo molti soggetti valutati, corrono maggiormente il rischio della “regression to mediocrity”). Però, spostarsi nella parte larga dell’imbuto, pur aiutando a massimizzare i benefici di immagine, riduce a priori il finanziamento massimo per cui si compete. In Italia, non c’è possibilità di scegliere perché tutti i soggetti sono valutabili ed, anzi, chi non presenta tutti e tre i prodotti richiesti sottopone la propria struttura ad una penalità.

  7. No, no, nooo esimi colleghi di ROARS, non mi direte che anche voi avete scoperto che la fluttuazione attorno al valore aspettato estraendo casualmente i dati dipende dalla popolazione del campione? Non va come 1/rad(N) ? Non prende il nome di errore statistico? Ragazzi queste cose le sanno i laureandi, volete non le sappiano all’ANVUR?
    Ma sono veramente impressionato da questo pezzo.

    Ovviamente nella realta’ i prof. e ricercatori non si estraggono a sorte e la distribuzione e’ manipolabile. L’imbuto sarebbe una perfetta distribuzione di partenza in un sistema del tutto asuale… pero’ pero’ pero’…. se l’ateneo volesse riassestarsi nel lato giusto dell’imbuto, basterebbe che, presentatasi una vacanza in organico, cercasse di reclutare il piu’ meritevole che certamente contribuira’ a spostare gli indici di valutazione dal lato giusto. Sara’ certo piu’ facile per un piccolo ateneo, bastera’ assestare dei buoni colpi nel reclutamento (ed ecco spiegato il successo del S. Anna e della Normale, evidentemente selettive) sara’ piu’ difficile per i grossi atenei che dovranno applicare cio’ su larga scala. Tuttavia se a quell’ateneo, a quel dipartimento, che hanno affossato la valutazione VQR venissero sottratti dei finanziamenti, non sarebbero essi incentivati a reclutare meglio?
    Capisco poi che temiate le popolazioni dei campioni. Evidentemente conoscono il problema anche in ANVUR se dividono gli atenei appunto in tre classi (grandi, medi e piccoli) e confrontano strutture e sottostrutture.
    Certo che per chi si rassegna a reclutare pescando a caso… l’imbuto sara’ il suo destino (dominato dalla probabilita’ di pescare uno studente e crescerlo come un figlio fino a farlo diventare PO) ma e’ l’unico destino possibile? Pare di no, se altrove gli atenei si scatenano in competizione tra loro per reclutare il meglio sulla piazza e produrre risultati ben valutabili.

    • Che l’imbuto derivi dalla distribuzione della media campionaria è già stato spiegato in risposta alla domanda di Salasnich: https://www.roars.it/online/lanvur-la-classifica-degli-atenei-della-vqr-e-la-legge-dellimbuto/comment-page-1/#comment-14242. Sono perfettamente d’accordo: sono cose che dovrebbero sapere i laureandi. Anche Vlad è dello stesso parere: “bastava masticare qualche basilare nozione di statistica per capire che il punteggio medio era del tutto inadatto a stilare classifiche”. Il senso della discussione messa in bocca a Vlad è semplice: se si usa il punteggio medio, le leggi statistiche rendono meno probabile il primato di strutture grosse. Naturalmente, è corretto ragionare “a parità di condizioni”. Se la struttura grossa migliora, devo immaginare che migliorino anche le strutture piccole ed il paradosso dell’imbuto si ripete tale e quale. Facendo riferimento alla notazione usata nella risposta a Salasnich, migliorare i reclutamento vuol dire incrementare m: è facile vedere che l’imbuto si sposta verso l’alto, ma non cambia la sua forma.
      Gianni De Fraja nel suo commento (https://www.roars.it/online/lanvur-la-classifica-degli-atenei-della-vqr-e-la-legge-dellimbuto/comment-page-1/#comment-14237) ha afferrato benissimo l’assurdità del feticismo per le classifiche mostrando che l’università di Leicester ha massimizzato i finanziamenti proprio evitando di farsi irretire dal fascino del punteggio medio.
      ============
      “Evidentemente conoscono il problema anche in ANVUR se dividono gli atenei appunto in tre classi (grandi, medi e piccoli) e confrontano strutture e sottostrutture.”
      _______________________
      Nell’articolo c’è già la risposta:
      “Uno dei presenti obiettò che si poteva rimediare dividendo gli atenei in classi dimensionali (piccoli, medi e grandi) in modo da elaborare tre classifiche. Vlad ebbe gioco facile a mostrare che si trattava solo di un palliativo. All’interno della stessa classe dimensionale, il problema dell’imbuto si riproponeva tale e quale, rendendo più difficile la vittoria agli atenei più grandi. Ancora peggio, se un ateneo si trovava a cavallo tra due classi dimensionali: una manciata di professori in più o in meno poteva precipitarlo dal paradiso dell’alta classifica all’inferno dei fanalini di coda. Per un ateneo medio-grande, competere con i mega-atenei era un colpo di fortuna mentre vedersela con quelli medio piccoli diventava una iattura.”
      Che senso hanno delle classifiche che possono cambiare, anche significativamente, solo spostando le linee di demarcazione (inevitabilmente arbitrare) che definiscono i confini tra atenei grandi, medi e piccoli? Il prof G. Capano ha afferrato bene la natura del problema:
      _________________________________
      “L’ANVUR ha pubblicato l’esito della valutazione della ricerca. Un enorme sforzo il cui esito farádiscutere per mesi e che risulterá inutile per il miglioramento del sistema. Un’operazione metodologicamente discutibile da cui risulta che le piccole dimensioni sono prerequisito di eccellenza. Come ha scrito De Nicolao su ROARS.it trattasi della legge dell’imbuto. E così le capitali delle scienze sociali non sono più Milano, Firenze Torino Bologna ma Pisa napoli Orientale Verona. Davvero divertente”

    • Fermo restando che può essere discutibile la valutazione fatta dei singoli prodotti, va detto che formalmente l’eccellenza di un settore potrebbe risultare nei fatti inferiore alla media di un altro settore. Infatti le classifiche sono fatte sulla base del rapporto fra la valutazione avuta e la valutazione media dell’area. Voglio sperare che l’ANVUR non abbia voglia di segare la metà bassa dei settori di avanguardia.

    • Se la logica fosse quella delle mediane, gli atenei che stanno sotto la media non dovrebbero essere finanziati. Tuttavia, i “leaks” del 2012 (https://www.roars.it/online/vqr-gli-errori-della-formula-ammazza-atenei-dellanvur/) indicavano che la frazione di finanziamento attribuita ad un ateneo sarebbe stata pari rapporto tra punteggio totale dell’ateneo e punteggio totale nazionale (ragionando area per area). Un punto molto critico è capire come verrà ripartita la quota premiale tra le aree. La VQR non sembra consentire l’attribuzione di giudizi assoluti, ma solo interni alle aree, se non agli SSD. Come fare a ripartire i soldi tra le 14 aree?

    • La formula per la ripartizione potrebbe essere una sorpresa. Facciamo un esempio, per il S.Anna erano attesi circa 200 prodotti mentre per La Sapienza un po’ meno di 11.000. Supponiamo che le aree siano omogenee (cosa non vera), un punteggio 1.3 del S.Anna quanto porterebbe in confronto ad un 1. di La Sapienza?

    • Non ha senso usare l’indicatore R per ripartire. Useranno gli indicatori cumulativi, nel qual caso S. Anna non supera di sicuro La Sapienza.

    • OK, quindi dentro ogni area si guarda alla somma n_E+0.8*n_B+0.5*n_A. Diventa quindi importante la ripartizione fra le aree che, molto probabilmente, sarà fatta sulla numerosità altrimenti scoppia la guerra civile.

  8. L’articolo è bello e divertente nello stile e naturalmente fondato nell’impostazione. Io sono al Sannio, classificata prima fra le medie nella 09 e quindi capirete che abbia voglia di trovare qualche ragione per cui la VQR possa avere qualche validità.

    In effetti, c’è un assunto non vero ala base della legge dell’imbuto ed è quello che la pesca dei docenti sia assolutamente casuale. In realtà, esistono ancora le baronie nell’università. Perciò la scelta dei docenti non è casuale ma in larga parte ancora baronale. E qui il vecchio sistema baronale mostra i suoi vantaggi. Un barone scientificamente bravo fa da polo di attrazione in un sistema in cui lo stipendio non conta (è uguale per tutti) ma conta l’aspettativa di carriera. Questo può spiegare come il posto in cui un ateneo si trova nell’imbuto può non essere casuale.
    Paradosso per paradosso…

    • Bingo Gaetano, pian piano ci si arriva… l’applicazione della distribuzione della media campionaria parte da un assunto (in questo caso falso) che la popolazione del campione sia random. Ci sono concorsi e commissioni che reclutano nei concorsi “selezionanzo” (quindi non random). Una volta assunti ci sono bandi per i grants che selezionano i progetti ed analogamente per i fondi di ateneo ci sono consigli di Dipartimento che assegnano a questo o a quello.
      Una unica cosa dell’esempio va salvata… i gli atenei piccoli, con poca popolazione in una determinata area, sono piu’ soggetti alle fluttuazioni statistiche e questo fa si che se ssi hanno 5 strutturati nell’aera X e si sbaglia a reclutarne due (si reclutano due pecore) oppure due di essi tirano i remi in barca, allora e’ facile precipitare dall’olimpo al baratro e viceversa. Un grosso ateneo con 25 strutturati nell’area x ammortizza meglio due nullafacenti e nel male (come nel bene) rimane stabile nei confronti di singole eccellenze o singole deficenze

  9. Mi sembra che la legge dell’imbuto sia confermata dai dati empirici: piu’ si e’ piccoli piu’ alto e’ il punteggio.

    Pero’ tra le mega la mia univ. e’ quella che ha peso piu’ primi posti di tutte, tra cui quello della mia area (che coincide con il mio dipartimento).

    • Esattamente. Nell’ipotesi che la differenza tra gli atenei dipenda solo dal campionamento, si dimostra che gli atenei grandi hanno minore probabilità di collocarsi agli estremi, mentre quelli piccoli si disperdono in un intervallo più ampio. Difficile azzeccare l’en-plein o il cappotto se il gruppo è molto numeroso, mentre un piccolo gruppo di ricercatori può salire in alto se tutti pubblicano in riviste di fascia A (e dato che sono pochi è meno difficile che ciò possa capitare) oppure essere tirato a fondo da un numero nemmeno troppo grande di improduttivi (e dato che sono pochi bastano pochi improduttivi per colare a picco).
      Qualcuno potrà osservare che è tutto da dimostrare che i dati VQR rispondano ad un modello di pura casualità. Tuttavia, il modello teorico di Vlad fa capire che nel ranking di un sottoinsieme di atenei di qualità statisticamente equivalente (vuoi in fascia alta o bassa) quelli più grandi hanno più difficoltà a primeggiare (ed anche ad arrivare in fondo), mentre i piccoli sono più esposti alla volatilità statistica. Insomma, anche senza ipotizzare la pura casualità, le classifiche risentono di una distorsione dovuta alla diversa dimensionalità.
      Va anche detto che tutta questa analisi, stiamo trascurando i problemi che affliggono i punteggi (bibliometrici o meno) della VQR su cui abbiamo scritto abbondantemente su ROARSs. L’HEFCE inglese, per esempio, dopo uno studio pilota ha deciso che “Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF”. A questo va aggiunto che l’ANVUR ha fatto ricorso ad una inedita bibliometria fai-da-te introducendo in alcuni casi grossolane distorsioni persino entro la stessa area disciplinare (https://www.roars.it/online/vqr-tutte-le-valutazioni-sono-uguali-ma-alcune-sono-piu-uguali-delle-altre/). Nei settori non bibliometrici è da capire il ruolo avuto dalle classifiche delle riviste (uno strumento rigettato dall’HEFCE e abbandonato dagli australiani) ed anche dai possibili network interni ai GEV (ricordiamo il network del GEV 13 che ha finito per colorarsi persino di caratterizzazioni partitiche: vedi slide #18 di https://www.roars.it/online/i-love-anvur-sette-buone-ragioni-per-amare-lanvur/).
      Il senso di questo post è che, persino ipotizzando un sistema di misurazione ideale della qualità dei prodotti della ricerca (e quello della VQR è lontano dall’essere ideale), le classifiche sono influenzate dalle diverse taglie dimensionali degli atenei. Non è un caso che le agenzie nazionali di valutazione un po’ meno amatoriali della nostra si rifiutino categoricamente di stilare classifiche (“We have not produced any ranked lists of single scores for institutions or UoAs [Units of Assessment], and nor do we intend to”). Numeri e classifiche dai piedi d’argilla rendono particolarmente caricaturale l’accanimento dei dispensatori di pagelle la cui ingenuità metodologica denota una mediocrità scientifico-tecnica che contraddice i proclami meritocratici di cui si fanno portatori.

    • E come si giustifica che una ben precisa universita’ grande e’ arrivata prima in 7 su 14, ed inoltre che nessuna altra grande univ. ha preso piu’ di una prima posizione (a parte questa bene precisa univ.)?

  10. Il “problema” della “legge dell’imbuto” e’ ben noto (o dovrebbe esserlo) ma nonostante questo ha fatto altre vittime illustri, e danni non meno gravi. Si veda per esempio questo articolo del 2007 di Wainer “The Most Dangerous Equation”

    (disponibile qui:

    http://nsmn1.uh.edu/dgraur/niv/TheMostDangerousEquation.pdf

    oppure qui:

    http://press.princeton.edu/chapters/s8863.pdf
    ).

    Ora, non so se questo marca un punto a favore dell’ANVUR in virtu’ del principio “mal comunue mezzo gaudio”, oppure peggiora ulteriormente la loro posizione perche’ il “problema” e’ ben noto da alcuni decenni.

    A mio modestissimo parere, se l’obiettivo e’ quello di usare un certo indicatore medio X per fare un ranking tra campioni di dimensione diversa (= universita’ con diverso numero di ricercatori), sarebbe molto semplice derivare da X un indicatore Y “corretto” per la dimensione del campione, senza ricorrere a nessuna suddivisione in classi (che, come notato da Nicolao, introduce altri problemi forse ancora piu’ gravi dovuti alla discontinuita’ della classificazione).

    Ma il problema vero e’ che il “problema dell’imbuto” non e’ “il” problema, ma “un” problema tra tanti (e forse nemmeno il piu’ importante) di tutta la procedura, come evidenziato da ROARS in altri post …

  11. […] La pubblicità avrebbe aiutato sia a tener sotto controllo il conflitto d’interessi, sia a stemperare’ l’autoritarismo dell’intera procedura.  Ma si è preferito fare in modo che la valutazione della ricerca scientifica non sia per nulla scientifica, neppure quando, come nel mio caso, i ricercatori temono molto più le segrete dell’Anvur che l’uso pubblico della ragione. Compulsiamo dunque le nostre graduatorie, e godiamoci l’imbuto. […]

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.