È opinione comune che l’era della valutazione della ricerca abbia inizio nel 1986, quando sotto il governo della Thatcher venne varata la prima edizione del RAE (Research Assessment Exercise). Tuttavia, la verità storica potrebbe essere ben diversa. Da poco, sono stati resi accessibili gli archivi pre-1989 della polizia segreta della Ruritania, che allora si chiamava Repubblica Democratica Popolare Ruritana ed era nella sfera di influenza dell’Unione Sovietica. La consultazione di questi archivi ha permesso di rispolverare un episodio poco noto della storia dell’università ruritana che non mancherà di destare qualche scalpore e costringerà senz’altro a rivedere la storia della valutazione della ricerca, ritenuta fino ad oggi un parto della cultura manageriale anglosassone.

Si tratta di una vicenda ricca di colpi di scena e non priva  di risvolti dolorosi per i ricercatori accademici le cui carriere e i cui destini furono sconvolti in modo così crudele. Oggi sono in gran parte scomparsi ed è giunto il momento di dare spazio alla riflessione storica e scientifica, lasciando da parte le accuse e le recriminazioni che spesso inquinano l’analisi degli eventi troppo recenti.

Una rara foto del plenum del Partito Comunista Ruritano a cavallo degli anni ’60 del secolo scorso

1. Il plenum del PCR (Partito Comunista Ruritano)  decreta la nascita dell’ANVUR

Tutto iniziò nel lontano 1960, in piena guerra fredda, nel corso di un plenum del comitato  centrale del Partito Comunista Ruritano. Il punto all’ordine del giorno era uno solo: il risanamento del sistema universitario. Le imprese spaziali di Gagarin avevano dato dimostrazione tangibile dell’eccellenza mondiale della scienza dell’alleato sovietico che con i suoi successi non solo dimostrava la superiorità del socialismo reale ma costituiva un esempio da emulare, seppure con risorse più limitate. In Ruritania, da tempo gli economisti ortodossi del partito denunciavano la decadenza dell’università ruritana attraverso sferzanti editoriali sulle prime pagine del Ruritanski Rude Pravo (“Legge Rossa Ruritana”). Nel corso del summit, venne presa una decisione storica: furono poste le basi della legge istitutiva dell’ANVUR, l’Agenzia per la Valutazione del sistema Universitario Ruritano. Tra i compiti attribuiti all’ANVUR vi era quello di mettere a punto un censimento della qualità scientifica della ricerca prodotta da tutte le università ruritane. Si trattava della VQR, la Valutazione della Qualità Ruritana, quello che con la terminologia attuale risulterebbe essere il primo “research assessment”  della storia, diversi decenni in anticipo rispetto al RAE inglese.

 

La monumentale sede del KINEKA, l’archivio universitario centrale della Ruritania

 

L’impresa era titanica, ma il timore di un inarrestabile declino e la volontà di non perdere il passo rispetto all’ingombrante alleato sovietico resero possibile il reperimento delle risorse, anche a costo di sacrificare i finanziamenti della ricerca. Ai docenti universitari, accusati di essere scarsamente produttivi ed anche poco ligi all’ortodossia marxista-leninista, venne trattenuta una quota dello  stipendio per pagare le strutture, gli stipendi e le spese dell’ANVUR.

La selezione del direttivo ANVUR fu ufficialmente condotta in base a criteri di eccellenza scientifica. Oltreoceano, Eugene Garfield stava ponendo le basi dell’ISI, l’Institute for Scientific Information che per anni avrebbe raccolto in forma cartacea le citazioni incrociate che gli articoli scientifici  facevano gli uni degli altri. Non è dato sapere se per qualche via traversa l’idea avesse superato la cortina di ferro. Comunque sia, in Ruritania il  moloch burocratico del KINEKA, l’archivio universitario centrale che occupava un enorme palazzo nella capitale Zenda, si attivò per contare le citazioni ricevute da tutti gli accademici ruritani. Si trattò di un’impresa che mobilitò migliaia di studenti che su base volontaria trascorsero le vacanze estive del 1961 compulsando i volumi della BNR, la Biblioteca Nazionale Ruritana.

Gli errori e le omissioni erano tutt’altro che rari. I capi bibliotecari temevano soprattutto i cosiddetti “mancati agganci”, ovvero quando la scheda di un docente rimandava ad una pubblicazione  fornendo segnature inesistenti oppure corrispondenti a scaffali desolatamente vuoti a causa di furti o di ricollocazioni errate. Nonostante tutto ciò, venne formata una rosa di 15 scienziati, eccellenti  nelle rispettive materie, entro cui il ministro della scienza e della cultura selezionò quelli che, a mezza voce, erano ironicamente soprannominati “The magnificent seven” (evidentemente, nonostante i divieti del regime nei confronti del cinema hollywoodiano, l’eco del film di Sturges era giunto fino in Ruritania).

 

Il presidente dell’ANVUR, Stefan Fantonov, premia le studentesse e gli studenti che hanno trascorso l’estate 1961 lavorando negli archivi del KINEKA per  ripristinare gli “agganci bibliometrici”.

 

2. Una VQR lacrime e sangue?

I membri del direttivo ANVUR si mostrarono da subito ben determinati a valutare con severità. Nella sonnacchiosa accademia ruritana, destò sensazione la dichiarazione di Sergej Benedikt, il coordinatore della VQR, che prometteva lacrime e sangue:

Tutte le università dovranno ripartire da zero. E quando la valutazione sarà conclusa qualche sede dovrà essere chiusa.

In mancanza di qualsiasi precedente nazionale ed internazionale, il direttivo ANVUR fu costretto ad improvvisare delle metodologie per la valutazione della ricerca. È interessante notare come venissero anticipate alcune caratteristiche del RAE inglese. Ad ogni docente venne richiesto di spedire al KINEKA la copia cartacea dei suoi tre migliori lavori pubblicati negli anni 1954-1960. Per le scienze dure, il KINEKA raccolse le citazioni dei lavori sottoposti a valutazione e, incrociandole con il Dopad Faktor (un rudimentale ma ingegnoso antesignano dell’Impact Factor), vennero usate per classificare i lavori in quattro categorie di qualità:

  • eccellente (1 punto)
  • buona (0,8 punti)
  • accettabile (0,5 punti)
  • limitata (0 punti).

Per ogni pubblicazione mancante oltre a sottrarre 0,5 punti alla struttura di appartenenza, veniva aperto un fascicolo intestato al professore neghittoso che, oltre a veder decurtato il suo stipendio, veniva messo sotto osservazione dagli informatori della temuta polizia segreta. Dopo qualche dibattito, era stato deciso che le pubblicazioni nel campo delle scienze umane e sociali sarebbero state valutate da revisori scelti da appositi comitati di esperti. È lecito sospettare che oltre all’obiettiva difficoltà di usare le citazioni in campo umanistico e all’impossibilità di  classificare le monografie senza leggerle, avesse avuto un peso il desiderio di verificare l’ortodossia marxista-leninista degli accademici, affidando la valutazione dei loro lavori a revisori di provata fedeltà al partito.

3. “Regression to mediocrity”

Finalmente arrivò il gran giorno: il 16 luglio 1963, furono resi pubblici i risultati della VQR. Si trattava di 14 libroni, migliaia di pagine che disegnavano un quadro completo della ricerca ruritana, assegnando a ciascun ateneo non solo 14 punteggi, uno per ciascuna delle aree disciplinari, ma anche punteggi specifici per ciascuno dei settori scientifico-disciplinari. Il punteggio assegnato agli atenei non era altro che il punteggio medio delle pubblicazioni valutate. Se tutti i professori di un’area disciplinare avessero presentato lavori “eccellenti” avrebbero fatto l’en plein ed il punteggio sarebbe stato pari ad uno. In molte aree punteggio medio degli atenei si aggirava intorno allo 0,5, con pochi atenei che superavano lo 0,9.

Tra i rettori delle università l’attesa per gli esiti era spasmodica: a seguito della campagna condotta dagli economisti del regime contro il declino dell’università, il timore di diventare facili capri espiatori era più che legittimo. Nonostante la Ruritania, da paese comunista qual era, perseguisse l’egualitarismo anche nel campo dell’istruzione, non ci si poteva aspettare una perfetta omogeneità dei punteggi degli atenei. L’idea del partito era di premiare i rettori degli atenei che si fossero collocati nella fascia più alta e di sostituire gli altri. Non appena furono resi pubblici gli esiti, si scoprì che quasi nessuno dei mega-atenei della capitale e delle città principali raggiungeva le posizioni di testa.

Se si costruiva un grafico mettendo sull’asse x le dimensioni degli atenei (per es. contando il numero di soggetti valutati) e sulla y i punteggi medi conseguiti dagli atenei stessi, si ottenevano delle nuvole di punti che assumevano una caratteristica forma ad imbuto orizzontale. I punteggi più alti e più bassi erano riservati ai piccoli atenei di provincia mentre i mega atenei si addensavano nella zona centrale e, tranne rari casi, non si sottraevano ad un giudizio mediocre.

La polemica divampò quasi subito, innescata dal decano degli economisti di regime che sul Ruritanski Rude Pravo scrisse un durissimo editoriale intitolato “Regressione alla mediocrità” (citando la famosa espressione di F. Galton). Il succo era semplice: non era possibile che quasi nessuno dei mega atenei raggiungesse la vetta delle classifiche nelle 14 aree disciplinari. La loro regressione alla mediocrità era la dimostrazione del dilagare dei favoritismi e del nepotismo, reso possibile da una dirigenza priva di polso e imborghesita dalle mollezze della vita cittadina. Viceversa, i piccoli atenei di provincia che primeggiavano dimostravano che i valori genuini del popolo rivoluzionario potevano mantenersi intatti solo a contatto con la sana vita rurale. L’editoriale si chiudeva con richieste severissime:

  • destituzione di tutti i rettori dei mega-atenei
  • abolizione di ogni forma di autogoverno degli atenei
  • controllo finanziario diretto da parte del ministero delle finanze sotto l’occhio vigile dell’ANVUR
  • chiusura e/o accorpamento dei piccoli atenei il cui punteggio era sotto la mediana

Il destino dei rettori dei mega-atenei fu particolarmente umiliante. Temuti e riveriti fino al giorno prima, si trovarono disprezzati e additati come nemici del popolo. Con una forma di crudele contrappasso vennero inviati nelle scuole rurali perché insegnassero a leggere e scrivere ai contadini, presso i quali dilagava la piaga dell’analfabetismo.

Anno 1965: dopo la sua destituzione, l’ex rettore dell’Università Statale di Zenda legge il giornale ai contadini di una scuola rurale.

4. L’ANVUR è nudo: la legge dell’imbuto

Passarono alcuni anni. La VQR era passata come un turbine decretando la morte accademica e civile di alcuni illustri rettori come pure la chiusura di atenei e dipartimenti. I settori di ricerca più poveri di citazioni erano stati abbandonati come pure le riviste che non avevano il bollino di eccellenza nelle classifiche ANVUR. La prima cosa che imparavano i giovani ricercatori era la necessità di intrufolarsi in un network di colleghi disposti a citarsi a vicenda. L’ANVUR era più potente e temuta che mai e premeva per lo svolgimento di una nuova VQR il cui arrivo turbava i sonni di buona parte dei vertici accademici.

Correva l’anno 1967 e nel corso dell’annuale convegno sulla valutazione della ricerca i presenti ascoltavano distratti la sfilza di relazioni ricche di numeri, ma prive di concetti che non si riducessero all’esaltazione delle sorti “magnifiche e progressive” della ricerca ruritana in seguito all’avvento dell’ANVUR. Alle 17:45 salì sul palco, Vlad, un giovane dottorando dell’università di Strelsau, grazioso capoluogo di una regione rurale, il quale cominciò ad esporre il suo contributo dal titolo bizzarro:

La “legge dell’imbuto”: perché i mega-atenei non possono vincere nella VQR

Era la prima volta che Vlad parlava in una conferenza e si sentiva intimidito dalla sala dell’Accademia delle Scienze dove, alle sue spalle, incombeva un busto di Lenin. Nonostante la bocca impastata, riuscì  a pronunciare le prime frasi e l’impaccio lasciò il posto ad un’esposizione sempre più fluente che, passo dopo passo, demoliva inesorabilmente i luoghi comuni che quattro anni prima avevano dominato l’interpretazione degli esiti della VQR. Nella prima fila, alcuni alti funzionari di partito, quasi assopiti sulla poltrona, dapprima si riebbero, un po’ perplessi, per poi protendersi in avanti con i gomiti appoggiati sulle ginocchia per non perdersi una parola della presentazione. Nella sala, il brusio di fondo, tipico di un convegno che volge stancamente al termine, fece posto ad  un silenzio teso, quasi sospeso.

Senza rinunciare al rigore tecnico, Vlad riusciva a farsi capire anche dai funzionari di partito, il cui compito era quello di vigilare sull’ortodossia ideologica degli interventi. L’oggetto della sua memoria era lo studio delle conseguenze di un’ipotesi. Immaginiamo che, statisticamente parlando, non ci sia alcuna differenza tra gli atenei ruritani in termini di qualità della docenza: come sarebbe fatta la classifica della VQR? Cosa verrebbe fuori al posto del famigerato imbuto che era costato il posto a diversi rettori? Per riprodurre questa situazione di assoluta parità, Vlad immaginava di partire da un plotone di docenti, più o meno bravi, e di formare l’organico degli atenei pescando a caso da questo plotone. Un ateneo piccolo avrebbe pescato pochi docenti, mente un mega-ateneo ne avrebbe pescati molti di più, ma l’esito finale sarebbe stato comunque del tutto casuale. Si assumeva che i docenti più bravi avrebbero ottenuto punteggi migliori nella VQR. Dato che il bacino dell’estrazione era lo stesso per tutti, le differenze di punteggio medio sarebbero state esclusivamente dovute alla casualità del campionamento. Un ateneo sarebbe stato migliore di un altro solo perché era stato più fortunato nel pescare. Vlad formulò la sua domanda:

Se sulla x mettiamo le dimensioni degli atenei e sulla y i loro punteggi, che forma avrà la nuvola dei punti che li rappresentano?

La sala trattenne il fiato, per poi rilassarsi quando Vlad appoggiò sul proiettore una trasparenza che mostrava una nuvola sparpagliata sul piano in cui primeggiava un grande ateneo.

Era il risultato che tutti si aspettavano. Che un ateneo fosse grande o piccolo, aveva sempre la stessa probabilità di eccellere o di essere maglia nera. Ma qui Vlad si giocò il suo coup de théâtre:

No, non è questo il risultato. Le cose vanno diversamente.

Un brusio salì dalla sala, mentre Vlad esasperò l’attesa dilungandosi sul modo con cui aveva ricostruito la vera forma della nuvola dei punti. Bisognava simulare la selezione casuale dei docenti. All’epoca non esistevano i personal computer e Vlad aveva fatto ricorso ad un metodo ingegnoso, anche se laborioso. Aveva preso l’elenco del telefono ed aveva estratto la successione delle cifre finali dei numeri telefonici per simulare l’estrazione di numeri puramente casuali. Dato che aveva ripetuto la faticosa operazione ben otto volte, era come se avesse simulato otto VQR effettuate su otto diversi sistemi universitari estratti a caso. Dopo un’ultima pausa, Vlad appoggiò sul proiettore la sua trasparenza:

ecco, in questa figura vi mostro la simulazione di otto diverse VQR, tutte condotte su sistemi universitari in cui le differenze tra la qualità dei diversi atenei sono frutto di pura casualità

Non tutti capirono al volo, ma i più attenti si resero subito conto delle conseguenze. Tutti i grafici presentavano la caratteristica forma ad imbuto della VQR 1954-1960. Era la dimostrazione che la regressione alla mediocrità non dipendeva dai rettori incapaci o da professori nepotisti e fannulloni. Se si usava il punteggio medio per costruire le classifiche, al crescere della dimensione dell’ateneo il punteggio medio tendeva inesorabilmente al punteggio medio della popolazione di docenti da cui si estraeva a caso. Era il modo stesso in cui era costruita la classifica che impediva ai mega-atenei di arrivare primi. La retorica del “piccolo è bello” e la cacciata dei rettori erano frutto di ignoranza statistica. Vlad concluse che bastava masticare qualche basilare nozione di statistica per capire che il punteggio medio era del tutto inadatto a stilare classifiche.

Uno dei presenti obiettò che si poteva rimediare dividendo gli atenei in classi dimensionali (piccoli, medi e grandi) in modo da elaborare tre classifiche. Vlad ebbe gioco facile a mostrare che si trattava solo di un palliativo. All’interno della stessa classe dimensionale, il problema dell’imbuto si riproponeva tale e quale, rendendo più difficile la vittoria agli atenei più grandi. Ancora peggio, se un ateneo si trovava a cavallo tra due classi dimensionali: una manciata di professori in più o in meno poteva precipitarlo dal paradiso dell’alta classifica all’inferno dei fanalini di coda. Per un ateneo medio-grande, competere con i mega-atenei era un colpo di fortuna mentre vedersela con quelli medio piccoli diventava una iattura. Era questo il senso ultimo della legge dell’imbuto.

5. Epilogo

La presentazione di Vlad risvegliò l’accademia ruritana. Si scoprì che la “legge dell’imbuto” era già stata notata da tempo da diversi statistici. Però, chi apparteneva ad un ateneo premiato dalla VQR aveva taciuto per opportunismo, mentre chi apparteneva ad atenei penalizzati non aveva osato sollevare obiezioni per non essere accusato di essere nemico della valutazione.

Comunque sia, l’episodio segnò la fine del dispotismo poco illuminato dell’ANVUR, il cui strapotere era ormai mal tollerato. Tra i rettori destituiti, quelli che non avevano raggiunto l’età della pensione vennero reintegrati nel ruolo di professori, ma continuarono ad essere guardati con un misto di sospetto e commiserazione dai colleghi, perché, pavidi com’erano, non avevano saputo difendere i propri atenei dal fanatismo di politici e valutatori ottusi. Il consiglio direttivo dell’ANVUR fu sciolto prima che potesse metter mano alla nuova VQR.

Vlad sperimentò sulla propria pelle l’ostracismo dei colleghi del suo piccolo ateneo di provincia che non gli perdonarono di aver sgretolato i fondamenti di quella classifica che li aveva collocati ai primi posti della Ruritania, attirando sia studenti che finanziamenti statali. Nel 1969, in seguito all’invasione della Cecoslovacchia da parte dell’URSS, Vlad fuggì in occidente e se ne persero le tracce. C’è chi dice che abbia cambiato nome per sfuggire alla caccia dei servizi segreti ruritani e che, dopo parecchi anni, sia divenuto una delle menti ispiratrici del RAE inglese. A proposito di classifiche, sul sito del RAE si può leggere:

We have not produced any ranked lists of single scores for institutions or UoAs [Units of Assessment], and nor do we intend to.

RAE – Frequently asked questions

Print Friendly, PDF & Email

88 Commenti

  1. dice Continillo “In effetti, c’è un assunto non vero ala base della legge dell’imbuto ed è quello che la pesca dei docenti sia assolutamente casuale.”

    O forse quello che indirettamente dimostrano i risultati VQR è che la distribuzione dei docenti, dal punto di vista della qualità come misurata dai criteri anvur, è effettivamente vicina ad essere casuale.

    Questo si può spiegare con il fatto che i criteri di scelta dei docenti hanno raramente avuto a che fare con la qualità. Quindi, quando sommiamo scelte fatte per mille motivi diversi, spesso legati solo alle scelte di potere locali, otteniamo una casualità qualitativa di fatto. Alla fin fine, per fare un esempio, sembra suggerire che “La Sapienza” non attrae i migliori, come spesso dice la vulgata, ma attrae:
    – persone potenti ma non necessariamente brave
    – persone brave ma nella fase declinante della loro carriera
    mentre magari i giovani brillanti di scuola “La Sapienza” se ne vanno a “farsi le ossa” a Cassino, o al Sannio, o a Chieti-Pescara che, se imbroccano bene un paio di queste scelte finiscono in cima alla classifica.

    Tutto questo per dire che un output a imbuto non è che non dica nulla. Dice che la distribuzione dei docenti è scorrelata alla loro qualità (sempre in senso anvur) scientifica. Non è un’informazione di poco conto, a me pare.

  2. Da un articolo su Repubblica Napoli,

    http://napoli.repubblica.it/cronaca/2013/07/18/news/marrelli_sull_universit_240_carriere_da_bloccare-63229458/

    cito virgolettando il Rettore della Federico II, Marrelli:

    “Giornalista: Dunque un declino inarrestabile?”

    “Rettore: Questo mai. Ma provvedimenti seri sì, contro chi ci mortifica: se un’area è debole, non chiameremo idonei interni. Significa, ad esempio, che se c’è un idoneo a diventare ordinario non lo diventerà.”

    Geniale! Se sei bravo circondato da scarsi allora tu comunque non sarai promosso. Quindi delle due l’una, o sei “molto bravo” e te ne vai dall’ateneo, oppure sei “solo bravo”, ma allora perdi motivazione, e tanto per tanto meglio godersi la vita, tanto ordinario/associato non lo diventerai mai.
    In ogni caso la Federico II ci perde.
    Ma questi dov’è che studiano per fare i rettori?
    Mi sarei aspettato una analisi dei motivi per cui ci sono tanti fannulloni. Certo nepotismo e clientelismo, ma anche età media alta, mancanza di supporto amministrativo che impone a tutti i dipartimenti di “sacrificare” un paio di docenti su compiti burocratici immani (pensate all’AVA per esempio), cosa che si nota in particolare nelle discipline in cui si pubblica individualmente o in gruppi piccoli.
    E la definizione di una politica universitaria che non sia volta solamente al prossimo “campionato”. Fra l’altro senza decidere che dato che la squadra prende molti goals, e ha una difesa scarsa, per punizione prendiamo solo attaccanti.

    • cioè, se un’area è ‘debole’, non la rafforzi se hai uno bravo da chiamare ?!?! Così la indebolisci ancor di più? Per punire chi? Roba da matti.

  3. Vorrei fornire un elemento informativo per migliorare l’Epilogo della Storia testé raccontataci da Giuseppe De Nicolao.
    Vlad effettivamente fuggì in Occidente, ma non è vero che divenne una delle menti ispiratrici del RAE inglese: infatti si fermò solo per poco tempo in Gran Bretagna e, come una buona parte dei migliori scienziati dell’Est, se ne andò negli Stati Uniti.
    In UK, del resto, non vi furono mai grandi disquisizioni teoriche e pratiche sull'”effetto imbuto” – anzi per un certo periodo i Funzionari del Quasi-Ministero della Qualità della Ricerca di quel Paese, pare ispirati da una donna politica che, pur laureata in una materia scientifica, non conosceva la Teoria degli Insiemi (andava dicendo a tutti che esistono solo gli elementi di un insieme, ma non l’insieme), s’erano messi a classificare le Aree Scientifiche di ciascuna Università come gli Alberghi: questa qua a Due Stelle, quella là a Cinque Stelle, e così via.
    Con le proteste del Personale Accademico, che mal sopportava un simile appiattimento della varietà delle proprie Camere di Ricerca su una categoria unica, affibbiato dal Quasi-Ministero a ciascuna Area della sede e propagandato su tutte le Guide Turistiche del Regno, seguirono riforme della classificazione atte a mostrare al mondo l’effettiva consistenza delle diverse Camere, di vario pregio e finitura, all’interno dell’Area, per ogni sede.
    Gli imbuti, insomma, non furono motivo scatenante di polemiche, ed anzi ancor oggi il Quasi-Ministero fissa i prezzi di ciascuna categoria di Camera per tutto il territorio nazionale, indipendentemente dal fatto che l’Albergo dell’Area in questione sia grande o piccolo.

    • Grazie dell’ulteriore informazione. In effetti, Vlad non avrebbe digerito le stelle Michelin. Può darsi che i suoi suggerimenti siano stati stravolti da Margherita e questo abbia contribuito a farlo emigrare negli USA oppure che le voci sul suo ruolo nel RAE fossero semplicemente infondate. Una curiosità: lo Chef del miglior ristorante di cucina ruritana di Londra (stella Michelin!) si fa chiamare Vlad dagli amici. La specialità del locale sono le frittelle con l’imbuto … :-)

  4. Tanto all’interno quanto all’esterno l’antico ordinamento universitario è divenuto fittizio. Ma è rimasto, e anzi si è accentuato, un motivo caratteristico della carriera universitaria: che un […] libero docente, divenuto ormai un assistente, riesca finalmente a insediarsi nella posizione di ordinario o di direttore d’istituto è un mero caso.

    Non è una profezia sulla VQR. Lo diceva Max Weber nel 1919 – a proposito dell’università tedesca.

  5. Se io fossi Vlad e se Vlad fosse nominato a capo della commissione per allocare i fondi, nota la distribuzione casuale determinata dalla legge dell’imbuto, calcolerei quale delle università si discosta significativamente da questa distruzione. Per queste università il loro punteggio non potrebbe essere attribuito al caso. Solo a queste università sarebbe quindi giusto distribuire incentivi o disincentivi.

    • La legge dell’imbuto per la mia universita’ non sembre funzionare.

      Si veda qui:

      http://materia.fisica.unipd.it/salasnich/pp.jpg

      dove ci sono i punteggi medi relativi alle varie aree della mia universita’, comprese le sottoaree 8a, 8b, 11a, 11b.

      Sull’asse delle ascisse c’e’ il numero di soggetti valutati, intesi come numero di prodotti attesi diviso 3.

      Lo scatterplot mostra una tendenza ad imbuto ma verso il valore 0.7 !!! E non 0.5.
      Inoltre sotto 0.5 c’e’ un solo punto.

      Posso credere che nel limite di soggetti valutati che tende ad infinito la legge ad imbuto possa essere sensata, e tendere a 0.5.

      Ma con un numero finito di soggetti, e per la mia universita’, le cose sembrano diverse.

      Consiglio di DIFFIDARE degli “esperti di statistica ed analisi dati”.

    • Come osservato correttamente da Pastern, il valore medio non è uguale per tutti. Si notano differenze significative tra le 16 aree CUN (sono 16 e non 14 perché area 8 e 11 sono sdoppiate in biblio e non-biblio). Ogni imbuto è costruito a partire da una sua media e una sua varianza. In ogni caso concordo con l’invito a diffidare: è la base di ogni sano approccio scientifico.

    • Il valore del limite a .5 nella simulazione credo sia determinato dal fatto che il generatore random è stato impostato come una normale con SD = k e media = .5. Guardando proprio il diagramma di Padova sembra invece che “l’imbuto” ci sia… al crescere della dimensione si tende ad un valore centrale che in questo caso è .7. Sotto ho plottato il grafico per l’area 01 dove si nota la stessa cosa. Diffidare da chi diffida? ;)

    • Scusami Luca, ma se il voto medio della fisica è 0.78 cosa potevi aspettarti?
      Io metterei in ordinate il valore R, cioè il rapporto fra il voro avuto e quello medio di area. L’asse dell’imbuto sarebbe per tutti 1. Ci sarebbe però da discutere sui voti medi di area.

    • Volevo usare R, ma poi ho pensato di attenermi il piu’ possibile ai grafici ROARSiani, evidenziando che non siamo tutti uguali.

      “Siamo tutti uguali”, e’ la frase che compare nelle aule dove stanno per mandarti in prigione…

  6. Le prestazioni del personale accademico non soddisfano, direi, le ipotesi generali sotto le quali studiamo le distribuzioni statistiche di eventi casuali. Per questo la suggestione della Legge dell’Imbuto va presa solo cum grano salis, e per questo agli Inglesi del Funnel non gliene è mai calato granché.

    Come ho già spiegato più sopra, i profili di qualità della ricerca di tutte le Aree e di tutte le Università hanno lo stesso valore legale, e quindi il Quasi-Ministero assegna un punteggio a ciascuna classe di merito indipendentemente dalla collocazione istituzionale di ciascun prodotto.

    E’ piuttosto importante notare che da loro tali punteggi non sono gli “anvuriani” 1-0,8-0,5-0-penalizzazioni, ma i più “eccellentisti” 3-1-0-0 (va ricordato però che loro danno un giudizio eccellente a moooolti meno prodotti).
    Fino a due anni fa davano 9-3-1-0, ma poi hanno deciso di non considerare per niente la terza classe di merito (un by-product del cambio di governo…).
    En passant, non posso fare a meno di notare che, a dispetto della presentazione dei dati in termini di classifiche “distinte” fatta il 16 luglio dall’ANVUR, anche in Italia il finanziamento non potrà che essere così, senza distinzioni (NB: ammetto di non avere ancora letto, comunque, tutto il papirozzo dell’Agenzia).

  7. A me pare invece che la legge dell’imbuto, almeno in parte, ci sia eccome…
    Qui trovate il link dove è riportato il plot dell’area 01
    http://imageshack.us/photo/my-images/703/uont.jpg/
    Si può osservare benissimo che al crescere della dimensione il voto tende ad un valore centrale che in questo caso è prossimo a .07.
    Resto ancora dell’idea che i casi interessanti sono quelli che si discostano molto… il resto delle inferenze mi sembrano più che altro self-serving biases. Ma io non mi reputo un esperto e quindi la mia opinione conta poco.

    • Yes, brutta razza gli ingegneri. Quando penso che sono un ingegnere mi viene in mente la battuta di Marx (Groucho): “Non vorrei mai far parte di un club che accettasse tra i suoi soci uno come me”. Peggio di noi ingegneri credo che ci sia solo chi coltiva l’idea (un po’ ridicola) che ci siano categorie di laureati superiori ed inferiori.

    • ripeto: il valore del limite centrale pari a .5 dipende da come si imposta la simulazione casuale. Il teorema del limite centrale non prevede che sia .5 ma che esista un valore centrale .. Poi, per terminare questa ormai inutile discussione, Padova è stata eccellente!

    • Confermo l’eccellenza di Padova, solo leggermente offuscata (ma il voto VQR oramai è definitivo) dalla difficoltà a capire che 0,5 non è una costante universale, ma può variare da area ad area, come pure il valore di sigma. A parte gli scherzi:
      1. sinceri complimenti all’università di Padova con cui collaboro da decenni e di cui conosco il valore
      2. l’articolo è scritto quando i risultati della VQR non erano ancora noti. Prima di aver analizzato i dati non era possibile dire se il modello di Vlad sarebbe stato in grado di spiegare più o meno bene i dati (anche se pastern ha mostrato qualcosa di simile ad un imbuto nell’area 01). Quello che Vlad voleva spiegare era che la presenza di un imbuto (la “regression to mediocrity”) non giustifica *da sola* valutazioni del tipo “piccolo è bello”. Infatti, Vlad ha mostrato che simulando un reclutamento puramente casuale si ottiene un imbuto. Insomma, un invito alla cautela nell’interpretare i dati alla luce della distorsioni indotte dalla dimensionalità. Anche se il modello di Vlad non fosse verificato perfettamente, gli effetti del campionamento sarebbero comunque presenti. Tra università statisticamente equivalenti ma di dimensioni diverse l’effetto imbuto si ripropone.

  9. Credo che sarebbe ora di farla finita con il tifo da stadio, di solito strettamente legato agli esiti del proprio dipartimento e/o ateneo, e iniziare ad analizzare SCIENTIFICAMENTE gli esiti della VQR, per comprendere bene quali risultati sono significativi (credo la maggior parte) e quali non lo sono (probabilmente pochi, ma a rischio di facile uso propagandistico).
    Esiste per fortuna una scienza, denominata statistica, che fornisce tutti gli strumenti necessari. E’ gia’ stato spiegato che la legge dell’imbuto non e’ altro che la legge della radice per le fluttuazioni. Nel confronto tra le aree non bisognerebbe poi dimenticare che ciò che conta in una distribuzione normale è lo scostamento dalla media normalizzato mediante la varianza, un calcolo che nessuno si è sentito in dovere di fare e che cambierebbe parecchie interpretazioni estemporanee dei dati. Poi mi piacerebbe vedre dati depurati dalle penalizzazione, per valutare la qualita’ della ricerca e non quella della “non ricerca”. E qui mi fermo, ma spero (pia illusione?) che nessuna decisione politica venga presa prima di questa necessaria rianalisi, che certamente non trasformerà i “bravi” in “meno bravi” e viceversa, ma forse ridurrà il numero delle affermazioni indimostrabili attualmente in circolazione.

    • La Statistica NON fornisce tutti gli elementi necessari all’analisi di questi lavori. Vi sono vari motivi per cui è così, ma in primis il fatto che noi siamo interessati alla Valutazione e alla Qualità, e di questi concetti si danno comprensioni filosofiche plurali, al di là di quanto una fissata Scienza Statistica faccia con l’analisi di dati.
      Purtroppo la cultura della Valutazione non è molto diffusa, in Italia, e poi non parliamo della Valutazione della Ricerca, al suo stadio iniziale (oltre al tifo da stadio, su cui concordo).

    • Concordo sull’impossibilità (e l’inopportunità) di affidare i dati della valutazione ad un esame puramente statistico. E tuttavia non è possibile fare valutazioni sensate mediante indicatori statisticamente inadeguati. Un esempio già discusso in questo blog è l’uso del numero medio di citazioni per paper come criterio per stilare classifiche di nazioni, come fatto a suo tempo da Perotti. Secondo questo criterio, risultava che nella classifica mondiale, la prima posizione era occupata dall’arcipelago Chagos (Oceano Indiano): https://www.roars.it/universita-cio-che-bisin-e-de-nicola-non-sanno-o-fingono-di-non-sapere/
      L’uso del voto medio per classificare le università si rivela inadatto per una ragione simile. Non a caso, nelle prime posizioni è facile vedere istituzioni di piccole dimensioni (le “Chagos” italiane, verrebbe da dire). Un primo scopo del post è di natura educativa: far capire che metriche inadeguate producono classifiche poco significative. In Ruritania-1963 i rettori dei mega-atenei sono stati mandati ad insegnare a leggere e scrivere ai contadini. In Italia-2013 il rettore della Statale di Milano cerca difendersi sulle pagine del Corriere per il sorpasso da parte di Milano Bicocca.


      _____________
      L’ateneo “madre” superato dalla “figlia”: deve essere stato imbarazzante, ma almeno il rettore Vago è ancora al suo posto e non è stato spedito nelle campagne. Chissà se qualcuno gli menzionerà la “legge dell’imbuto” (sempre che non sia già un lettore di ROARS).

    • In realtà uno dei punti su cui sono intervenuto è stato proprio quello relativo alla rilevanza dello specifico argomento (dell’imbuto) per l’analisi dei dati della VQR (e quindi, mutatis mutandis, anche per Ruritania e RAE).
      Esiste un consenso generalizzato sul fatto che ci debba essere un numero minimo di prodotti sottoposti a valutazione perché l’esito della valutazione di un aggregato di questi (e.g. un campione a livello di Area di Ricerca o di Università) possa essere considerato affidabile in termini “assoluti”, e confrontabile con altri in termini “relativi”.
      Ma non mi pare esista un analogo consenso sull’importanza dell'”effetto imbuto”, perché – dico io – non viene riconosciuta appropriata l’ipotesi della nulla o scarsa differenza tra gli aggregati da comparare in termini di “qualità della professionalità nella ricerca”, e quindi della equiprobabilità di output degli eventi “casuali” sotto analisi.
      Per dirla tutta, la manifestazione “ex-post” di una qualche forma di “pattern ad imbuto” potrebbe stare a giustificare l’ipotesi stessa, qualora avanzata per il sistema in questione (i.e. quello italiano e quello ruritano, ma non quello britannico). Sappiamo infatti che la gestione delle carriere è stata storicamente, per quei due sistemi, un affare abbastanza “collettivo”, e anche per l’incidenza di eventuali particolarità locali si darebbero delle ipotesi teoriche in astratto piuttosto comparabili (=simili).

    • Per il RAE/REF il problema dell’imbuto è tagliato alla radice dal rifiuto (del tutto assennato) di produrre classifiche. A distribuire i fondi, basta il quality profile (numero di prodotti in fascia A-B-C-D).
      In Italia, la Statale di Milano, essendo più grande, riceverà probabilmente più fondi di Milano Bicocca, anche se il punteggio medio della seconda è più alto. Pur con tutti i iimiti dei research assessment exercises, il messsaggio è che si produce ricerca ottima-media-buona-sufficiente in entrambi gli atenei, magari in diverse proporzioni e in diverse quantità. Un messaggio che riflette meglio la realtà rispetto ad una classifica in cui non si capisce cosa si confronta e dove magari Messina precede il Politecnico di Milano. Il problema è che da noi il feticismo delle classifiche contagia persino l’agenzia nazionale di valutazione. I giornalisti ci sguazzano anche se dopo qualche giorno arriva il CENSIS e piove un’altro diluvio di numeri. L’uomo della strada, di fronte a queste classifiche così numerose e così in contraddizione le une con le altre, finisce per dubitare della loro affidabilità scientifica (e, una volta tanto, vede giusto). Il problema è che l’agenzia di valutazione non dovrebbe lasciarsi coinvolgere in questa lotteria, ma dovrebbe limitarsi a fornire i “quality profiles”.

    • Confesso che vedo come un vero incubo l’idea che vengano riproposte queste classifiche dopo averle “de-imbutizzate”. L’imbuto corrisponde ad una distribuzione di riferimento e per stimarlo bisognerebbe:
      1. ipotizzare che tale distribuzione sia una specie di legge di natura che definisce il comportamento “normale” della produzione scientifica per gli atenei di tutte le dimensioni;
      2. separare gli atenei che non si conformano a tale distribuzione (le eccezioni, gli “outliers” sia in alto che in basso).
      La procedura comporterebbe una procedura iterativa perché ogni volta che viene separato un outlier bisogna rifare la stima della distribuzione di riferimento. Sono tecniche di Statistical Process Control che possono funzionare nel controllo statistico della qualità di una fabbrica di bulloni ma se nella valutazione dell’università imbocchiamo questa strada, finiremo tutti al manicomio (non che adesso siamo così lontani). La regola è una sola: “keep it simple”. Introdurre regole incomprensibili alla quasi totalità dei valutati (ed anche ai politici e all’opinione pubblica) è una strada pessima che rende praticamente impossibile prevenire degenerazioni e abusi. Inoltre, è bene essere consapevoli che ci sono aspetti non misurabili quantitativamente che possono essere più importanti di quelli misurabili. Non ha senso inventare algoritmi barocchi per dati così rumorosi e parziali. E in ogni caso sarebbe sano abbandonare l’idea delle classifiche per la semplice ragione che non c’è un modo sensato di paragonare i topolini con gli elefanti (e probabilmente nemmeno gli elefanti indiani con quelli africani).

    • Parole sante: “keep it symple”.
      tipo :

      IF totale/fondi.

      Se con pochi fondi si è prodotto tanto e bene diamogliene di più, verosimilmente si produrrà meglio.

    • Io sono pienamente d’accordo sul fatto che una sensata (per molti motivi) presentazione dei dati “di base”, a livello di Area CUN, avrebbe dovuto dare il solo “profilo di qualità”, unitamente al numero di prodotti attesi – e per essere più chiaro, dico, una stringa del tipo:

      Struttura i-esima: n, %E, %B, %A, %L, %mancanti, %penalizzati

      Il motivo principale è, per quanto mi riguarda (e per quanto riguarda un grande numero di persone che la pensano così), che non vi è alcuna scelta “naturale” dei pesi w_j con i quali si vorrebbero combinare i dati di base (dei prodotti nelle varie classi di merito). L’ANVUR E il MIUR, in combutta, all’inizio del tragitto, scelsero, come è noto, w = (1, 0.8, 0.5, 0, -q), ove q è una qualche penalità, ma, come è evidente, il punteggio di valutazione sintetico ottenuto con questo w (chiamato I=v/n dall’ANVUR) non è “in teoria” migliore di un altro w’: è solo una certa scelta, dalla quale dipendono le eventuali graduatorie costruite con l’indice sintetico I.
      Ma, tralasciando per ora questo baco, mi pare che processo di “de-imbutizzazione qualitativa” operato con la presentazione delle graduatorie di tipo G, M, P (strutture Grandi, Medie e Piccole), oltre che ad essere arbitrario anch’esso in maniera nemmeno giustificata, è pure criticabile sotto diversi aspetti, a partire dalla possibili “negazione” della rilevanza dell’effetto-imbuto per il caso che ci interessa, fino all’assurda situazione di “dissociazione mentale” per cui, in effetti, ciò che conterà ai fini statistico-finanziari, saranno pur sempre i dati grezzi “assoluti”.
      Mi spiegherò meglio, comunque, in altri interventi.

  10. Mi unisco all’appello di Paolo Rossi. Stavo scrivendo una cosa simile e mi ha preceduto.
    Possiamo dire peste e corna di ANVUR e VQR, ma ora abbiamo una grande quantità di dati, e la cosa migliore da fare è analizzarli. Per prima cosa sgombriamo il campo da quanti cercano di farlo solo per far salire il ranking del loro orticello, cerchiamo di fare un lavoro scientifico.
    E naturalmente mi aspetto che a farlo siano principalmente quelli che sono esperti. Io lo sono pochissimo, mi sono divertito a fare qualche analisi per capire come cercare di migliorare la situazione del mio orticello e della mia fattoria, ma non mi sognerei di “pubblicarlo” senza un lavoro che non al momento tempo di fare. Semmai varrà la pena comunicarlo a qualche collega di orticello.
    Io ho detto varie volte che la bibliometria non va usata per individui, ma può essere uno strumento utile per insiemi più grandi.
    Quindi inviterei tutti coloro che si accingono a fare analisi, a farle seriamente, con metodo, e a pubblicarle in forma completa e leggibile, con dati tabelle eccetara. Magari sulla rivista di ROARS.
    Io da tutta questa storia voglio imparare qualcosa, non vedere chi vince.

  11. Penso che sia stato eseguito un grande (nel senso di soprattutto voluminoso) lavoro da parte di ANVUR e dei GEV e sono stati presentati dati sicuramente interessanti. Tuttavia, mentre la parte di classificazione delle pubblicazioni è sicuramente apprezzabile, le classifiche finali dipendono in mia opinione da parametri che le strutture non possono controllare. In questo mi trovo d’accordo con il post. Mi riferisco alla mia area (03, chimica) ma ho l’impressione che il discorso potrebbe essere facilmente esteso ad altre.
    Le pubblicazioni sono state classificate in 4 classi di merito:
    Eccellente 1.0
    Buono 0.8
    Accettabile 0.5
    Limitato 0
    Mancante/plagio: valori negativi.
    Selezionando tre prodotti per strutturato, come probabile si verifica che la maggior parte dei prodotti sono di classe eccellente. Infatti per il GEV 3 (chimica) abbiamo che il 55% dei prodotti è di classe A e oltre il 25 % di classe B. Come aspettato, i voti medi per dipartimento sono molto alti, perché su base statistica oltre il 50% degli individui valutati ha solo voti come eccellente (1) e buono (0.8). Se seleziono solo tre pubblicazioni in sette anni mi aspetto che sia molto probabile che queste cadano nel 20% o nel 40% delle migliori pubblicazioni per tutta l’area.
    I voti individuali sono stati quindi altissimi, con una classifica “individuale” inevitabilmente schiacciata verso l’alto.
    In mia opinione, con queste premesse è davvero difficile costruire una classifica dei vari dipartimenti. E’ come misurare una grandezza fisica in una serie di esperimenti con un apparecchio che metà delle volte arriva a fondo scala.

    Immaginiamo un esempio con 3 dipartimenti diversi:
    A (piccolo): 3 strutturati, voti medi 0.85, 0.85, 0.85 TOTALE 2.55
    B (grande): 5 strutturati, voti medi 1, 1, 1, 1, 0 TOTALE 4.0
    C (piccolo): 3 strutturati, voti medi 1, 1, 0 TOTALE 2.0
    Quale è il dipartimento migliore e più meritevole di ricevere fondi?
    In prima battuta, sembrerebbe il dipartimento B, grande con ben 4 strutturati eccellenti.

    Tuttavia, la classifica ANVUR è basata sulla media dei voti:
    A (piccolo): 3 strutturati, voti medi 0.85, 0.85, 0.85 MEDIA =0.85
    B (grande): 5 strutturati, voti medi 1, 1, 1, 1, 0 MEDIA =0.80
    C (piccolo): 3 strutturati, voti medi 1, 1, 0 MEDIA =0.66

    Da cosa è dominata quindi la classifica? Dalla presenza o meno di pochi o anche un singolo “mediocre” all’interno del dipartimento! Con l’aggravante che più un dipartimento è grande, più sarà probabile avere un mediocre o peggio un inattivo all’interno che condanna inevitabilmente le grandi strutture alla mediocrità generale, in modo analogo a quanto ha scritto il prof Joseb Nicolajoff.
    Il risultato della VQR èra quindi prevedibile a priori: i dipartimento grandi (B) condannati alla mediocrità, mentre i dipartimenti piccoli che possono passare dal paradiso all’inferno grazie allo spostamento anche di un singolo strutturato:

    A (piccolo): 3 strutturati, voti medi 0.85, 0.85, 0 MEDIA =0.56
    B (grande): 5 strutturati, voti medi 1, 1, 1, 1, 0 MEDIA =0.80
    C (piccolo): 3 strutturati, voti medi 1, 1, 0.85 MEDIA =0.95

    In ultima analisi, la classifica è dominata da fattori casuali che hanno una influenza enorme: i “poco attivi” non sono licenziabili, e nessun rettore o direttore di dipartimento può intervenire. Questo modo di giudicare ha come analogia valutare le prestazioni di una squadra di calcio nella stagione non per gli 11 che effettivamente scendono in campo, ma per i giovanissimi sulla panchina e i calciatori a fine carriera che compiono solo sporadiche apparizioni.

    Inoltre, il GEV 3 ha anche illustrato come criticità principale la mancanza di attribuzione del grado di proprietà dei prodotti scientifici.
    Altro esempio pratico: uno strutturato eccellente ha 6 lavori di classe A, uno strutturato mediocre nessuno. IPOTESI 1) Li firma solo lo strutturato eccellente. Risultato: il dipartimento ottiene 3 punti per questi due ricercatori. IPOTESI 2) Lo strutturato eccellente mette come “honorary author” il mediocre su 3 lavori. il dipartimento ottiene 6 punti nella valutazione.
    Questo risultato è assurdo, perché il dipartimento e il pubblico che paga per la ricerca vedono valutati GLI STESSI IDENTICI LAVORI in modo diverso, e paradossalmente in modo più favorevole grazie ad un comportamento scorretto!

    In conclusione, si possono analizzare i dati VQR con tutto il tempo possibile e ci sono sicuramente dati interessanti grazie agli sforzi dei GEV e revisori. La parte di “rating” è apprezzabile. Tuttavia la parte di “ranking” ovvero le classifiche, è assolutamente inattendibile e utilizzarla in modo improprio per la ripartizione dei fondi potrebbe essere davvero pericoloso e deleterio per l’accademia italiana. Possiamo aspettare, riflettere e analizzare a fondi i dati, tuttavia in mia opinione vi sono delle criticità non sanabili.

    • E già, oltre all’effetto imbuto, i nostri esperti VQR hanno scoperto che la media è sensibile ai valori estremi, in questo caso evidentissimo con distribuzioni asimmetriche e schiacciate verso l’alto.
      Da ciò che scrivi Luca, le logiche conclusioni sono 2:
      a) O si incentiveranno i comportamenti scorretti (la tua Ipotesi 2)
      b) O si darà il via ai licenziamenti (la Grecia è vicina).

      In ogni caso, poveri precari.

      Certo, un paese illuminato, conscio del fatto che ne l’una ne l’altra strada sono praticabili, parte del fondo lo destinerebbe in funzione della qualità del reclutamento (per cui è presente un indicatore) sopratutto per le università “deboli”. Ma ahimè, ho forti dubbi sul fatto che siamo un paese illuminato.

    • E’ vero che la penalizzazione sugli inattivi è forte e altrettanto lo sarà la spinta a comportamenti scorretti. Temo l’ipotesi 2.

  12. Le riflessioni di Paolo Rossi e altre analoghe sono in larga parte condivisibili, rappesentano un serio tentativo di trarre il massimo di informazioni possibili dalle messe di dati a disposizione, trovare punti di forza e debolezza della procedura, etc..
    Condivisibili, dicevo, ma solo accademicamente. Mentre si “studiano” dati e procedure il Ministero agisce e, a cascata, reagiranno Rettori e Dipartimenti. La (significativa) penalizzazione per gli inattivi cade dove nè gli uni nè gli altri hanno in realtà concrete possibilità di intervento. Restano solo logiche punitive che hanno un effetto, nefasto, su chi invece produce. Si rischia un sorta di redde rationem autolesionista, come nel caso citato di Napoli.
    Vorremmo tutti vedere valutata la ricerca e non la “non ricerca”, leggere e studiare i dati, analizzare e valutare, ma non siamo in una fase di studio, visto che ANVUR e Ministero sono operativi. Cercare di opporsi a questo disastro annunciato non merita di essere chiamato tifo da stadio, a meno di non voler relegare il tutto a discussioni nei confortevoli salotti della torre d’avorio.

  13. Mi perito di continuare a fornire “pillole” di commenti, per intervenire un pochino anche in questa fase post-rilascio dei dati che ci vede ancora schiacciati dalla mole delle informazioni da analizzare, con la dovuta calma e ponderatezza.
    Il mio punto è sempre, innanzitutto, politico-sociale e filosofico, e solo a latere di analisi statistica, perché è necessario che la gente impari a guardare questa impresa, di cui ci stiamo occupando, rimettendo i buoi davanti e il carro dietro.
    Ritorniamo al RAE/REF britannico: se non si interiorizza per bene il fatto che il ruolo di tale valutazione è quello di mantenere una *forte* diversificazione della capacità di ricerca fra le numerose istituzioni universitarie e para-universitarie britanniche, oltre a fornire la base di incentivazione generica per una migliore qualità della ricerca, non si inquadrano per bene le attività che lo costituiscono, il come e perché si fanno certe scelte.
    Frammenti informativi da non dimenticare:
    – gl’Inglesi non credono nell’assoluta inscindibilità fra Didattica e Ricerca nelle Università, gl’Italiani sì, e non solo a livello di Sede Universitaria, ma a livello del Singolo Accademico (incarnazione del ruolo);
    – come conseguenza, in UK sono possibili molteplici combinazioni fra doveri didattici e doveri di ricerca per un Accademico, benché alcune siano più “standard”, e comunque nella disponibilità dell’Istituzione e non dell’Accademico; in Italia tutti gli Accademici Docenti sono Funzionari Statali sottoposti ad un solo regime funzionale e stipendiale, che non è nella disponibilità dell’Istituzione bensì dell’Autorità Pubblica Statale;
    – come ulteriore conseguenza, in UK non può esistere una differenza nel valore legale dei titoli di studio conferiti dalle diverse Università (a maggiore o minore intensità di ricerca): il giudizio sulla qualità dell’offerta didattica è sostanzialmente indipendente da quello sulla ricerca, e per i titoli di studio con profilo professionale conta solo l’esistenza dell’accreditamento da parte delle Autorità Competenti dei rispettivi Ordini;
    – la politica di diversificazione delle capacità di ricerca assume implicitamente un modello di politica scientifica favorevole alle grandi concentrazioni, e ciò – quindi – in opposizione alla Teoria dell’Imbuto; pongo all’attenzione di G. De Nicolao questo papiro che ho trovato girellando stamattina in rete:
    http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2239617
    – per quanto si è accennato, e molto altro ancora, in UK la capacità dell’Amministrazione delle singole istituzioni di reagire ad un Esercizio di valutazione tipo-RAE per riadattare le proprie risorse umane e materiali alla nuova “realtà” è molto maggiore di quella delle Univ. Italiane, che possono operare su spazi limitati e soprattutto senza incidere sulle principali cause di eventuali “rovesci”, bensì su capitoli addirittura **controproducenti** per un ripristino della capacità di ricerca, come biblioteche, laboratori, contratti e assegni di ricerca, borse di dottorato (vds. ciò che sta già succedendo con i tagli di questi anni).
    Altre analisi con altre “pillole” :-)

    • Grazie delle “pillole” che sono utili a inquadrare il RAE e la VQR nei rispettivi contesti. Grazie anche dell’indicazione del papiro. Ho dato una scorsa e, come in altri casi, resto perplesso vedendo come indicazioni che hanno una valenza politico-ideologica vengano rivestite di una patina di scientificità mediante modelli statistici che non solo semplificano la realtà ma sono pieni di ipotesi date per buone. Nei campi dove ho maggiore esperienza, un uso così spregiudicato della modellistica statistica verrebbe sottoposto a critiche severe. In ambito sociale, la prudenza dovrebbe essere ancora maggiore che in ambito biomedico e ambientale (per fare due esempi), ma mi sembra che ci si muova con una certa disinvoltura, soprattutto nel giustificare ricette da vendere ai policy-makers. Qualcosa che abbiamo già visto anche in Italia quando fiorivano analisi più o meno sensate che ci “dimostravano” l’improduttività scientifica della nostra università o che i dati OCSE sulla spesa universitaria dicevano il contrario di quello che sembrava. Intravvedo, insomma, un problema di rigore metodologico. Anche la classifica degli atenei confezionata da Bonaccorsi per la commissione europea (https://www.roars.it/andrea-bonaccorsi-e-le-classifiche-degli-atenei-voodoo-rankings/) era metodologicamente debole e persino affetta da un “fatal error” (era stata usata una definizione sbagliata di decile, uno svarione che da solo giustificherebbe – anzi richiederebbe – la retraction, se si trattasse di un paper scientifico). In un contesto scientifico, le conclusioni traggono validità dal riscontro dei dati e dal rigore dei metodi. In altri casi, sembra che le cose vadano alla rovescia: si parte dalle conclusioni (bisogna concentrare le risorse) e sia il rigore metodologico che la qualità dei dati sono quasi esornativi. Eventuali distorsioni dei fatti ed errori di metodo non sono considerati così gravi perché tanto la verità è già nota. Un po’ come l’esegesi delle scritture fatta da un fondamentalista: sbagliare un’etimologia o mistificare fatti storici non è tanto importante se alla fine si argomenta a sostegno delle verità di fede. In modo analogo, può capitare che venga colto in fallo sul piano della qualità scientifica proprio chi conduce crociate ideologiche in nome della meritocrazia e dell’eccellenza. Ci sono scelte che non si lasciano giustificare “scientificamente” ma che devono essere valutate e discusse su altri piani. In un accademia sana e seria, chi usa argomenti simil-scientifici per coprire scelte politiche si espone al rischio di essere smascherato.

    • Grazie per l’utile confronto sullo specifico punto della qualità dell’analisi dati per il supporto alle politiche.
      Rimane comunque il punto che il Quadro complessivo in cui viene svolto il RAE/REF – dal punto di vista politico-istituzionale, intendo – è assai diverso da quello in cui viene svolta la VQR, che, come sappiamo, fu concepita con l’idea di scimmiottare quell’Esercizio là.
      E’ importante che tutta la classe accademica (e ancor più quei “poveracci” degli Enti, costretti a conferire i loro prodotti nelle “Aree CUN”!) si renda conto di tali premesse, prima ancora, o comunque parallelamente, della discussione sui dettagli matematico-analitici.
      In UK la porzione di FFO distribuita selettivamente usando il RAE/REF, pur globalmente minoritaria (in un contesto con tasse universitarie a 3.000 € era circa il 20%, ora sta salendo in termini relativi a causa della diversa politica di finanziamento dei corsi di studio), diversifica *molto* le sedi, e bene sarebbe buttare un occhio sulle cifre per averne contezza
      http://www.hefce.ac.uk/whatwedo/rsrch/howfundr/mainstreamqr/
      In Italia una simile diversificazione non potrebbe avere giustificazione per i motivi che ho esposto più sopra: si tratta di una questione che va ben al di là del concetto di “premio & punizione” e che implica, come ricordavo, l’idea di concentrazione selettiva della “capacità di ricerca” (laboratori, biblioteche, personale aggiuntivo per la ricerca) in modo “bottom up” piuttosto che “top-down” – ma sempre di concentrazione selettiva si tratta.

    • Le pillole fanno bene, ma volendo c’è anche spazio per un contributo più organico. Abbiamo tutti bisogno di allargare i nostri orizzonti documentandoci meglio sui dati e le politiche internazionali. Traduzione: un articolo sarebbe più che benvenuto. Se non è possibile, ci alimenteremo con le pillole ;-)

    • Sì sì ora con Agosto si fa tutti una bella sessione speciale di studio e scrittura sulla materia – lo faccio veramente e non solo lo prometto! B)

  14. Giacomo Vaciago scrive su “il Mulino” a proposito della VQR:
    “La conferma che anche in Italia (come nell’esperienza anglosassone) le “grandi” università sono quelle piccole! Basti ricordare la dimensione di università come il Mit di Boston o Oxford e Cambridge in Inghilterra. E le piccole università sono anche più innovative da tanti altri punti di vista, ad esempio nella governance.”
    http://www.rivistailmulino.it/news/newsitem/index/Item/News:NEWS_ITEM:2284
    ___________________
    Mutatis mutandis, mi permetto di osservare che gli economisti Ruritani hanno anticipato di ben 50 anni Vaciago nel comprendere che l’eccellenza dei piccoli atenei è dovuta alla superiorità della loro “governance”:
    ___________________
    “La polemica divampò quasi subito, innescata dal decano degli economisti di regime che sul Ruritanski Rude Pravo scrisse un durissimo editoriale intitolato “Regressione alla mediocrità” (citando la famosa espressione di F. Galton). Il succo era semplice: non era possibile che quasi nessuno dei mega atenei raggiungesse la vetta delle classifiche nelle 14 aree disciplinari. La loro regressione alla mediocrità era la dimostrazione del dilagare dei favoritismi e del nepotismo, reso possibile da una dirigenza priva di polso e imborghesita dalle mollezze della vita cittadina.”

    • Io, che faccio sempre storia poco ortodossa, devo ricordare anche il fatto che, se Oxford e Cambridge sono Università “piccole” per quanto riguarda il numero di studenti, non lo sono affatto in termini di personale di ricerca, sottoposto alla valutazione e.g. del RAE 2008.
      Questo è appunto uno degli effetti *voluti* della politica di differenziazione istituzionale, colà vigente, e che anche il RAE/REF contribuisce ad alimentare: distribuendo in modo selettivo e fortemente differenziato la parte di FFO relativa alla ricerca, anche le “piccole Università” concentrate sull’eccellenza nella ricerca possono assumere personale in numero pari o superiore a quelle “grandi Università” non così eccellenti, che peraltro riorganizzeranno i doveri d’ufficio del proprio personale in modo da adattarsi alla relativa realtà (ad es. avendo più personale con elevato carico didattico).

« Commenti meno recenti

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.