L’ANVUR ha presentato alla stampa classifiche degli atenei diverse da quelle desumibili dal Rapporto Finale della VQR. Nel confronto dimensioni-qualità l’ANVUR ha cambiato la formula per il calcolo della “premialità”. Come conseguenza, dodici atenei si sono scambiati il posto tra il girone dei viziosi, marchiati rosso fuoco, e l’Olimpo dei virtuosi con il bollino verde. Nelle tabelle diffuse alla stampa, l’ANVUR ha anche ritoccato le linee di demarcazione tra atenei piccoli, medi e grandi, sconvolgendo la classifica dimensione-qualità dei grandi atenei. Il sorpasso della Statale di Milano ad opera di Milano Bicocca, che tanto clamore aveva destato sui media, è frutto di questa modifica. Ma la saga delle “classifiche ballerine” non finisce qui: seguiranno presto ulteriori dettagli.

Il 16 luglio l’ANVUR ha presentato, a un ristretto circolo di invitati, gli esiti dell’esercizio nazionale di valutazione. Non sono mancati i toni trionfalistici: un esercizio di portata mai vista prima, e non solo in Italia.

In realtà, l’enorme mole di dati contenuta nel rapporto ANVUR, che è certamente meritevole di approfondita analisi, si è purtroppo tradotta in classifiche. Classifiche di aree disciplinari, classifiche di settori, classifiche di atenei e di dipartimenti. Ce n’è per tutti i gusti. Bene, si dirà, i buoni sono finalmente divisi dai cattivi, il grano dal loglio. Il tutto, plasticamente rappresentato non solo da elenchi, ma anche da tabelle colorate: bollino rosso per i reprobi, bollino verde per i probi.

In realtà, si è detto mille volte, la produzione di classifiche ha poco a che fare con la valutazione e non è certo un caso che agenzie di valutazione, per così dire più mature di quella italiana, rifiutino di produrne. Ci sono ragioni tecniche che sconsigliano di farlo. Ignari o incuranti che siano di tali ragioni, gli esperti dell’ANVUR  hanno pensato bene di costruire classifiche di ogni sorta. Il tutto per la gioia della stampa: sono fiorite paginate classificatorie (talora con qualche errore), e la stampa locale ha potuto sbizzarrirsi sui piazzamenti degli atenei delle diverse regioni. Sarebbe da riderci su, se non fosse che probabilmente tutto ciò influenzerà il futuro comportamento delle aspiranti matricole.

Ma c’è di peggio: dal giorno dell’uscita del rapporto VQR un sordo brontolio è udibile in ogni ateneo. E’ la faida che si prepara, per la spartizione del magro piatto a disposizione. Classifiche di aree, SSD e dipartimenti sono l’arma che sarà brandita all’interno di ogni ateneo da parte dei gruppi che aspirano ad accaparrarsi fondi di ricerca e soprattutto punti organico: non dimentichiamo che la prima tornata di abilitazione nazionale si avvia a conclusione. Come deve sentirsi un bravo ricercatore, che però ha la sventura di far parte di un SSD che nel suo ateneo ha ottenuto risultati mediocri nella VQR? E non dovranno preoccuparsi anche coloro che, magari con valutazioni individuali di qualità, si trovano a far parte di dipartimenti bollati come “sotto la media” o persino “scarsi”? Dovremo assistere alla disclosure, da parte dei singoli, delle proprie valutazioni individuali, nella speranza che ciò li aiuti a risalire la china nelle strutture di appartenenza?

Tutte queste unintended consequences erano prevedibili da mesi, ma i bricoleurs della valutazione se ne sono allegramente disinteressati, minando prima la credibilità e ora i possibili effetti virtuosi dell’esercizio di valutazione.

In ogni caso,  l’ANSA ha riportato la seguente dichiarazione del Presidente dell’ANVUR, Stefano Fantoni:

il Paese possiede una fotografia dettagliatissima e soprattutto certificata della qualità della ricerca italiana.

Ma tale fotografia, indubbiamente dettagliata e meritevole di accurata analisi, può veramente dirsi “certificata” da un ente tecnicamente adeguato? Convinti come siamo della necessità che la ricerca italiana sia valutata bene, nutriamo qualche dubbio, anche alla luce di quanto seguirà.

1. Il Santo Graal della valutazione

Per porre i fatti nella giusta cornice, è opportuno rammentare l’inveterata tradizione di rettifiche da parte dell’ANVUR, un abitudine che sembra accompagnarla quasi dalla sua fondazione. Ed ecco che oggi compare sul sito dell’agenzia il seguente comunicato, che alla maggior parte dei colleghi sarà sembrato una Stele di Rosetta in attesa del suo Champollion:

_____________________

______________________

La parte più allarmante sono le ultime due righe: come mai l’Agenzia, abile – a suo modo – nel contaminare valutazione e policy-making, fa un passo indietro sottolineando che la scelta non è di sua competenza? Che si sia inceppato qualcosa? Che le classifiche date in pasto alla stampa, che orienteranno migliaia di matricole sul territorio nazionale e incideranno sui bilanci e sulla reputazione (valore impalpabile, ma pur sempre un valore) dei singoli atenei, non siano così “certificate” come viene fatto credere?

Ritorniamo all’avviso dell’ANVUR, il quale ci informa che c’è una discrepanza tra i numeri mostrati e consegnati alla stampa e quelli riportati nel Rapporto finale VQR. Ma di quali numeri si tratta?

Dietro questo linguaggio in codice si cela quello che potrebbe essere a buon diritto considerato il “Santo Graal” della valutazione.

Non molti sanno che la VQR è unica solo in apparenza, ma che in realtà esistono ben 14 VQR separate, anzi 16 VQR, se teniamo presente che le aree 8 ed 11 sono composte da una sotto-areea “bibliometrica” ed una “non bibliometrica”. Fin dai primi mesi del 2012, l’ANVUR si era convinta che nelle diverse aree disciplinari, le cosiddette Aree CUN, la VQR non avrebbe mai prodotto risultati comparabili. Infatti, era impossibile garantire la comparabilità dei voti assegnati dalla peer-review con quelli assegnati dalle regole bibliometriche. In realtà, le cose andavano ancor peggio perché nelle aree bibliometriche, le soglie dei cosiddetti “quadrati magici” non garantivano uniformità di giudizio nemmeno all’interno della stessa area disciplinare: una delle ragioni fondamentali per cui la VQR nasce morta (VQR: tutte le valutazioni sono uguali, ma alcune sono più uguali delle altre). Che i voti non siano comparabili da un’area all’altra è stato sottolineato dall’ANVUR sia mediante un’analisi bibliometrica condotta sui criteri adottati dai diversi GEV (Appendice A – La calibrazione degli algoritmi bibliometrici) sia mediante raccomandazioni molto chiare (i grassetti sono nostri):

Tra le finalità della VQR non compare il confronto della qualità della ricerca tra aree scientifiche diverse. Lo sconsigliano i parametri di giudizio e le metodologie diverse di valutazione delle comunità scientifiche all’interno di ciascuna area (ad esempio l’uso prevalente della bibliometria in alcune Aree e della peer review in altre), che dipendono da fattori quali la diffusione e i riferimenti prevalentemente nazionali o internazionali delle discipline, le diverse culture della valutazione, in particolare la diversa percezione delle caratteristiche che rendono “eccellente” o “limitato” un lavoro scientifico nelle varie aree del sapere e, infine, la variabilità tra le Aree della tendenza, anche involontaria, a indulgere a valutazioni più elevate per migliorare la posizione della propria disciplina.
Pertanto, le tabelle che per comodità di visualizzazione riuniscono nel rapporto i risultati delle valutazioni nelle varie Aree non devono essere utilizzate per costruire graduatorie di merito tra le aree stesse, un esercizio senza alcun fondamento metodologico e scientifico.

Questo stesso caveat riguarda in qualche caso il confronto tra settori scientifico-disciplinari (SSD) interni a un’Area. Mentre in alcuni casi è possibile confrontare la qualità della ricerca tra SSD della stessa Area, in altri casi (evidenziati nei singoli rapporti di Area) tale confronto non è possibile né opportuno. Le graduatorie di Area e di sottoinsiemi più omogenei all’interno di un’Area, quali sub-GEV o SSD, sono finalizzate al confronto nazionale di natura verticale al loro interno.

Rapporto Finale ANVUR – Parte I, p. 7

Quelle appena riportate sono forse le parole più sagge che l’ANVUR abbia mai scritto. Tuttavia, se anche si dà per assodata la non comparabilità fra aree, ci sono due problemi di vitale importanza che premono alle porte:

  • il calcolo della quota premiale degli atenei che richiede necessariamente la composizione dei voti di area;
  • la ripartizione delle risorse tra diversi dipartimenti all’interno dello stesso ateneo.

In Inghilterra, dove i giudizi di qualità del RAE sono comparabili, perché formulati su una scala di merito assoluta, il primo problema viene risolto stimando quali cosi comporti la ricerca scientifica condotta in ciascuna area. Tali costi diventano poi dei coefficienti moltiplicativi da applicare ai punteggi conseguiti nelle diverse aree. In Italia, la non comparabilità dei giudizi costringe a far confluire in un unico momento decisionale la normalizzazione dei voti e la stima dei costi. La soluzione è una formula-Graal che assegna a ciascuna delle 16 aree un suo peso specifico. Però, proprio a causa della incomparabilità delle aree, trovare la formula giusta è impresa degna di un romanzo del ciclo arturiano:

La definizione dei pesi , la scelta di quale indicatore finale utilizzare e dei valori dei pesi α e β non è compito dell’ANVUR, ma è una scelta di natura “politica” di competenza del MIUR. Una possibile scelta per i pesi può essere finalizzata a orientare la ricerca futura privilegiando alcune aree rispetto ad altre, oppure può riflettere in maniera neutra la quota dei prodotti conferiti o dei ricercatori delle diverse aree o, ancora, può essere proporzionale alla quota di finanziamenti storicamente assegnati alle aree (ad esempio nei bandi PRIN e FIRB o europei).
Nell’Appendice D si propongono alcune alternative per il calcolo dei pesi e un confronto dei valori dei pesi risultanti. Le tabelle con i valori degli indicatori finali IRFS1 e IRFS2 presentate nel seguito sono state ottenute a puro titolo esemplificativo utilizzando i pesi dell’ultima tabella dell’Appendice D.

Rapporto Finale ANVUR – Parte I, p. 39

Siamo arrivati al dunque: l’avviso del 22 luglio menziona proprio l’Appendice D, dove si parla del Santo Graal, ovvero della formula che permette di mettere sulla stessa bilancia i voti conseguiti nelle diverse aree all’interno dell’ateneo. Inoltre, diventa possibile confrontare diversi dipartimenti, eterogenei o omogenei che siano in termini di aree. L’ANVUR sembra consapevole di muoversi su un terreno che scotta:

Ovviamente, la decisione sull’allocazione dei fondi è competenza ministeriale e quella riportata è solo un esempio del possibile utilizzo degli indicatori.

Rapporto Finale ANVUR – Parte I,. Nota 7, p. 30

come specificato nella Premessa, l’attribuzione ai dipartimenti del valore dell’indicatore finale è stato fatto dall’ANVUR unicamente per fornire indicazioni agli organi di governo interni delle strutture, senza alcuna intenzione di ledere la loro piena autonomia nelle modalità di distribuzione interna delle risorse.

Rapporto Finale ANVUR – Parte I, p. 45

Se ora andiamo a leggere l’Appendice D, sopra citata, troviamo una precisazione rassicurante riguardo alla formula-Graal:

I quattro metodi descritti nelle sezioni precedenti sono stati applicati in via sperimentale ai dati VQR ed è stato così possibile confrontare gli indicatori finali (IRFS) risultanti. Osservato che le graduatorie e i valori assoluti degli indicatori ottenuti con i quattro metodi risultano piuttosto stabili e caratterizzati da una varianza contenuta, si propone – a posteriori e per semplicità espositiva – un unico set di pesi “efficaci” (per ogni tipologia di struttura). Essi si ottengono mediando, per ogni Area, i relativi quattro costi cj ottenuti nelle sezioni D2–5 e poi moltiplicando i costi così ottenuti per il numero di prodotti conferiti nell’Area.

Traduzione: abbiamo esplorato quattro metodi alternativi, ma, per fortuna, danno tutti e  quattro più o meno gli stessi risultati sia in termini di valori assoluti (che incideranno sulla cosiddetta quota premiale assegnata dal ministero) sia in termini di classifica degli atenei. Per questa ragione abbiamo adottato una soluzione che li mescola tutti insieme … ed amen. Se fosse vero che cambiano (di poco) solo i numeri e non le classifiche, poco importerebbe e verrebbe persino voglia di lodare l’Agenzia per avere ammesso con la sua comunicazione del 22 luglio una svista, tutto sommato, di minore entità.

Mossi da uno scetticismo che qualcuno riterrà eccessivo ed imputerà ad una pregiudiziale ed ingiustificata diffidenza nei confronti dell’agenzia, abbiamo voluto comunque verificare nel dettaglio numeri e classifiche, non senza trovare qualche sorpresa.

3. La classifica una e bina

Se da un lato il Rapporto Finale contiene diversi caveat, del tutto condivisibili, sull’interpretazione e l’uso dei dati, il desiderio irrefrenabile di additare al mondo buoni e cattivi sembra aver preso la mano all’ANVUR. Abbiamo appena letto quanto perigliosa sia la ricerca della formula-Graal che combina insieme i punteggi delle diverse aree. Eppure, nelle slides della presentazione al pubblico, mettendo da parte ogni cautela, viene calcolato l’indicatore IRFS1 (Indicatore Finale di Ricerca Struttura 1):

L’indicatore finale di ricerca di struttura (IRFS) tiene conto di tutti gli indicatori utilizzati nella valutazione: qualità delle pubblicazioni e dei processi di reclutamento, capacità di attrarre risorse esterne e di istituire collegamenti internazionali, propensione alla formazione per la ricerca e all’utilizzo di fondi propri per finanziare la ricerca, miglioramento della “performance” scientifica rispetto all’esercizio di valutazione precedente.

Per effettuare il confronto dimensione-qualità, l’indice IRFS1 viene paragonato al numero di prodotti attesi, per vedere se l’ateneo su scala nazionale meriterebbe per la sua ricerca una quota maggiore o minore di quella che è la sua quota nazionale di soggetti valutabili. La logica è quella della pagella: etichetta verde per chi ha una produttività sopra la media, etichetta rossa, per chi non ha una produttività adeguata. Ecco la prima delle slides che mette in riga buoni (verdi) e cattivi (rossi).

Insomma, una bella gogna per circa metà degli atenei. Ma c’è un “ma”. Come ammesso dalla nota del 22 luglio, i conti non tornano con il Rapporto Finale. Infatti, gli stessi indicatori sono riportati anche nel file delle Tabelle del Rapporto Finale a pag. 308 (Tabella 6.10a). Però, invece che essere uguali, le due tabelle sono diverse: non solo i numeri presentati ai giornalisti sono diversi da quelli del rapporto finale, ma, come si può vedere ci sono diversi atenei che passano da buoni a cattivi e viceversa. Chissà come sarà stata contenta l’Università di Pisa di essere additata al pubblico ludibrio quando nel Rapporto Finale la sua etichettta è invece verde.

Il daltonismo della tabella ANVUR riguarda 12 università. Di queste ve ne sono quattro che da “virtuose” nel Rapporto Finale sono state declassate a “viziose” ad uso e consumo dei giornalisti:

  1. Pisa
  2. Modena e Reggio Emilia
  3. Parma
  4. Camerino

Viceversa, ve ne sono otto che, da viziose che erano nei documenti ufficiali, si sono trovate inopinatamente promosse a virtuose davanti ai giornalisti:

  1. Roma Tre
  2. Roma Tor Vergata
  3. Macerata
  4. Napoli l’Orientale
  5. Bergamo
  6. Siena Stranieri
  7. Castellanza LIUC
  8. Roma LUMSA

Ma cosa è successo? Per qualche ragione, nella presentazione per i giornalisti i voti delle aree non sono stati combinati usando i pesi del Rapporto Finale, ovvero quelli consigliati alla fine dell’Appendice D, ma usando quelli del primo metodo discusso nell’appendice stessa, proporzionali alla quota di prodotti conferiti (il metodo CD_PC, che non prende in considerazione la media dei costi).

Sorgono spontaneee almeno due domande:

  1. se la formula che aggrega i voti delle diverse aree è un punto così  critico (una scelta di natura politica, a livello nazionale, e una decisione che rientra nei margini di autonomia degli organi di governo a livello locale), perché far ricorso allo strumento scientificamente discutibile quanto mediaticamente dirompente dei bollini rossi e verdi?
  2. non si era detto che “le graduatorie e i valori assoluti degli indicatori ottenuti con i quattro metodi risultano piuttosto stabili e caratterizzati da una varianza contenuta”?

4. L’ANVUR fa lo sgambetto al Politecnico e alla Statale di Milano

Ma la storia non è finita. Nel package per i giornalisti c’è la Tabella 5 che dovrebbe illustrare il confronto fra dimensione e qualità della ricerca delle strutture. I numeri sono gli stessi della presentazione per la stampa che confrontava l’indicatore sintetico IRFS1 con il numero di prodotti attesi. Questa volta, l’attenzione è ristretta ai primi cinque atenei di ogni segmento dimensionale:  come già osservato, stilare classifiche di istituzioni di dimensioni assai diverse è privo di senso e per tamponare il problema nella VQR gli atenei sono raggruppati in tre categorie dimensionali. Ecco quanto si legge nella documentazione resa disponibile alla stampa:

______________________________________________________

CLASSIFICA DIMENSIONE – QUALITÀ: VERSIONE PER LA STAMPA

La presenza di Milano Bicocca in questa ed altre classifiche VQR e la contemporanea assenza della Statale di Milano ha stimolato il Corriere della Sera a sottolinerare il sorpasso dell’università “figlia” nei confronti della “madre”, non  senza qualche sorpresa del Rettore Gianluca Vago che ha tentato una volenterosa difesa.

 

In effetti, per la Statale non è piacevole essere superati dalla propria “figlia”. Qualcuno potrebbe pensare che il Rettore Vago si arrampichi sugli specchi per tentare di attenuare lo shock del sorpasso, ma, come vedremo, non ha tutti i torti ad essere perplesso sulla regolarità del duello. Su ROARS abbiamo sempre ribadito che non è il caso costruire graduatorie di atenei di dimensioni diverse. Facciamo però finta di stare al gioco dell’ANVUR e verifichiamo se sono state rispettate le regole. Abbiamo appena visto che ai giornalisti è stato comunicato che Milano Bicocca è uno dei migliori atenei italiani nel segmento del “Grandi atenei”. Però se si sfoglia il Rapporto Finale della VQR, nella Tabella 7.3a (Tabelle Parte Prima, p. 374) si trova una sorpresa.

 

 

Ebbene, quella “M” cerchiata in rosso sta a significare che nel Rapporto Finale della VQR Milano Bicocca non è collocata nel segmento dimensionale dei Grandi atenei ma è collocata, piuttosto, tra quelli Medi.

Cosa è successo?

Per qualche ragione, che sarebbe bene capire, le classifiche per i giornalisti sono state costruite usando una suddivisione in segmenti dimensionali diversa da quella usata nel Rapporto Finale VQR che, a tutti gli effetti, dovrebbe invece fare testo come documento ufficiale.

A questo punto sorge la curiosità di verificare quali risultati avrebbe condotto il confronto “dimensione-qualità” se si fossero rispettate le regole del gioco ovvero:

  1. usare i segmenti dimensionali definiti nel Rapporto Finale
  2. aggregare i punteggi delle diverse aree usando la formula consigliata nell’Appendice D.

Ecco il risultato:

______________________________________________________

CLASSIFICA DIMENSIONE – QUALITÀ: VERSIONE CORRETTA

I principali cambiamenti avvengono nella classifica dei Grandi atenei. Infatti, il Politecnico di Milano balza in testa e al quinto posto subentra l’Università di Milano, mentre Milano Bicocca, dovendo competere con gli agguerriti atenei di media dimensione non riesce  ad arrivare nelle prime cinque del suo segmento. Sulla base di questa classifica, nessuno avrebbe parlato del sorpasso della “madre” ad opera della “figlia” e il rettore Vago si sarebbe risparmiato il tentativo di autodifesa e, ciò che più conta, una bella dose di pubblicità negativa che andrà probabilmente ad incidere sulle immatricolazioni.

Vale la pena di ribadire che non ha molto senso ritenere che questa ultima classifica sia intrinsecamente migliore di quella propinata ai giornalisti. Sono entrambe poco significative, perché fortemente dipendenti dalle linee di demarcazione tra i segmenti dimensionali. Chi ha un minimo di consapevolezza metodologica, sorride quando legge le dotte disquisizioni dei presunti esperti su graduatorie così volatili. Piuttosto, chi ne capisce qualcosa è ben consapevole che queste classifiche, proprio perché affette da un elevato grado di arbitrarietà, sono il terreno ideale per incantare gli allocchi, soprattutto se chi le produce ha la spregiudicatezza di cambiare le soglie come meglio gli aggrada. A meno che l’artefice delle classifiche daltoniche non sia così sfortunato da incappare in chi si mette a fargli le pulci, nel qual caso il pericolo di una figuraccia è sempre in agguato.

Resta da capire chi renderà conto agli atenei per le informazioni inesatte trasmesse alla stampa, che con ogni probabilità orienteranno il comportamento delle matricole arrecando ad alcuni atenei danni finanziari non indifferenti. Il danno d’immagine creato con la diffusione di classifiche opinabili sarà assai difficile da sanare.

Il Ministro Carrozza in occasione della presentazione degli esiti della VQR ha affermato:

Con questa giornata, l’università italiana entra nell’Europa della valutazione e corrisponde al ruolo che spetta a una nazione promotrice del Processo di Bologna

Siamo sicuri che ci vogliano?

 [SEGUE: Leggete il seguito su VQR: le classifiche dell’ANVUR per i giornalisti]

Send to Kindle

13 Commenti

  1. Ottime osservazioni.
    Non posso che confermare quanto avevo già accennato in un altro commento (ad altro post), e cioè che in UK il RAE/REF è un esercizio di valutazione comparativa, preso sul serio. E’ un imperativo metodologico il fatto che gli standard valutativi e il loro rispetto (da tutti i revisori – ricordiamo che esiste solo la peer-review) siano **assoluti**, e ciò non solo all’interno di un’Area di ricerca, ma complessivamente, su tutte.
    Se non fosse così la conseguenza sarebbe l’inutilizzabilità “de facto” dell’esercizio per quella distribuzione selettiva di risorse che è all’origine della sua effettuazione, e che si inscrive in un Quadro normativo e di politica istituzionale ben fissato (e pure accettato dalla gran maggioranza dei cittadini, e pure degli accademici).
    Il compito dei responsabili dell’Esercizio è quello, per l’appunto, di particolarizzare gli standard di qualità per l’uso concreto nelle rispettive aree, mantenendo intatta la radice unitaria dei significati intesi, ai fini della validità e della comparabilità di tutti i giudizi.
    Ed è vero anche il discorso reputazionale: non per nulla in tutto il mondo i responsabili della produzione e della pubblicazione di classifiche accademiche temono parecchio ricorsi e citazioni in tribunale. Il RAE/REF si mantiene alla larga da ogni classifica “inutile”, e però anch’esso ha dovuto difendersi in Tribunale, una volta, mostrando di aver utilizzato le migliori metodologie valutative a disposizione, rispetto ai fini generali dell’esercizio, dettati dall’Autorità Politica.

  2. Da noi da ieri circolano le graduatorie dei dipartimenti dell’ateneo, in barba a tutte le raccomandazioni di essere cauti. Ci hanno comunicato con ‘viva e vibrante soddisfazione’ che il nostro Dip. è tra i primi tre. Non so come metteranno d’accordo l’accettazione orgogliosa di questa classifica col fatto che all’interno del dip. i fondi non sono distribuiti secondo i punteggi nazionali dei ssd di una certa area, dalla quale il dip. pesca tutti i suoi componenti. C’è chi avrà soddisfazioni e pochi danari e altri che avranno meno soddisfazioni e più danari e saranno più che contenti. Bel risultato complessivo. Altra aggiunta al brontolio nazionale.

    Quanto allo stile comunicativo dell’Anvur, corrisponde perfettamente agli schemi dello stile burocratico-politichese, quando non si vogliono o non si sanno dire cose chiare.

  3. Nella tabella usata per la stampa dovrebbe esservi anche questa nota (uso il condizionale perché non l’ho vista): “[1] Per ciascuna Struttura, è stato preso in considerazione il numero di Soggetti Valutati Equivalenti a Tempo Pieno (SVETP), che si ottiene dividendo il numero dei Prodotti Attesi per sei. Le università grandi hanno un numero di SVETP maggiore di 310,36; le medie hanno uno SVETP (strettamente) compreso tra 40,28 e 310,36; le piccole hanno uno SVETP minore di 40,28. All’interno di ciascuna fascia dimensionale, per ciascuna struttura, sono indicate le aree in cui la struttura figura nel primo quartile della graduatoria di area (Azzurro), quelle in cui la struttura è prima in graduatoria (Verdi) e, infine, quelle in cui la struttura figura nell’ultimo quartile (Rosso).”.

    A prescindere da tutte le altre considerazioni di merito e metodo, avendo la Bicocca (disclaimer: ateneo per cui lavoro) un numero di SVETP pari a 389,83, è stata considerata come “grande”.
    Comunque, la tabella 7.3a citata nel post, che presenta la Bicocca come ‘segmento dimensionale = M’, riporta lo stesso dato in tutte le tabelle relative agli indicatori di ricerca (brevetti, spin-off etc.).
    In alcuni indicatori di Area, Bicocca è addirittura dimensionata come piccola.

    In sintesi: non si può confrontare la tabella per la stampa, che procede da un dimensionamento (per quanto discutibile) di un certo tipo, e nel quale la Bicocca rispetta i parametri previsti per le ‘grandi’, con la tabella di un singolo indicatore o gruppo di indicatori.

    • Come giustamente osservato, se si esaminano indicatori di area, lo stesso ateneo può appartenere a diversi segmenti dimensionali a seconda dell’area considerata. Per questa ragione abbiamo cercato le classificazioni dimensionali relative all’intero ateneo che sembrano essere quelle riportate quando si esaminano indicatori di ateneo (conto terzi, brevetti). Tra l’altro, nella Tabella 7.3a del rapporto finale è riportata anche la numerosità dei tre segmenti dimensionali:
      G: 24 atenei
      M: 46 atenei
      P: 25 atenei
      Sembra pertanto che il criterio fosse quello di avere circa il 50% (o poco meno) nel segmento medio e definire due code (poco superiori al 25% ciascuna) nel segmento “piccolo” e in quello “grande”.
      La divisione basata sul numero di SVETP, conduce invece a tre segmenti dimensionali di questa numerosità:
      G: 32 atenei
      M: 32 atenei
      P: 32 atenei
      In questo caso, l’idea sembra essere quella di avere il 33% circa di atenei in ciascuno dei tre segmenti. È chiaro che se comincio a giocare con le soglie posso cambiare le classifiche. Nel rapporto ufficiale, dalla Tabella 7.3a in poi vengono usati sempre gli stessi segmenti riportando anche le graduatorie relative a questi segmenti per gli indicatori (di ateneo) considerati. Non sembrano esserci altri segmenti usati per ripartire gli atenei in piccoli-medi-grandi. Nei documenti per la stampa, invece, si usa un’altra ripartizione. Se la ripartizione è tutto sommato arbitraria (come io credo), le classifiche non possono essere prese troppo sul serio perché (come abbiamo mostrato) dipendono in modo sostanziale dalla definizione dei segmenti (effetto imbuto? https://www.roars.it/online/lanvur-la-classifica-degli-atenei-della-vqr-e-la-legge-dellimbuto/).
      Se invece la ripartizione ha dei fondamenti seri (e questo è forse l’unica assunzione che può difendere la validità delle classifiche), bisogna spiegare perché si usa una ripartizione nel rapporto finale ed un’altra ad uso e consumo della stampa. Quale delle due è giusta? Cosa impedisce a chi produce le classifiche di “ottimizzare” la segmentazione dimensionale per aiutare alcuni atenei e fare lo sgambetto ad altri? Esiste un modo per costruire una segmentazione che non possa essere accusata di essere arbitraria?

    • Gentile bonariabiancu, la inviterei a leggere i due post attentamente. Ci trova la citazione che riporta qua sopra. E potrà vedere che il cerchietto rosso che individua Bicocca come Media non è di una classificazione di area. Ma della classificazione dimensionale totale usata da anvur nel rapporto finale. Che è stata cambiata nelle tabelle per la stampa.
      “Sembra più ragionevole il secondo tipo di dimensionamento? A me sembrano egualmente arbitrari.” Se legge il post di De Nicola-Banfi trova scritto proprio questo. SE legge il mio potrà vedere che il punto sollevato è: perché si usano soglie diverse a seconda del pubblico cui ci si rivoge.

      “Non sarebbe più interessante e utile una analisi della qualità scientifica emersa dagli indicatori, per Area disciplinare?”
      Non non sarebbe più interessante. Discutere i risultati significa accettare metodo e tecniche di valutazione.
      Da un anno e passa stiamo scrivendo che quelli adottati da ANVUR sono metodi e tecniche fai-da-te.
      ROARS sta al momento tentanto di mostrare gli esiti di quei metodi e di quelle tecniche.

      PS. IN questo anno e mezzo è stato più facile parlare con Science che far passare un articolo su Sole24ore o Corriere della Sera -che non ne hanno accettato nessuno!

    • Chi mi invita a leggere i quotidiani, chi i post (più attentamente): non penserete mica che la capacità di dibattere sia appannaggio della sola accademia? 🙂

      Comunque, i due post riportano tabelle secondo me ulteriormente confusive sul reale posizionamento degli atenei – partendo dalla premessa (condivisibile) che i dimensionamenti sono arbitrari. Ma allora la mia domanda era ed è (anche nella II parte del post): non era meglio non seguire le stesse logiche, e partire con analisi scientifiche sui dati? Qui non si tratta di “accettare metodo e tecniche di valutazione” ma (temo!) di qualcosa di molto più semplice: di acclarare, senza aumentare il grado di entropia, che sono state usate due unità di misura diverse in due presentazioni diverse.

      Del fatto che (non) vi sia malafede in questo, rispondo solo per il mio ateneo, e per quanto di mia competenza – non certo per ANVUR o i quotidiani. Dell’ostinazione del Corsera o del Sole a non pubblicare i vostri articoli, mi dolgo, perché io invece li leggo quotidianamente – e in genere li apprezzo anche molto!

  4. Magari potremmo aspirare al modo ‘meno-arbitrario-possibile’: i segmenti sono un dato utile nelle tabelle per Area.

    Comunque, non mi sembra che qui qualcuno abbia voluto aiutare o fare lo sgambetto a qualcun altro: così ventilando, si sposa la tesi-Vago e si fomenta la guerra civile tra gli atenei.

    Se si vanno a studiare i dati e tabelle, ci si può fare una idea del tutto, e credo che le persone serie faranno comunque così. I titoli della stampa, francamente, lasciano il tempo che trovano (prova a guardare quanti primi in classifica sono miracolosamente emersi tra gli atenei del Sud nei titoli dei giornali locali! e lo dico da laureata al Sud…).

  5. Poiché viene riportata l’affermazione della Ministra Carrozza “[….] l’università italiana entra nell’Europa della valutazione e corrisponde al ruolo che spetta a una nazione promotrice del Processo di Bologna”, fatemi spendere due parole su questo specifico punto, sempre ad uso del lettore interessato.
    Benché non sia mai stato oggetto di attenzione pubblica sufficiente e informazione adeguata, il Processo di Bologna riguarda essenzialmente solo l’offerta formativa, e non la ricerca. Venne lanciato con l’idea di coordinare certi frammenti delle politiche nazionali per l’istruzione superiore (= terziaria, sia Universitaria che non) al fine di pervenire ad architetture e frammenti metodologici compatibili nell’Europa allargata, considerata sulla scala del Consiglio d’Europa (per questo ci sono 47 Paesi aderenti, ben oltre i 28 della UE).
    Dico questo perché non abbiamo mai discusso, in quel contesto Europeo, di metodologie di valutazione della ricerca, mentre – al contrario – esistono Standard e Linee Guida per la Garanzia di Qualità dell’offerta formativa adottate dai Ministri (nel 2005) e quindi rilevanti per le conseguenti politiche a livello nazionale. Non mi dilungherò qui sul fatto che, nonostante ciò, il “capitolo AVA” predisposto dall’ANVUR sia solo un pallida ombra del sistema consigliato e adottato in quel contesto. Dico solo che l’Italia Universitaria entrerà “veramente” nello Spazio Europeo dell’Istruzione Superiore quando avrà ben impostato ed attuato quel capitolo, e non sarà né questa VQR né altre valutazioni della ricerca che potranno surrogarlo.

    • E meno male che la prof.ssa Carrozza, come molti altri prima di lei (da ministri a consiglieri a eminenze grigie a opinionisti) provengono dal mondo dell’università.

  6. scusatemi
    fate capire anche me
    voi scrivete
    “Il daltonismo della tabella ANVUR riguarda 12 università. Di queste ve ne sono quattro che da “virtuose” nel Rapporto Finale sono state declassate a “viziose” ad uso e consumo dei giornalisti:
    1.Pisa
    2.Modena e Reggio Emilia
    3.Parma
    4.Camerino
    a me, dalla tabella, mi risulta
    1.Pisa
    2.Modena e Reggio Emilia
    3.Parma
    4.Calabria
    dove sbaglio?

    • Calabria rimane rossa. Camerino cambia colore, ma era su un’altra slide e per motivi di spazio non entrava nella figura (basta controllare nei file i cui link sono forniti nel post)

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.