L’ANVUR ha fornito alla stampa classifiche diverse da quelle desumibili dal Rapporto Finale della Valutazione di Qualità della Ricerca. In particolare sono state cambiate le soglie di demarcazione dei segmenti dimensionali degli atenei. Come conseguenza, cambiano parecchie posizioni di testa. Non è cosa da poco perché è in gioco l’immagine e la reputazione degli atenei e degli enti di ricerca.

[Leggi qui la prima puntata: VQR: le classifiche daltoniche dell’ANVUR]

 

Questo articolo mostra che ANVUR ha classificato le strutture valutate (Università ed Enti) come grandi, medie e piccole in modo diverso nel Rapporto finale della VQR ed in alcune delle classifiche diffuse alla stampa. Il cambiamento di classe dimensionale di università ed enti fa sì che le classifiche diffuse alla stampa siano molto diverse da quelle che si possono ricavare adottando le classi dimensionali usate dalla stessa ANVUR nel rapporto finale VQR.

La necessità di stabilire soglie dimensionali è fissata (sic!) dal DM e dal Bando. Nel rapporto finale, ANVUR presenta alcune classifiche (almeno nelle tabelle 7.3.a; 7.3.b; 7.3.c; 7.3.d; 7.4.a; 7.4.b; 7.4.c; 7.5.a; 7.5.b; 7.5.c) dove università e enti di ricerca sono suddivisi in grandi, medi e piccoli.

Le soglie hanno giocato un ruolo chiave nella comunicazione dei risultati alla stampa, dove sono state presentate le classifiche per classe dimensionale e qualità della struttura. Qui potete scaricare le tabelle complete.

Nel comunicato stampa ha avuto ampio risalto l’elenco delle università al top diviso nelle categorie grandi, medie e piccole.

Qui potete leggere il comunicato stampa di sintesi che indica con le migliori 5/6 università per ciascun segmento dimensionale. 

Ma come sono state suddivise per dimensione le diverse strutture? La spiegazione si può leggere (per quanto scritta in gergo iniziatico) nel comunicato stampa:

Le soglie dimensionali sono stabilite in relazione al numero di Soggetti Valutati Equivalenti a Tempo Pieno (SVETP). In sostanza, si tratta del numero di prodotti attesi diviso per 6. Nelle classifiche per i giornalisti l’elenco delle università è diviso in tre parti di eguale dimensione. Il 33% delle università più grandi sono le grandi; il successivo 33% sono le medie; il restante le piccole.

Nella classificazione adottata nel rapporto finale ANVUR (Tabelle 7.3a e seguenti) i tre gruppi non sono di eguale numerosità: sono classificate come grandi il 25% le università più grandi; il 50% successivo sono le medie; il restante 25% sono le piccole.

Per capire bene il punto si può guardare la tabella seguente che ricostruisce le soglie dimensionali in termini di prodotti attesi usate nella classificazione del rapporto finale ANVUR e nelle classifiche per i giornalisti.

Nota alla tabella. Nel rapporto non sono riuscito a trovare la definizione precisa delle soglie ed i dati sulla cui base esse sono calcolate. I dati in tabella riferiti al Rapporto finale sono state calcolati come 25° e 75° percentile a partire dalla tabella 7.3.a  del rapporto finale per le università; lo stesso calcolo ripetuto per gli enti di ricerca sulla tabella 7.4.a non è del tutto congruente con la classificazione adottata nella stessa tabella. La Fondazione Bruno Kessler a rigore dovrebbe essere classificata tra le medie avendo un SVETP pari a 106,67, inferiore al valore 114,79 del 75° percentile.

 

Come si può vedere le soglie cambiano radicalmente. E con le soglie cambiano anche le classifiche.

Vediamo cosa succede nella classifica delle top universities, cioè nella classifica delle università con risultati di rilievo nelle 14 (16) aree disciplinari. ANVUR, riprendendo la VTR, ha pensato di stilare una classifica sulla base dei risultati raggiunti da ogni università in tutte le aree disciplinari. Si procede separando le università per gruppo dimensionale. Si calcola un punteggio basato sui colori delle celle di ciascuna università. Si somma il numero di celle verdi (aree in cui l’università occupa il primo posto nella graduatoria) e azzurre (aree in cui l’università è posizionata nel top-25%), si sottrae poi il numero di celle rosse (aree in cui l’università è posizionata nel peggior 25%). Le università “migliori” sono quelle con punteggi più elevati. Nei casi ex-aequo è considerata migliore la struttura con più “verdi”, cioè con più primi posti.

______________________

“Le Grandi Università al top” (sic): versione per la stampa (cliccare per ingrandire). La tabella contiene due errori: (i) a parità di punteggio (5 punti), Torino dovrebbe precedere Pavia perché può vantare due primi posti (Area 9 e Area 11a) contro un solo primo posto di Pavia (Area 1); (ii) le caselle azzurre di Milano Bicocca sono sei e non sette, perché l’Area 6 è erroneamente colorata in azzurro mentre dovrebbe essere bianca.

__________________________________

 

Nella classifica diffusa da ANVUR ai giornalisti, basata quindi sulle soglie per giornalisti, le cinque “grandi università al top in tutte le aree” sono nell’ordine:

1° Padova (7 verdi + 4 azzurro= 11)

2° Milano Bicocca (1 verde + 7 azzurro= 8) [Dato errato ndr]

3° Verona (1 verde + 6 azzurro= 7)

4° Bologna (2 verdi + 4 azzurro=6)

5° Pavia (1 verde + 5 azzurro -1 rosso=5)

Nella classifica, ma questo non è importante ai nostri fini, dovrebbero esserci almeno due errori. Il primo riguarda Torino che ha 2 verdi e 3 azzurro per un totale di 5 punti (tab. 6.6; pagina 57 del pdf) e, per la regola dell’ex-aequo, dovrebbe trovarsi al 5° posto poiché a parità di punteggio ha due verdi contro uno solo di Pavia. Il secondo riguarda invece Milano Bicocca. L’indicatore di area 6 è colorato di azzurro; nel rapporto finale ANVUR (tab. 6.6; pagina 57 del pdf)  l’indicatore non è colorato. Infatti se si controlla sulla tabella 3.1.a del rapporto di Area 6 si vede che con un valore di R=1,39 Milano Bicocca si piazza al 9° posto su 20, quindi non rientra nel top-25%. La classifica diffusa ai giornalisti da ANVUR andrebbe quindi così corretta:

1° Padova (7 verdi + 4 azzurro= 11)

2° Milano Bicocca (1 verde + 6 azzurro= 7)

2° Verona (1 verde + 6 azzurro= 7)

4° Bologna (2 verdi + 4 azzurro=6)

5° Torino (2 verdi + 3 azzurro = 5)

Ma non è tutto. Se consultiamo il Rapporto Finale – Parte Prima: Statistiche e risultati di compendio – tabelle, scopriamo che nel documento ufficiale le linee di demarcazione tra gli atenei piccoli, medi e grandi sono diverse da quelle utilizzate per compilare le classifiche ad uso della stampa.

_________________________

Dal Rapporto Finale – Parte Prima: Statistiche e risultati di compendio – tabelle in PDF, Tabella 7.3a, pag 374: la “M” cerchiata in rosso sta a significare che, nel rapporto ufficiale, l’università di Milano Bicocca appartiene al segmento dimensionale Medio, mentre nel materiale per la stampa è classificata “Grande”. In modo del tutto analogo, in fondo alla stessa Tabella 7.3a (pag. 377) si vede che anche Verona è ufficialmente classificata come “Media”, invece che “Grande” come comunicato alla stampa.

_________________________

Se adesso applichiamo le soglie dimensionali adottata nel rapporto finale ANVUR, la classifica cambia radicalmente: infatti, nel proprio rapporto finale. Milano Bicocca e Verona sono classificate dall’ANVUR  non tra le grandi, bensì tra le medie università. Ecco allora la classifica delle grandi basata sulle soglie adottate nel rapporto finale ANVUR:

 

1° Padova (7 verdi + 4 azzurro=11)

2° Bologna (2 verdi + 4 azzurro=6)

3° Torino (2 verdi + 3 azzurro=5)

4° Pavia (1 verde + 5 azzurro -1 rosso=5)

5° Parma (1 verde + 4 azzurro + 1 rosso=4)

5° Roma Tor Vergata (1 verde + 4 azzurro + 1 rosso=4)

Nota: La “versione originale“ è una ricostruzione dell’aspetto che avrebbe avuto la classifica diffusa da ANVUR ai giornalisti, se fossero stati rispettati i segmenti dimensionali usati nel documento ufficiale del Rapporto Finale (riportati, per esempio, nel Rapporto Finale – Parte Prima: Statistiche e risultati di compendio – tabelle in PDF, Tabella 7.3a, pp. 372-377).

 ________________________

Passiamo alle medie università. Se usiamo la classificazione per i giornalisti, le prime 6 medie università al top sono:

1° Trento (6 verdi + 5 azzurro – 2 rossi = 9)

2° Bolzano (6 azzurro= 6)

3° Ferrara (6 azzurro – 1 rosso = 5)

4° Milano San Raffaele (1 verde + 3 azzurro = 4)

5° Piemonte orientale (2 verdi + 2 azzurro – 1 rosso = 3)

5° Venezia Cà Foscari (2 verdi + 2 azzurro – 1 rosso=  3)

Se applichiamo la  classificazione di media università adottata nel rapporto finale ANVUR la classifica cambia così:

1° Trento (6 verdi + 5 azzurro – 2 rosso = 9)

2° Milano Bicocca (1 verde + 6 azzurro= 7)

2° Verona (1 verde + 6 azzurro= 7)

4° Bolzano (6 azzurro= 6)

5° Pisa Sant’Anna (2 verdi + 3 azzurro = 5)

Ed infine le piccole università. Nella classifica ad uso dei giornalisti troviamo

1° Pisa Sant’Anna (2 verdi + 3 azzurro = 5)

2° Trieste SISSA (3 verdi = 3)

3° Pisa Normale (3 azzurro = 3)

3° Roma LUISS (3 azzurro = 3)

5° Roma biomedico (2 azzurro = 2)

Se applichiamo la classificazione per dimensioni adottata da ANVUR nel rapporto finale la classifica cambia radicalmente, perché ben 4 delle università che ANVUR compila le classifiche per i giornalisti, sono medie nel rapporto finale VQR. E quindi la classifica diventa:

1° Trieste SISSA (3 verdi = 3)

2° Lucca IMT (1 verde = 1)

3° Aosta (1 azzurro =1)

Seguono ex-aequo 6 piccole università con punteggio zero.

La storia con gli enti non cambia molto. Qui la classifica diffusa è basata sulla “% di miglioramento”. 

La classifica per i grandi enti secondo le soglie per i giornalisti è la seguente:

1° Istituto Nazionale geofisica e vulcanologia

2° Istituto Nazionale di Fisica Nucleare

Poi iniziano i punteggi negativi con il peggior risultato raggiunto dal Consiglio Nazionale delle Ricerche.

Se si adottano le soglie dimensionali che ANVUR ha usato nel rapporto finale la classifica dei grandi enti cambia così:

1° Istituto Nazionale di Alta Matematica “Francesco Severi”

2° Istituto Nazionale di Geofisica e Vulcanologia

3° Istituto Nazionale di Fisica Nucleare

Da qui in poi iniziano i punteggi negativi, ma l’ultimo posto in classifica non è più del CNR, bensì della Fondazione Bruno Kessler.

La classifica degli enti medi con le soglie per i giornalisti è la seguente:

1° Istituto Italiano di Tecnologia – IIT

2° IRCSS – Fondazione Santa Lucia

3° Istituto Nazionale di Alta Matematica “Francesco Severi”

Se si adotta la classificazione dimensionale usata dall’ANVUR nel rapporto finale la classifica cambia radicalmente:

1° Sincrotrone Trieste S.C.p.A.

2° Fondazione Edmund Mach

3° Istituto Italiano di Tecnologia – IIT

Infine i piccoli Enti. Questa la classifica con le soglie per i giornalisti:

1° Istituto Italiano di Studi Germanici

2° Museo Storico della Fisica Enrico Fermi

3° Sincrotrone Trieste S.C.p.A.

Se si adotta la definizione di piccolo ente usata dall’ANVUR nel rapporto finale la classifica cambia così:

1° Istituto Italiano di Studi Germanici

2° Museo Storico della Fisica Enrico Fermi

3° Laboratorio Europeo di Spettroscopia non lineare.

 

Credo che ANVUR dovrebbe rispondere a queste tre domande:

1. perché nel rapporto finale è stata adottata una classificazione dimensionale di università ed enti diversa da quella utilizzata per i comunicati stampa; 

2. se la classificazione “giusta” è quella del rapporto, non sarebbe opportuno inviare alla stampa una correzione delle classifiche diffuse con i comunicati stampa?

3. se la classificazione “giusta” è quella del materiale per la stampa, non sarebbe opportuno rivedere il rapporto finale?

 

[Leggi qui la prima puntata: VQR: le classifiche daltoniche dell’ANVUR]

 

Print Friendly, PDF & Email

31 Commenti

  1. Nota tecnica (che ripete le considerazioni di un altro mio commento: https://www.roars.it/vqr-le-classifiche-daltoniche-dellanvur/comment-page-1/#comment-14474): se si esaminano indicatori di area, lo stesso ateneo può appartenere a diversi segmenti dimensionali a seconda dell’area considerata. Per questa ragione abbiamo cercato nella documentazione ufficiale le classificazioni dimensionali relative all’intero ateneo che sembrano essere quelle riportate quando si esaminano indicatori di ateneo (conto terzi, brevetti, etc.). Le abbiamo trovate nella Tabella 7.3a e seguenti del rapporto finale, dove si legge anche la numerosità dei tre segmenti dimensionali:
    G: 24 atenei
    M: 46 atenei
    P: 25 atenei
    Sembra pertanto che il criterio fosse quello di avere circa il 50% (o poco meno) nel segmento medio e definire due code (poco superiori al 25% ciascuna) nel segmento “piccolo” e in quello “grande”.
    La divisione basata sul numero di SVETP riportata nel file per i giornalisti, conduce invece a tre segmenti dimensionali di questa numerosità:
    G: 32 atenei
    M: 32 atenei
    P: 32 atenei
    In questo caso, l’idea sembra essere quella di avere il 33% circa di atenei in ciascuno dei tre segmenti. È chiaro che se comincio a giocare con le soglie posso cambiare le classifiche. Nel rapporto ufficiale, dalla Tabella 7.3a in poi vengono usati sempre gli stessi segmenti riportando anche le graduatorie relative a questi segmenti per gli indicatori (di ateneo) considerati. Non sembrano esserci altri segmenti usati per ripartire gli atenei in piccoli-medi-grandi. Nei documenti per la stampa, invece, si usa un’altra ripartizione. Se la ripartizione è tutto sommato arbitraria (come io credo), le classifiche non possono essere prese troppo sul serio perché (come abbiamo mostrato) dipendono in modo sostanziale dalla definizione dei segmenti (effetto imbuto? https://www.roars.it/lanvur-la-classifica-degli-atenei-della-vqr-e-la-legge-dellimbuto/).
    Se invece la ripartizione ha dei fondamenti seri (e questo è forse l’unica assunzione che può difendere la validità delle classifiche), bisogna spiegare perché si usa una ripartizione nel rapporto finale ed un’altra ad uso e consumo della stampa. Quale delle due è giusta? Cosa impedisce a chi produce le classifiche di “ottimizzare” la segmentazione dimensionale per pilotare i risultati? Esiste un modo per costruire una segmentazione che non possa essere accusata di essere arbitraria?

  2. Concordo e commento solo riguardo alla slide che comparava INGV ed INFN. In primis, nel rapporto, nel segmento dei Grandi Enti, l’INGV non c’e’ (compare solo INFN, INAF, CNR).
    Secondo, i numeri “comparativi” sono sbagliati.
    Usando i rapporti dell’ANVUR
    IRFS:
    INFN atteso: 16.25, ottenuto 22.37 (+ 37%)
    INGV atteso: 5,477 ottenuto 5.99 (+9.42%).
    quindi
    a) le due entita’ non andavano comparate
    b) si sono usati i numeri sbagliati
    c) uno score migliore non vuol dire “ente piu’ innovativo” (che razza di misura e’ stata fatta)?

    • Una divergenza di opinioni interna al direttivo spiegherebbe la contraddizione tra le cautele espresse nel rapporto finale e la strategia “scavezzacollo” adottata nella comunicazione con la stampa. Un azzardo da (cattivo) giocatore di poker dato che il “bluff” (così lo definisce oggi il Secolo XIX, http://www.ilsecoloxix.it/p/italia/2013/07/26/AP7VQ23F-universita_classifica, che riprende la notizia insieme al Manifesto che parla di “carte truccate” http://rassegna.unipv.it/bancadati/20130726/SIT5208.pdf) non aveva molte speranze di passare inosservato. Potrebbe essere che una parte dell’agenzia consideri ormai fallito il tentativo di accreditarsi presso l’opinione pubblica e accademica puntando su competenza scientifica e rigore tecnico. Piuttosto si punta sui metodi da marketing, basati su classifiche da tabloid e pochi slogan di facile memorizzazione. Potendo contare sull’appoggio quasi incondizionato di Sole24 e Corriere (per quanto Gianantonio Stella non abbia potuto esimersi dal ridicolizzare qualche exploit veramente estremo), la strategia anti-scientifica potrebbe rivelarsi la più efficace (per creare consenso ma deleteria per il paese). D’altronde lo stato dell’informazione in Italia è quello che è. Il Corriere vende nelle edicole il librettino con tutte le pagelle ANVUR-VQR: avrà la correttezza di avvisare i suoi lettori che la settimana scorsa hanno letto classifiche che sono diverse da quelle che si desumono dal librettino? (che sembra basato sul rapporto finale).

      Correzione: il librettino non solo sembra fedele al rapporto finale, ma è persino più cauto perché si limita alle sole classifiche per aree senza arrischiare classifiche globali. Quindi non smentisce le “classifiche per giornalisti”. I lettori del Corriere hanno ricevuto informazioni diverse dai documenti ufficiali e, fino a rettifica, penseranno che siano affidabili.

  4. Non so se ci sono state diverse opinioni…certamente la compressione dei tempi non ha aiutato. Pero’ mandare numeri sballati ai giornalisti non aiuta la societa’ italiana a capire quel che succede nella valutazione della ricerca..

  9. Francamente non capisco il taglio dei due post: si confuta il criterio della classifica e se ne propongono di rivedute e corrette. Bicocca passa dal segmento dimensionale ‘grandi’ a quello ‘medie’, per 20 prodotti (Rapporto finale ANVUR: soglia prodotti a 2.348; prodotti attesi Bicocca: 2.328). Sembra più ragionevole il secondo tipo di dimensionamento? A me sembrano egualmente arbitrari. La Bicocca passa dal secondo posto tra le università dimensionalmente grandi, al secondo posto tra le università dimensionalmente medie. Sembra più ragionevole questo? O sembra almeno più compensatorio per i grandi atenei? Il cerchietto rosso sulla M (https://www.roars.it/wp-content/uploads/2013/07/BicoccaPiccola.png) rende finalmente giustizia alla ‘madre’ spodestata, nella contesa Statale-Bicocca? Ma andiamo…

    Non sarebbe più interessante e utile una analisi della qualità scientifica emersa dagli indicatori, per Area disciplinare? Magari un approfondimento di questo tipo aiuterebbe anche i lettori dei quotidiani nonché gli studenti in cerca di corso di laurea. Da ROARS mi sarei aspettata in prima battuta questo, e non la sostituzione di un criterio arbitrario con un altro criterio arbitrario.

    Ho già commentato nel primo post (https://www.roars.it/vqr-le-classifiche-daltoniche-dellanvur/comment-page-1/#comment-14473), che i complottismi (accuse di sgambetti e favoritismi, cui si aggiunge qui il riferimento al supporto incondizionato del Sole 24 Ore e del Corsera) non mi sembrano il massimo della correttezza né dell’eleganza. Un conto, è la critica ad ANVUR e ai suoi criteri; un altro, sono le insinuazioni relative ad altri atenei.

    • Abbiamo chiaramente specificato che nessuna delle due classifiche é attendibile. Perché non ci sono classifiche attendibili. Punto. Quanto al complottismo: non capisco dove avremmo sostenuto l’esistenza di complotti. Che grazie al Corsera ANVUR abbia dato una bella mano mediatica alla Bicocca é un fatto, non un complotto. Del resto nessuno sostiene che sia stata un’operazione ad hoc: la lunga conoscenza di ANVUR dice che si tratta piú di incompetenza e errori che malafede. Last: con il tempo analizzeremo tutto il rapporto VQR. Ricordo che a differenza di altri non siamo pagati per farlo e cerchiamo tutti di lavorare anche alle nostre rispettive discipline.
      P.s. Lei davvero trova dubbio il riferimento al supporto incondizionato dei maggiori quotidiani nazionali? Li legge?

    • @Antonio Banfi: Eccome, se li leggo: sono la mia forma di letteratura preferita!

      Nei commenti al primo post citavo, non a caso, esempi di altri quotidiani che esaltavano, con ammirevole creatività e amor patrio, le eccellenze accademiche del proprio campanile.

      D’altronde, vogliamo restare ai big?, la Repubblica pubblicava, in prima pagina, il 18 (se non erro), cioè in pratica il giorno dopo la diffusione dei risultati VQR al grande pubblico mediante carta stampata, ulteriori titoli con tutt’altre classifiche di università (CENSIS, questa volta).

      Se si parla di ‘aiutare alcuni atenei e fare lo sgambetto ad altri’ (v. commento De Nicolao https://www.roars.it/vqr-le-classifiche-daltoniche-dellanvur/comment-page-1/#comment-14474) e si cerchietta ossessivamente la (sola) Bicocca, ammetterai che qualche ombra la si getta sull’ateneo.

      Peraltro, la Bicocca, finita in questo post seconda tra le medie, nel primo post era stata fatta addirittura fuori dalle prime cinque, in tutt’altra tabella.

      Ora, visto che una cosa è l’ANVUR, un’altra la VQR, un’altra i numeri, un’altra i titoli dei quotidiani e un’altra ancora le università e la ricerca che in esse si svolge e che merita rispetto e considerazione – e soprattutto visto e considerato che stiamo dicendo che le classifiche dimensionali di per sé non danno diritto al bollino di qualità, potete aggiustare la mira e puntare al bersaglio giusto (= gli artefici degli errori e/o dei malintesi) e non agli atenei? (magari anche cambiando armi, cioè metodo, cioè evitando di proporre ulteriori classifiche e tabelle e cerchietti…)

    • @bonariabiancu La differenza tra le classifiche Censis ed ANVUR è enorme.
      Censis è un istituto di ricerca privato che stila un sua classifica e vende in edicola la guida in accordo con Repubblica. E’ il mercato.
      ANVUR è una agenzia del MIUR. Che fa una “classifica di stato” pagata con soldi pubblici. E distribuita in edicola credo dal Corriere della Sera.
      Evito commenti su questo.

    • bonariablancu: “Se si parla di ‘aiutare alcuni atenei e fare lo sgambetto ad altri’ (v. commento De Nicolao https://www.roars.it/vqr-le-classifiche-daltoniche-dellanvur/comment-page-1/#comment-14474) e si cerchietta ossessivamente la (sola) Bicocca, ammetterai che qualche ombra la si getta sull’ateneo.”
      ================
      La mia citazione completa è ” Cosa impedisce a chi produce le classifiche di “ottimizzare” la segmentazione dimensionale per aiutare alcuni atenei e fare lo sgambetto ad altri?”. In effetti, chi ha in mano la definizione dei segmenti dimensionali è in grado di influenzare le classifiche come Roars ha ampiamente dimostrato. A seconda di dove cadono le linee di demarcazione tra piccoli-medi-grandi atenei cambiano le classifiche ed un ateneo che occupa una delle prime piazze in un segmento dimensionale può scomparire dal podio se viene collocato in un altro. Si tratta di un fatto noto agli esperti (e – si spera – anche all’ANVUR). È una delle ragioni per cui le agenzie di valutazione serie non producono classifiche (“We have not produced any ranked lists of single scores for institutions or UoAs [Units of Assessment], and nor do we intend to.” scrive l’HEFCE, l’agenzia inglese). Da noi, invece, fin dall’inizio (il 4 febbraio 2012, un anno e mezzo fa) Sergio Benedetto, il coordinatore della VQR ha dichiarato:
      «Sì, il risultato finale sarà una classificazione delle università fatta all’ interno di ogni area scientifica. Ad esempio, emergerà una graduatoria che dirà come la ricerca nella fisica sia migliore nell’ ateneo A piuttosto che B, e così via. … Tutte le università dovranno ripartire da zero. E quando la valutazione sarà conclusa, avremo la distinzione tra researching university e teaching university. Ad alcune si potrà dire: tu fai solo il corso di laurea triennale. E qualche sede dovrà essere chiusa.” http://ricerca.repubblica.it/repubblica/archivio/repubblica/2012/02/04/laurea-doc.html
      Anche le classifiche fatte all’interno delle aree scientifiche risentono dei segmenti dimensionali. Che in base a queste classifiche si declassino le università al ruolo di “teaching university” oppure si chiudano delle sedi lascia perplessi. Chi rilascia queste dichiarazioni è tecnicamente sprovveduto al punto di non essere consapevole che le graduatorie risentono delle demarcazioni dimensionali? Oppure, in modo del tutto consapevole auspica che le decisioni sul destino degli atenei vangano basate su graduatorie volatili e prive di base scientifica?
      Mi sembrano interrogativi del tutto legittimi. Chi li solleva non getta nessuna ombra sugli atenei valutati che a seconda delle scelte discrezionali dell’agenzia possono godere di una gradita promozione mediatica oppure subire dei danni reputazionali. Ma non dipende da loro.
      Riguardo al “cerchiettare ossessivamente la (sola) Bicocca”, posso rimediare cerchiettando anche Verona :-)

      _________________________

      pag. 377 di http://www.anvur.org/rapporto/files/VQR2004-2010_Tabelle_parteprima.pdf
      _________________________
      Se poi qualche collega veronese dovesse aversene a male, per stabilire una perfetta “par condicio” proseguirò con la cerchiettatura di tutti gli atenei il cui segmento dimensionale cambia quando si passa dal Rapporto Finale al Materiale per la Stampa. Naturalmente, nessuno di questi atenei ha ragione di sentirsi tirato in causa, dato che le variazioni tra un documento e l’altro sono dovute esclusivamente all’ANVUR.

    • Proporre diverse classifiche (o meglio evidenziare le differenze fra le classifiche che anvur ha dato alla stampa e quelle desumibili dal Rapporto) non é ovviamente finalizzato a colpire o elogiare questo o quell’ateneo, ma a mostrare il modo dilettantesco in cui ha operato l’agenzia, che pure aveva parlato di metodi di calcolo che avrebbero dovuto rendere risultati omogenei. Capisco che qualcuno possa sentirsi a disagio, ma dovrebbe prendersela non con chi evidenzia errori e incongruenze, ma con chi li ha commessi. Piú in generale: le classifiche non possono andare bene solo quando ci fanno comodo. Come ricordato ad nauseam sono uno strumento non scientifico, approssimativo e che un’agenzia di valutazione dovrebbe evitare, questo é il punto. Vale per la Bicocca e vale per Milano Statale. Peraltro c’é una cospicua bibliografia scientifica in materia e anche un blog ad hoc che si é fatto carico di raccontare tutte le mostruositá classificatorie che accadono per il mondo, che tuttavia sono per lo piú il parto di privati (university ranking watch, sta nei links di roars).

      P.s. Ripongo la solita domanda: chi renderà conto del danno d’immagine subito da atenei che sono stati classificati, a uso esclusivo della stampa, in modo diverso rispetto a quanto suggerito dal rapporto finale?

  12. Torno nel dibattito. Non credo alla dietrologia e -per i rapporti che da tempo ho con l’ANVUR- penso di poter dire che si sia tratto di errori fatti per fretta di uscire. Dopodiche’ i comunicati stampa (prendete per esempio quello dell’ANSA sugli Enti di Ricerca) sono basati su slide sbagliate distribuite il 16. Slides fatte in fretta e furia e che contraddicevano quanto loro stessi hanno scritto nel loro rapporto finale e nei rapporti degli Enti. Credo che la comunita’ che guarda a questi dati dovrebbe studiarli divisi per Area invece che farsi trascinare nelle classifiche generali. E’ -peraltro- anche il suggerimento che e’ stato fatto da Sergio Benedetto nella presentazione del 16 luglio (questo testimonia che anche l’ANVUR sa che le classifiche generali dicono poco).
    Mi sembra molto piu’interessante studiare i dati (ed eventualmente chiederne degli altri) che fermarci (noi) a discutere dell’uso strumentale che i giornali fanno dei dati. Peraltro -oramai- anche i giornalisti avrebbero avuto tempo di leggere il rapporto e correggere i loro articoli. Se non lo fanno la responsabilita’ va addebitata a loro…

    • Noi infatti siamo qui ad aspettare che ANVUR chiarisca, magari con un bel comunicato stampa se, come scrive lei “i counicati stampa sono basati sul slide sbagliate distribuite il 16”.

    • Caro Chiarelli,
      la fretta non è una scusante ma è una aggravante. Dall’inizio l’Anvur ha palesato questa fretta incredibile. Per fare cosa? Per andare dove? Ora si è capito: per andare a schiantarsi contro un muro. Bene bravi bis. Come era facilmente prevedibile l’unica cosa che hanno davvero ottenuto è coprire di ridicolo la parola valutazione per i prossimi decenni.

    • Cari tutti,
      non voglio certo difendere l’ANVUR. Personalmente sono d’accordo che la fretta (e la conseguente approssimazione) nell’uscire pubblicamente con i risultati della VQR non attenua (anzi) gli sbagli dell’ANVUR. Quanto alle tabelle parto dal presupposto che siano esatte (e faccio i check prima di usarle). Sono pero’ convinto che, tenendo ben presente i limiti dell’esercizio, possano fornire dei dati utili, innanzitutto alle Strutture che sono state misurate.
      Ed uso il verbo misurare deliberatamente.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.