L’agenzia nazionale di valutazione dell’università  e della ricerca (Anvur) ha appena pubblicato i risultati dell’esercizio di valutazione qualità della ricerca degli atenei italiani. Ne sono venute fuori classifiche di tutti i generi delle “migliori” università in questa o quella disciplina. Le classifiche sono semplici da capire: nessuno avrà alcuna difficoltà a sapere dove si produce ricerca di “eccellenza” in questo o quel settore e finalmente il legislatore avrà in mano una mappatura dei campi scientifici per capire dove riversare i “premi” e dove “punire”, tagliando fondi per evitare sprechi.

E chi è contrario a immettere un po’ di “meritocrazia” nel sistema universitario?

Purtroppo i metodi usati per valutare i ricercatori (e dunque gli stessi atenei) non trovano corrispondenza in altri paesi e le classifiche non solo non vengono fatte da altre agenzie analoghe ma… le classifiche date alla stampa dall’Anvur sono anche piuttosto diverse da quelle pubblicate nel rapporto della stessa agenzia. Andiamo con ordine.

Dunque un sistema complesso come quello universitario è ridotto a essere una sorta di campionato di calcio in cui ci sono vincitori e vinti molto facilmente identificabili dalla semplice graduatoria in classifica. Ma è davvero così semplice valutare? E’ questo lo scopo della valutazione? In realtà valutare è un processo molto difficile da compiere e richiede competenze tecniche e sociali piuttosto raffinate.

Non è un caso che in paesi dove la valutazione è stata introdotta qualche decennio addietro, come l’Inghilterra, ci si guardi ben dal stilare classifiche:  è ben noto che esse non hanno alcuna base scientifica.

La ragione è che la “qualità” di un ateneo non può essere ridotta a una variabile unidimensionale calcolabile in maniera quantitativa semplicemente conteggiando quanti articoli sono stati scritti e quante citazioni hanno avuto, e dunque è necessario inquadrare il problema con una prospettiva che consideri la complessità del fenomeno scientifico e sociale che si sta considerando.  Se l’agenzia di valutazione vuole davvero introdurre “merito” e “eccellenza” nell’università non deve palesare un chiaro ritardo tecnico-scientifico rispetto alla letteratura internazionale e ad altre esperienze di valutazione compiute in altri paesi.

Non solo l’uso di classifiche è inopportuno, ma la stessa maniera di classificare la “qualità” degli articoli scientifici secondo parametri bibliometrici (citazioni, fattori d’impatto, ecc.) è del tutto in controtendenza rispetto a quanto avviene nei paesi cui si fa riferimento quando si discute di merito e valutazione.

Dunque, oltre ad aver utilizzato dei metodi di valutazione che non trovano riscontri in altri paesi, oltre ad aver pubblicato classifiche di università, di dipartimenti e di discipline, cosa che pure è sconosciuta negli altri paesi dove sono stati fatti degli esercizi di valutazione “simili” a quello italiano, l’Anvur ha pure dato alla stampa delle classifiche diverse da quelle contenute nel (illeggibile ai  più) rapporto finale, così che atenei che avevano già stappato bottiglie per festeggiare la promozione si ritrovano retrocessi. Quelli che invece sono stati messi alla gogna pubblica con il marchio del bollino rosso, magari si ritrovano un bel bollino verde di qualità, ma tanto il grande pubblico non lo saprà mai.

Come detto queste classifiche sono sbagliate e dannose e servono solo per influenzare l’opinione pubblica, come ad esempio gli studenti, per la scelta di un ateneo piuttosto che un altro.  Ma perché è stata fatta questa confusione? Com’è possibile che chi si fregia di immettere finalmente qualità e merito nell’accademia faccia dei pasticci del genere? E sono solo pasticci? Alberto Baccini al termine di un’analisi dettagliata dei documenti dell’Anvur pone delle domande, che qui riporto, a cui sarebbe necessario ottenere riposta:

1. Perché nel rapporto finale è stata adottata una classificazione dimensionale di università ed enti diversa da quella utilizzata per i comunicati stampa?

2. Se la classificazione “giusta” è quella del rapporto, non sarebbe opportuno inviare alla stampa una correzione delle classifiche diffuse con i comunicati stampa?

3. Se la classificazione “giusta” è quella del materiale per la stampa, non sarebbe opportuno rivedere il rapporto finale?

In ogni caso l’uso di tecniche di valutazione grossolane o sbagliate non solo può distorcere una corretta allocazione dei fondi e delle ma può indurre comportamenti opportunistici da parte dei ricercatori.   Lo scopo della valutazione del sistema universitario deve essere quello di acquisire informazioni utili per il miglioramento e non deve rappresentare uno strumento di natura punitiva che rischia di generare una pressione per migliorare dei parametri che, piuttosto che misurare la “qualità”, ne danno una rappresentazione caricaturale attraverso dei surrogati fuorvianti e screditati.

(Pubblicato su Il Fatto Quotidiano)

Print Friendly, PDF & Email

20 Commenti

  2. “Non è un caso che in paesi dove la valutazione è stata introdotta qualche decennio addietro, come l’Inghilterra, ci si guardi ben dal stilare classifiche: è ben noto che esse non hanno alcuna base scientifica.”
    La quantità e qualità di amenità prodotte dall’Anvur è tale che non si capisce perchè la critica si debba basare su affermazioni inesatte. Se si cerca sul web si trovano in 5 minuti i rankings prodotti dal RAE inglese nel 2008, anche perchè sono spesso ancora oggi dichiarati dai dipartimenti nelle loro pagine di presentazione. E dall’attivismo dei colleghi inglesi nell’ottemperare alle richieste del nuovo REF pare che anche il prossimo esercizio di valutazione verrà preso molto in considerazione, anche se nasce per superare le inefficienze del precedente.

  3. Per chiarire: il fatto che Anvur faccia somme e sottrazioni di mele e pere pur di produrre numeri è evidente.
    Ma questo non vuol dire che gli Inglesi non abbiano prodotto dei “quality profiles” e che i quality profiles non consentano di farsi una idea abbastanza precisa delle qualità relative, tanto che un dipartimento può dichiarare fra i dati con i quali si presenta la sua posizione in un ranking, tipo:
    “1 – Rank of the Department for the proportion of research meriting the top rankings (4* and 3*) in the most recent Research Assessment Exercise (2008). The rating put five UK institutions in this category, putting … on par with … in this dimension”

  4. E’ chiaro che sono irrecuperabile. Ma quando ho aperto le tabelle dell’Anvur una cosa che ho guardato è quanti dipartimenti del mio ateneo possono essere considerati nella fascia alta della loro area di valutazione. Senza fare somme e sottrazioni.

    • Direi lettura corretta :-) Io ho altri due caveat: 1) purtroppo le modalità di attribuzione dei punteggi ai singoli prodotti sono state fantasiose, almeno nelle aree bibliometriche e in quelle in cui si sono usate classifiche di riviste. Per cui io diffido ANCHE dei quality profiles perché non credo alla bontà dei dati elementari; tenderei invece a fidarmi di più di ciò che è successo nelle aree con sola peer review (Area 12 ad esempio); 2) l’incrocio dipartimento/area temo che dia luogo a quality profiles che risentono molto della dimensione del dipartimento con un vantaggio strutturale per i dipartimenti piccoli. Per cui ad occhio direi che anche questi non sono molto affidabili. Purtroppo, visto quanto è costata la VQR.

    • Gentile Carlo, un commento che vorrei non prendesse sul personale anche perché io non so chi lei sia. Ma qui si sta mettendo in evidenza il fatto che la tanto sbandierata agenzia di valutazione della ricerca ha prodotto classifiche secondo criteri mai usati da nessuna agenzia del mondo, ha stilato classifiche che non si ritovano da nessuna altra parte e ha anche fatto una certa confusione (sempre che di confusione si tratti, apsettiamo che lo spieghino del dettaglio) dando alla stampa classiiche diverse da quelle che loro stessi hanno fatto. E lei di fronte a questa catastrofe nazionale non si chiede null’altro se non quanti dipartimenti nel suo ateneo sono classificati nella fascia alta. Sbagliare è umano perservare è diabolico.

    • Quello che mi sono chiesto è perchè per sottolineare tutte le manchevolezze dell’Anvur si debba fare un riferimento, secondo me inappropriato e fuorviante, alla valutazione degli inglesi. Per il resto accetto i caveat di Alberto Baccini. Cordialmente, Carlo Zappia

    • Che l’ispirazione dell’architettura della VQR sia il RAE inglese è evidente a chi ha qualche competenza in materia. L’ANVUR si è pertanto trovata a dover affrontare i medesimi problemi che gli inglesi avevano studiato e risolto, per esempio valutare se fosse possibile ricorrere ad una valutazione bibliometrica automatica dei prodotti (tramite IF, citazioni o classifiche di riviste). Di queste discussioni e delle decisioni prese era disponibile ampia documentazione che sarebbe stato opportuno prendere in considerazione per la VQR italiana. Sull’argomento, si può leggere il seguente articolo:
      https://www.roars.it/no-bibliometrics-please-were-british/

  5. Scusatemi, ma forse mi sono perso qualcosa. Ma l’ANVUR ha mai fatto le classifiche oppure sono state fatte dai giornali in maniera sicuramente impropria e superficiale?

    Io separerei “la valutazione” dei titoli dei giornali, che lasciano il tempo che trova, dai dati della VQR pubblicati sul sito ANVUR. In quest’ultimi non ci sono classifiche generali delle università ma solo tabelle per aree che sono molto più sensate.

    In quanto alla volonta’ di non fare classifiche penso che ANVUR sia stata pure troppo “paranoica” in questo senso evitando perfino una colonna con i numeri d’ordine che rende poco leggibili le tabelle.

  6. @Francesco Sylos Labini delle classifiche, anche stupide e senza fondamento sono state fatte dai giornali. Soprattutto se va in giro sui siti dei giornali locali sembra che tutte le Universita’ italiane siano prime :-)

    Diverse sono le valutazioni VQR dove ripeto da nessuna parte si dice che in assoluto l’Universita’ X e’ meglio di quella Y.

    • eppure è proprio così. Nel mondo dell’accademia di solito ci si informa prima di parlare a vanvera. Lo stile internettiano fatto di sparate a vanvera non è benvenuto da queste parti (last warning, beninteso: ci sono tanti altri posti dove cianciare comodamente).

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.