Da ANVUR ci dicono che la VQR sia uno strumento per “la valutazione dei risultati della ricerca scientifica”. Al massimo è un tentativo maldestro per definire degli indicatori per l’assegnazione di risorse agli Atenei. Innanzitutto è fondata sulla falsa convinzione che sia possibile una valutazione della qualità “oggettiva” e comparativa degli atenei basandosi su indicatori, algoritmi numerici, quadrati magici, classificazione delle riviste, ecc. Inoltre, le risorse assegnate in seguito a valutazione non sono solo premiali, ma possono essere anche punitive. Se si adottasse invece un sistema di valutazione basato su panels di esperti indipendenti, forse potremo assicurare la qualità del nostro sistema universitario molto di più di quanto non possa garantirla un algoritmo numerico.

Riceviamo e volentieri pubblichiamo la lettera di un Membro del Presidio della Qualità dell’Università Ca’ Foscari Venezia.

Uno strumento per la valutazione dei risultati della ricerca scientifica?

Da ANVUR ci dicono che la VQR sia uno strumento per “la valutazione dei risultati della ricerca scientifica”. Al massimo è un tentativo maldestro per definire degli indicatori per l’assegnazione di risorse agli Atenei. In teoria si porrebbe l’obiettivo di dare più fondi a chi lavora bene, nell’interesse della qualità complessiva del sistema universitario. È basata invece su premesse e meccanismi che rischiano di ottenere l’effetto opposto come ampiamente argomentato in precedenza su ROARS (p. es. https://www.roars.it/universita-qualche-perplessita-sui-metodi-di-valutazione).

Innanzitutto la VQR è fondata sulla falsa convinzione che sia possibile una valutazione della qualità “oggettiva” e comparativa degli atenei basandosi su indicatori, algoritmi numerici, quadrati magici, classificazione delle riviste, ecc. Piuttosto io reputo che la qualità sia un parametro complesso che va valutato da gruppi di persone esperte che siano in grado di cogliere le molteplici sfumature del sistema da valutare. I cosiddetti metodi “oggettivi” possono dare nella migliore delle ipotesi solo indicatori parziali e non comparabili fra loro, ed è quindi insensato usarli tout-court come strumenti per stilare una graduatoria fra atenei diversi (metodi “oggettivi” per generare automaticamente indicatori assoluti e oggettivi di qualità non esistono, da cui le virgolette). Gli indicatori sono poi appunto solo “indicatori” che possono essere usati – con giudizio – in supporto della valutazione della qualità ma che non possono essere sostituirsi al giudizio. Purtroppo invece la VQR va in questa direzione, malgrado questo tipo di valutazione “oggettiva” venga abbandonata altrove perché giudicata inaffidabile (oltre che inutilmente macchinosa, lenta e costosa). Attenzione poi che al crescere del livello di complessità di un algoritmo basta modificare di poco un parametro per fargli dire una cosa od il suo contrario (vedi p. es. https://www.roars.it/il-sonno-della-ragione-genera-anamorfosi-bibliometriche)

Una ulteriore criticità della VQR è che le risorse assegnate in seguito a valutazione non sono solo premiali, cioè incrementali rispetto al passato, come sarebbe secondo me giusto, ma possono essere anche punitive e quindi sottratte agli Atenei che vengano valutati sotto soglia. Con questa logica non solo si pongono stoltamente in competizione fra loro università con tradizioni, competenze e contesti diversi, ma attraverso un meccanismo automatico, asettico e quindi secondo i suoi estensori “oggettivo” e quindi non criticabile, si soffoca qualsiasi tentativo di miglioramento da parte degli atenei che si trovino in basso nella graduatoria. Paradossalmente si innesca una spirale negativa che genererà atenei sempre più “improduttivi”, quindi sempre meno finanziati, portandoli all’asfissia. Va sottolineato poi che penalizzare una università comporta necessariamente una penalizzazione di tutti i suoi componenti, compresi quelli bravi. Si getta il bambino con l’acqua sporca.

È evidente che la causa di questa corsa al ribasso sia la progressiva diminuzione del finanziamento alle università attuata da tutti i governi negli ultimi decenni. È necessario viceversa che il sistema garantisca a tutti gli atenei le risorse per rispondere adeguatamente alla richiesta di più laureati, più cultura diffusa e migliore ricerca.

Mi ricollego infine al bell’articolo di Nicola Casagli (https://www.roars.it/dalla-cina-con-furore) che descrive il processo di valutazione di una facoltà cinese da parte di un panel di tre persone. Questo esercizio è stato rapido, chiaro, economico e semplice. Grazie ad esso, in poco tempo la facoltà cinese ha potuto identificare i propri punti di forza e debolezza. Questo tipo di valutazione è già impiegato in molte nazioni e, associato a una vera autonomia, garantisce che le azioni di miglioramento della qualità siano tempestive ed efficaci. Perché non adottare una valutazione dei singoli dipartimenti e quindi in forma aggregata di un ateneo, basata su panels di esperti indipendenti? Nel momento in cui in base al giudizio dei panels la qualità di un dipartimento e/o dell’ateneo fosse negativa, sarebbe poi responsabilità degli organi dell’ateneo e/o di governo nazionale di effettuare la scelta strategica adatta al superamento della criticità (rilancio o chiusura). Usare viceversa un meccanismo automatico di “valutazione oggettiva” basato sugli indicatori della VQR rappresenta la classica foglia di fico per eludere scelte responsabili.

Se si cambiasse registro, se si abbandonasse cioè la VQR e la pretesa di una valutazione automatica basata su indicatori, e se si adottasse invece un sistema di valutazione basato su panels di esperti indipendenti, forse potremo assicurare la qualità del nostro sistema universitario molto di più di quanto non possa garantirla un algoritmo numerico, magari anche con costi più contenuti della VQR.

 

Le idee espresse nel presente articolo sono personali di Alvise Perosa

Professore associato di chimica organica

Membro del Presidio della Qualità dell’Università Ca’ Foscari Venezia

Astenuto VQR

Indicatori bibliometrici ok.

4 Commenti

  1. Come chiunque può intuire le preferenze sono soggettive e quindi gli ordinamenti di preferenze sono soggettivi. Gli indici sono quindi soggettivi perchè aggregano criteri di giudizio che per definizione sono soggettivi. Ci sono poi due elementi che impediscono ogni qualsiasi forma di presunta oggettività: l’insieme su cui viene caratterizzata la struttura delle preferenze, cioè la lista e il valore delle riviste scientifiche, e la definizione dell’algoritmo, che poi altro non è che una metodologia di agggregazione e ponderazione di criteri, spesso non indipendneti tra di loro. Ora la scelta delle riviste su cui si basa la VQR è quanto di più arbitrario e soggettivo possa immaginarsi. La lista infatti, vincolata dall’obbligo di ridurre al 10% il numero di riviste di fascia A, è stata scelta da un ristretto gruppo di individui che hanno definito il ranking. Infine nella definizione della lista e del rannking hanno pesato fenomeni come la dipendenza dalle scelte fatte per la VQR 2010, cioè l’impossibilità di correggere palesi incongrunenze e mancanze tra le riviste considerate. Dov’è in tutto questo l’oggettività?

    • Guarda Marcello che se traduci “oggettivo” dalla neolingua anvuriana in italiano corrente, devi usare una parafrasi del tipo: “deciso da noi e dai nostri amici”.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.