Molti Rettori e Direttori di dipartimento (fortunatamente non tutti) non ne vogliono proprio sapere di operare scelte politiche e di mettersi in gioco sullo spinoso tema del reclutamento e del finanziamento delle strutture interne all’ateneo. Perché esporsi a conflitti interni lunghi e laceranti? Perchè assumersi responsabilità? Qualche volta ci sono delle formule, più o meno abborracciate, come ci insegna l’ateneo di Palermo. Altre volte, basta la VQR. Fu fatta per altri scopi e con criteri che la rendono per lo più inutilizzabile, ma in fondo, sempre meglio che metterci la faccia, a costo di compiere scelte non solo discutibili, ma palesemente illegittime.
Segnaliamo ai lettori il documento con cui il rettore dell’Università di Perugia chiede ai docenti del proprio ateneo di rendere pubblici gli esiti individuali della VQR.
Richiesta di rendere pubblca VQR
basterebbe conoscere il significato degli acronimi e consultare un vocabolario:
ANVUR (agenzia nazionale di ***valutazione*** del sistema universitario e della ricerca
VQR (***valutazione*** della qualità della ricerca)
AVA (auto***valutazione***, ***valutazione*** e accreditamento)
poi cerchiamo il lemma «valutazione» nel vocabolario:
– valutazione, dalla treccani: “Determinazione del valore, della qualità o del merito, ai fini di un giudizio o di una decisione, di una classifica o graduatoria”.
Tutto il resto è fuffa come direbbe Briatore.
tra l’altro il rettore di quell’ateneo ha un H index di zero
La VQR è stato il secondo e più importante intervento di valutazione delle strutture universitarie e degli enti di ricerca. Ha esplicato un effetto concreto sugli atenei influenzando quote non irrilevanti di FFO. In molte discipline è stata un po’ come la favola del re nudo certificando quello che un po’ tutti già sapevano su scala nazionale. Tant’è che il suo effetto vorrebbe essere annacquato (vedi la SUA dipartimentale). Speriamo proprio di no.
Certamente è nata per valutare le strutture ed in alcuni casi (come ben spiegato da alcuni interventi precedenti) mal si adatta a valutare i singoli.
Sicuramente però se un docente/ricercatore ha presentato 0 prodotti o prodotti valutati pressoché zero dal 2004 al 2010 anni è difficile pensare che siamo in presenza di un premio nobel, poi per carità le eccezioni posso esistere ma di nuovo spesso i casi eccezionali sono stati utilizzati per giustificare mediocrità.
Quello che possiamo promettere per il futuro dei nostri giovani è che la valutazione del merito entri sempre di più nelle scelte quotidiane degli atenei. Su questo aspetto il nostro impegno non deve mancare ed è fondamentale per dare delle speranze.
La VQR è stata un disastro metodologico (https://www.roars.it/vqr-da-buttare-persino-anvur-cestina-i-voti-usati-per-lassegnazione-ffo-2013/) che ha sperperato denaro pubblico per produrre indicatori su cui vengono esercitate le più disparate stregonerie. La stessa ANVUR, dopo avere scritto a chiare lettere che la comparazione tra aree non era possibile e dipendeva da scelte politiche, introduce due diverse standardizzazioni per valutare i collegi di dottorato (https://www.roars.it/il-documento-definitivo-anvur-sullaccreditamento-dei-corsi-di-dottorato/). La CRUI (endorsed da ANVUR che ne ospita sul sito i documenti tecnici) demolisce le standardizzazioni ANVUR e ne propone altre due ugualmente discutibili (https://www.roars.it/laudace-standardizzazione-crui-dei-voti-vqr-se-la-conosci-la-eviti/). Siamo su standard di rigore e di scientificità che non sarebbero accettati in nessuna delle nostre discipline. Roba che io non accetterei nemmeno da un laureato triennale. Figuriamoci da chi riceve questi compensi:
A questo punto, un argomento comume che si ascolta è che “se un docente/ricercatore ha presentato 0 prodotti o prodotti valutati pressoché zero dal 2004 al 2010 anni è difficile pensare che siamo in presenza di un premio nobel”. Vengono in mente alcuni commenti:
1. Per capire che qualcuno non ha prodotto nulla (o quasi) in sette anni, non c’è bisogno di mettere in piedi un baraccone i cui costi sono stati stimati intorno ai 300 milioni di euro (https://www.roars.it/si-puo-stimare-che-la-vqr-costera-300-milioni-di-euro-e-a-pagarli-sara-luniversita/).
2. Se la numerologia ANVUR avesse un senso, tutti i prodotti la cui qualità non è nel top 50% mondiale verrebbero valutati zero punti. Ma nemmeno l’ANVUR è così ingenua da credere ciecamente alla propria numerologia:
___________________
“Tra le finalità della VQR non compare il confronto della qualità della ricerca tra aree scientifiche diverse. Lo sconsigliano i parametri di giudizio e le metodologie diverse di valutazione delle comunità scientifiche all’interno di ciascuna area (ad esempio l’uso prevalente della bibliometria in alcune Aree e della peer review in altre), che dipendono da fattori quali la diffusione e i riferimenti prevalentemente nazionali o internazionali delle discipline, le diverse culture della valutazione, in particolare la diversa percezione delle caratteristiche che rendono “eccellente” o “limitato” un lavoro scientifico nelle varie aree del sapere e, infine, la variabilità tra le Aree della tendenza, anche involontaria, a indulgere a valutazioni più elevate per migliorare la posizione della propria disciplina.”
Rapporto Finale ANVUR – Parte I, p. 7
___________________
Un “Limitato” (voto = 0) per i Fisici potrebbe valere di più o di meno di un “Limitato” per le Scienze Economiche e Sociali. Dato che i voti dell’Area 13 (Scienze Economiche e Sociali) sono sensibilmente i più bassi di tutta la VQR, non si può escludere che in tale area anche più del 50% della produzione mondiale sarebbe catalogato nella categoria “L“.
Per fare un esempio, la Bocconi – pur occupando un onorevole sesto posto in area 13 – si vede attribuita una percentuale superiore al 33% di prodotti valutati “0 punti”. Se esaminiamo i dati disaggregati, ci sono due dipartimenti della Bocconi che hanno più del 50% dei prodotti VQR valutati “0 punti” (https://www.roars.it/bocconis-sympathy-for-destruction-una-vqr-a-doppio-taglio/).
_________________________
Cosa farei fossi un giovane a cui viene promesso che nelle scelte quotidiane entrerà sempre più una valutazione del merito i cui voti vengono attribuiti nel modo illustrato dalle seguenti figure? (La prima mostra come variano voti medi di SSD nell’Area 9 in funzione della percentuale di prodotti valutati tramite peer review, la seconda mostra la stessa dipendenza a livello di voti medi di area)
Cosa farei? Scapperei a gambe levate in un paese dove gli stregoni della valutazione non hanno credito.
Molti dei commenti riguardano il presunto ruolo della VQR nel consentire la “responsabilizzazione” di non si sa chi, ovviamente a mezzo di punizioni.
Risulta meno ovvio per i castigatori all’amatriciana il fatto che la punizione si abbatterà in primis sugli abilitati dei Dipartimenti in questione, persone che -per definizione- non sono inattive.
Detti abilitati si troveranno la carriera nuovamente (e forse definitivamente, visto il disegno perverso della L. 240) bloccata dalla “punizione” collettiva inflitta ai loro Dipartimenti.
Poi saranno puniti tutti quelli che nel dipartimento lavorano (in cui bisogna nuovamente contare gli abilitati, per definizione), che avranno ancora meno risorse per svolgere il proprio lavoro.
Di contro, chi non ha fatto nulla (spesso per fatturare centinaia di migliaia di euro all’anno con l’attività professionale) non sarà minimamente toccato, visto che su quei livelli lo stipendio è argent de poche, e moltissimi dei meno attivi (qualunque ne sia il motivo) sono pure a fine carriera.
Davvero geniali, i castigatori all’amatriciana.
Nel mio ssd, nel mio ateneo, siamo in 4. Io ho messo i 6 prodotti (cfr. altro post) gli altri 3 ne hanno racimolati altri 6, tutti 0.
Ecco quindi i voti:
1-1-1-1-0.8-0.8-0-0-0-0-0-0
Se fossi stato da solo il mio ssd sarebbe ai primi posti (sia in ateneo, sia in italia) e invece siamo tra gli ultimi.
Poiché i loro zeri danneggiano solo me, altro che amatriciana, questa è una trovata da castigatore alla carbonara!
Quel rettore vuole la buona volontà? Scriva al ministro e metta tutto on-line, anche i suoi risultati. Oppure creino una pagina web dove chi vuole può mettere facoltativamente i suoi triple-one o anche gli 0.8, o comunque i suoi risultati.
Un bel database interrogabile, che in un battibalemo si riempirà di 1 e di 0.8, ma anche di 0.5! A quel punto tutti i nodi arriveranno al pettine, altro che richieste carbonare di risultati che dal cassetto dei singoli finiscono nel cassetto dei direttori!
PS. conosco uno di quei 6 da 178.500:
Per De Nicolao
“Tra le finalità della VQR non compare il confronto della qualità della ricerca tra aree scientifiche diverse”
Sono d’accordo ma funziona su aree omogenee ed in particolare sul confronto di SSD nelle diverse sedi.
“Per capire che qualcuno non ha prodotto nulla (o quasi) in sette anni, non c’è bisogno di mettere in piedi un baraccone i cui costi sono stati stimati intorno ai 300 milioni di euro”
Facile a dirsi ma non semplice a farsi. Perché non l’abbiamo mai fatto prima? C’e’ un singolo ateneo che l’abbia fatto ed utilizzato per delle scelte in passato?
Come detto sotto. Io sono un fautore dell’automa universitaria. Autonomia responsabilizzata da una forte esercizio di valutazione.
Per Stefano F.
Purtroppo è vero quello che dici però la distribuzione delle risorse pubbliche (PO) per le promozioni ed il reclutamento vengono avallati dai Consigli di Dipartimento e dalle Facoltà (in passato) cioè dalla comunità di noi docenti.
Se applichiamo una valutazione seria ci porterà a responsabilizzarci sempre di più nella ri-distribuzione delle risorse. E’ l’unico modo per garantire l’autonomia dei singoli atenei. Un percorso certo non semplice ed immediato ma non vedo strade diverse al momento.
Claudio Brancolini: “Sono d’accordo ma funziona su aree omogenee ed in particolare sul confronto di SSD nelle diverse sedi.”
=================
Ormai nemmeno l’ANVUR crede più che ci sia omogeneità (e quindi comparabilità) delle scale di giudizio all’interno delle 16 aree (le aree 8 e 11 sono state sdoppiate in parte bibliometrica e non bibliometrica). Non si giustificherebbe altrimenti il ricorso alla normalizzazione per SSD nelle formule che l’ANVUR ha stabilito per l’accreditamento dei dottorati.
_________________
“Per il calcolo degli indicatori la normalizzazione verrà fatta sia utilizzando la media di SSD che la media di area a livello nazionale, e si sceglierà il risultato migliore per il collegio.”
ANVUR, L’accreditamento dei corsi di dottorato (21.2.2014), p. 8
_________________
Che le valutazioni interne alle aree siano disomogenee a seconda degli SSD considerati è opinione condivisa anche da un apposito Gruppo di lavoro della CRUI, che ha proposto all’ANVUR un nuovo modo per calcolare gli indicatori di qualità dei dipartimenti. Dato che l’ANVUR ospita sul suo sito il documento e gli indicatori CRUI se ne desume nuovamente che non crede più nell’omogeneità delle scale di giudizio.
Non che la soluzione CRUI risolva i problemi, come ho già dettagliatamente mostrato su Roars:
_________________
https://www.roars.it/laudace-standardizzazione-crui-dei-voti-vqr-se-la-conosci-la-eviti/
_________________
È come aver misurato la temperatura di diversi pazienti usando un termometro diverso per ciascuno ed aver buttato via i termometri. Non c’è più modo di rendere comparabili le misure.
A costo di ripetermi, visto che si parla di comparazione di SSD, riporto la comparazione tra gli SSD dell’area 09. Si vede subito il ruolo determinante della percentuale di prodotti sottoposti a peer review.
Come già mostrato in dettaglio (https://www.roars.it/vqr-da-buttare-persino-anvur-cestina-i-voti-usati-per-lassegnazione-ffo-2013/), nelle aree bibliometriche ci sono due fonti di scalibrazione. Le soglie bibliometriche sono nate scalibrate. Una seconda e probabilmente più grave fonte di scalibrazione è la disomogeneità tra valutazione peer e bibliometrica.
Capisco che sia difficile da accettare, ma gli errori di progettazione della VQR hanno reso sostanzialmente inaffidabili e inutilizzabili i dati delle aree bibiometriche. Un enorme spreco di risorse di cui il Consiglio direttivo ANVUR (e Sergio Bemedetto in particolare) dovrebbe rendere conto alla collettività.
Per le aree non bibliometriche (100% peer review), è più difficile condurre un’analisi quantitativa. Non sfugge a nessuno che la fairness della selezione dei membri GEV è uno degli snodi cruciali per garantire la qualità della peer review nelle aree non bibliometriche. Ci manca un’analisi di largo respiro, ma almeno in un caso (Area 13, anche se bibliometrica per la VQR), qualche problema di fairness c’era (https://www.roars.it/vqr-la-composizione-dei-gev-ed-una-questione-di-fairness/).
Carissimi, sto cercando di trovare senza successo il valore IPR (nel VQR) del mio settore all’interno della mia università.
Avete dei suggerimenti su dove reperire le tabelle? Grazie mille.
sito ANVUR