Con la pubblicazione del Bando VQR 2015-2019 prende il via la terza edizione dell’esercizio di Valutazione della Qualità della Ricerca a gestione ANVUR (VQR3). Il bando datato 3 gennaio 2020, approvato da un direttivo in scadenza e firmato dal presidente uscente Paolo Miccoli, è stato appena pubblicato sul sito dell’agenzia. La pubblicazione del rapporto finale è prevista per il 30 ottobre 2021.
Nei prossimi giorni arriveranno i commenti di Redazione Roars.
Un paio di considerazioni sulla rinnovata matrice “mors tua vita mea”.
(1) (Art 6, §8 et al.) Ogni articolo “beneficia” un numero di autori limitato a ~3-5, pena squalifica del contributo per l’autore (pardon, per l’istituzione associata) come “scarsa rilevanza”. Quindi sostenere un’attività scientifica come collaboratori “di mezzo” non paga assolutamente.
(2) (Art 7, §9) Si impone almeno il 5% di “scarsi”, 5% di “sufficienti”, ecc., che esisterà per costruzione. Quindi è un ranking un po’ modificato e misura la qualità relativa, non assoluta. Preparate già risposte a titoli tipo “il 5% dei ricercatori è XXX”.
(3) Non è ovvio come le istituzioni degli autori di ciascun articolo (talvolta decine) si potranno coordinare per accordarsene la spartizione e essere in meno di 3-15 (a seconda del limite) a presentarlo. Nelle aree 5,6,7 il criterio potrebbe essere “primo ultimo o corresponding” (parzialmente). Nelle altre aree si crea un “dilemma del prigioniero”.
(2) (Art. 7 co. 9): molto più del 5% … Altrimenti non torna l’altro vincolo che nessuna categoria deve eccedere il 25%. Mi aspetto qualcosa del tipo:
a) Eccellente e lode 10%
b) Eccellente 25%
c) Standard 25%
d) Sufficiente 25%
e) Scarso 15%
Nella mia area si dovranno scegliere 300 articoli su circa 1250 pubblicati e il 5% almeno di questi verranno giudicati per forza scarsi? Siamo alla frutta.
Assolutamente rivoluzionaria nel nuovo bando, a mio avviso in senso positivo, il vincolo sulla distribuzione delle valutazioni dei prodotti (art. 7 §9), precisamente sul livello minimo di eterogeneità della valutazione del GEV, con richiesta di presenza in ciascuna categoria di merito di almeno il 5% e non più del 25% dei prodotti. Sperando che l’avverbio “indicativamente” non lasci spazio a una interpretazione lasca del vincolo (avrei preferito leggere un “necessariamente”, o anche niente), ciò dovrebbe limitare gli effetti distorsivi determinati da “standardizzazioni” posticce (vedi vicenda indice ISPD), dando luogo a misurazioni per costruzione più direttamente confrontabili, anche a livello dei singoli settori scientifico disciplinari (SSD), e dunque utilizzabili anche ai fini di possibili successive valutazioni comparative fra dipartimenti o centri di ricerca (tipo progetto Dipartimenti di Eccellenza). Va ricordato che nel precedente esercizio VQR le percentuali di prodotti in classe A, ad es., spaziavano incredibilmente nei vari SSD dallo 0% all’80%.
D’altro canto, questo determinerà un notevole surplus di lavoro dei vari GEV, chiamati a predisporre criteri oggettivi atti a valutare i prodotti in senso comparativo, e non già più assoluto – ovvero su una scala estremamente più fine di quella utilizzata nel precedente esercizio. A proposito di GEV, è da sperare che il processo di selezione, basato essenzialmente su autocandidatura & sorteggio, individui componenti specificatamente ferrati in campo scientometrico (ma questo nel bando non c’è scritto).
Forse prima che plaudire all’effetto positivo ci sarebbe 1) da riflettere sulla legittimità di tale operazione, in aperto contrasto con il DM ministeriale; 2) da riflettere sul fatto che imporre una percentuale fissa di schifezze su un campione di prodotti costruito scegliendo il meglio della produzione appare forzatura non da poco. A differenza delle precedenti VQR la selezione dei prodotti sarà fatta in modo più selettivo (modello REF; non più 2 prodotti a testa). Quindi un’area in grado di selezionare prodotti in classe A-B-C se comparati internazionalmente, deve per forza classificarne una quota in D e E. Come nota Thor nella sua area dovrebbe venire scelto il top 25% degli articoli prodotti nella sua area, per quale ragione il 5% di quel top 25% deve essere necessariamente una schifezza? Che senso ha fare una comparazione solo dentro la produzione scientifica italiana? E che vuol dire “oggettiva”?
Una delle pecche principali di questa VQR – probabilmente dovuta alla scarsa dimestichezza con la scientometria dei due Capi Dipartimento che hanno scritto le linee guida – è che, di fatti, il DM impone come unico indicatore la percentuale ASSOLUTA di prodotti nelle 5 fasce di merito. Più o meno implicitamente il DM ci sta dicendo l’esatto contrario di quanto per anni ci aveva detto ANVUR: cioè che si possono effettuare confronti non solo tra SSD diversi (nel DM l’unità minima è l’Area) ma pure tra Aree e Dipartimenti diversi (non c’è più il famoso “R”).
L’atteggiamento dell’ANVUR è stato assai curioso. Mi sarei aspettato una risposta “per le rime” al MIUR. Prima di tutto perché il DM va l’ESATTO OPPOSTO della raccomandazione del “Rapporto di Alti Esperti”, pubblicata pochi mesi fa (https://www.anvur.it/news/pubblicazione-rapporto-alti-esperti-vqr/), laddove gli “Alti Esperti” avevano raccomandato ad ANVUR di lasciar stare le Aree (dove in effetti c’è troppa variabilità) e gli indicatori IRAS, e utilizzare i SSD come unità fondamentale.
Ma soprattutto, anziché contestare apertamente l’utilizzo di parametri “assoluti”, l’ANVUR escogita una toppa che è peggiore del buco: definizione “indicativamente” a priori dell’ampiezza delle classi. Ma anche con questa “pezza”, già da rigettare per le considerazioni fatte prima, il problema del confronto di aree diverse resta.
Infatti ci si dimentica di due elementi fondamentali, che rendono comunque INCOMPARABILI risultati assoluti tra aree diverse:
1) Il numero di prodotti richiesto è lo stesso per qualunque SSD (ops … Area), mentre la produzione scientifica media è molto diversa non solo tra le diverse aree ma anche tra SSD all’interno della stessa area
2) E’ noto che le valutazioni tramite peer-review, proprie delle aree umanistiche, sono più “severe” delle valutazioni “semi-automatiche” (ops … “peer review informata”) dei settori bibliometrici
@ Beniamino Cappelletti Montano
Le valutazioni tramite peer-review in questo esercizio non sono previste. Nelle aree non bibliometriche TUTTI i prodotti verranno valutati ESCLUSIVAMENTE dai membri del GEV, in pratica ognuno valuterà quelle del suo SSD. L’aspetto positivo è che finalmente qualcuno ci metterà la faccia.
Le cose non stanno proprio così.
‘Per i prodotti per i quali, in base alle caratteristiche dell’area, non è appropriato l’uso della peer review informata da indicatori citazionali, il GEV valuta la qualità di ciascun prodotto scientifico conferito dalle Istituzioni con la metodologia della peer review, affidata di regola a due componenti del GEV a cui il prodotto viene assegnato in base alle competenze disciplinari’
“Nel caso in cui all’interno del GEV non esistano le competenze disciplinari necessarie per la valutazione del prodotto, il GEV si avvale di almeno due esperti esterni fra loro indipendenti”. Né nel DM né nel bando si adotta la distinzione tra aree bibliometriche non bibliometriche. Quindi allo stato non si sa con quale “tecnica” saranno valutati i prodotti…
Le ‘competenze disciplinari’, però, ci saranno per definizione, dato che ogni ssd sarà rappresentato da almeno un componente del GEV 8novità rispetto agli esercizi precedenti), tranne i casi di ssd con meno di 50 afferenti complessivi (nella mia area, la 14, sono 3 ssd su 14). Il ricorso a esperti esterni credo debba intendersi per questi specifici casi.
Sì, per essere più coerenti sarebbe stato più elegante rinunciare alle 5 aggettivazioni, che qualificano troppo le classi di merito, chiamando queste solo A, B, C, D, E, in una “scala di eccellenza del top 25%” a 5 valori, dove E significa solo meno rilevante, anche nel senso di misura di co-authorship, ovvero meno eccellente di D e non “schifezza”, che in effetti suona spregiativo (ma dove è scritto schifezza?). Una comparazione fra oggetti diversi si può pur sempre fare. C’è però da dire che nella VQR 2011-14 l’ultima classe (E+F a punteggio 0 del precedente esercizio – in questa VQR la classe E annovera anche i prodotti mancanti) aveva una media per SSD molto più alta del 5% (quasi doppia, e in diversi casi più che quintupla, sforando anche il 25%), quindi si può anche pensare che i GEV siano ora forzati, al contrario, a dover sopravvalutare -in media- i prodotti più di quanto non vorrebbero fare.
(Con oggettivo ero leggermente ironico)
@Barsotti: non ho ancora letto tutto con attenzione, ma dai vostri commenti mi sembra che il termine “indicativamente” è stato inserito a mio avviso non a caso. Infatti, se i vincoli del 5% e 25% fossero stretti, la distribuzione ottima, massimizzando i prodotti di tipo ABC cercando di minimizzare DE sarebbe 25, 25, 25, 20, 5. La strategia ottimale di ogni dipartimento sarebbe, infatti, quella di individuare per ogni area un insieme di prodotti che portino a tale situazione o molto vicino ad essa. Ma se tutti riuscissero a trovare una distribuzione ottima dei prodotti, risulterebbe che tutti i dipartimenti, le aree, gli SSD ecc… sarebbero bravi in maniera uguale, rendendo di fatto inefficace tutto l’esercizio VQR. Come si farebbero a trovare i dipartimenti eccellenti tra tutti gli eccellenti? Pertanto, è necessario perturbare (indicativamente) la situazione. Mi sono perso qualche cosa? Quasi quasi, rimpiango la vecchia bibliometria…
Scusate se insisto sul punto.
Il seguente giudizio è assoluto:
e)Scarsa rilevanza o Non accettabile: la pubblicazione è di scarsa rilevanza in termini di originalità,
conoscenza e capacità di utilizzo della letteratura, rigore metodologico e chiarezza espositiva, impatto
nella comunità scientifica. Sono comprese in questa categoria anche le pubblicazioni che appartengono a
tipologie escluse dal presente esercizio, o che presentano allegati e/o documentazione inadeguati per la
valutazione o, nei casi di cui all’articolo 6, comma 8, in cui il contributo dell’autore non risulti
significativo.
Mentre questo punto:
9.Ciascun GEV è tenuto a suddividere la valutazione dei prodotti utilizzando tutte le categorie di cui al comma
7, attribuendo, indicativamente, a ciascuna categoria almeno il 5% e non più del 25% dei prodotti.
richiede una graduatoria e una valutazione relativa non assoluta.
Il combinato dei due può sfociare nel “falso ideologico”. Evidentemente i GEV non sono pubblico ufficiale e gli atti relativi alla VQR non sono pubblici.
Tanto per interderci: la falsità ideologica in atti consiste nell’attestazione di fatti e situazioni non veritieri. L’atto è quindi autentico dal punto di vista formale, ma il suo contenuto è infedele alla realtà. Io rabbrividisco.
Insisto sulla necessità di chiedere che i valutatori rispondano dei loro giudizi sbagliati
Il giudizio dovrebbe venire comunicato solo al presentatore del prodotto. Diventa quindi una questione fra lui e il GEV di riferimento. Personalmente ritengo che nessun lavoro scelto in un top 25% di un’area possa finire con un giudizio come quello relativo al punto e) menzionato sopra. Eppure succederà. E’ un giudizio offensivo e lesivo dell’autore responsabile del prodotto. Forse in questo caso si potrebbe andare alle vie legali.
spero di sbagliarmi, ma a me pare che siano fregati: se il gev determinasse (i.e., dicesse di aver determinato) che il 7.3143% (o altro numero tra 5 e 20) dei prodotti secondo loro è “scarso”, essendo loro quelli deputati a dare questa valutazione, non starebbero facendo nulla di formalmente illecito…
@sorrenti
Il GEV chiamato in causa dovrà giustificare il giudizio in termini assoluti e non perchè doveva riempire un recipiente a forza.
Non riesco a capire perché non si reagisca a questa illogica pre-attribuzione di valutazione.
Non solo vendette, ma la necessità di far tornare i conti…