Il bando VQR scritto dall’ANVUR fa rientrare dalla finestra gran parte delle cose che il DM firmato Fioramonti aveva fatto uscire dalla porta. In particolare, mentre la VQR3 prevista dal DM è basata prevalentemente sulla peer review, il bando targato ANVUR sembra scritto ad arte per consentire l’uso della bibliometria automatica e delle liste di riviste. Tra tutti gli scenari possibili quello peggiore è che la VQR venga usata come pretesto per sdoganare l’uso indiscriminato di CRUI-UNIBAS, un software che sforna valutazioni basate sulla bibliometria fai-da-te anvuriana, sviluppato dall’Università della Basilicata e che la CRUI distribuisce agli atenei italiani: agganci bibliometrici già pronti, classificazione delle riviste pronta. Si tratta di una valutazione automatizzata dei ricercatori, in completa contraddizione con le raccomandazioni internazionali, che da anni suonano l’allarme sui danni che derivano dall’uso indiscriminato delle metriche quantitative. Danni che sono già finiti sotto i riflettori della comunità scientifica internazionale, impressionata dall’incremento del doping citazionale messo in atto dai ricercatori italiani. Se gli articoli di Nature, Science, Times Higher Education e Le Monde rendono difficile difendere la “virata bibliometrica” come scelta politica, essa potrebbe però essere giustificata come una necessità dettata dalla mancanza di fondi. Eppure, bastano due conti per verificare che il vincolo di bilancio è un falso prestesto. A fronte di una VQR3 che le costerà circa €11,1 milioni, ANVUR ha già in bilancio un tesoretto di €17,5 milioni, di cui €10 milioni sono accantonati proprio per la VQR. Nel decreto di riparto FFO 2019 il MIUR ha attribuito 1 milione di euro ad ANVUR per la VQR2. A VQR conclusa Anvur, lungi dal finire sul lastrico, avrà ancora in cassaforte la bella cifra di €7,4 milioni. Insomma, se si verificherà lo scenario peggiore, sarà una scelta politica che non dipende da vincoli di bilancio.
Abbiamo dedicato un lungo post alle misure prese da ANVUR per arginare le modificazioni che il DM firmato dal Ministro Fioramonti avrebbe apportato alla prossima VQR3. Di fatto, ANVUR ha scritto un Bando VQR che fa rientrare dalla finestra gran parte delle cose che il DM aveva fatto uscire dalla porta. In particolare, mentre la VQR3 prevista dal DM è basata prevalentemente sulla peer review, le linee guida ANVUR rivelano l’intenzione di recuperare l’uso della bibliometria automatica, sotto l’etichetta dell’informed peer review. È lecito temere che, negli ulteriori passaggi che ci separano dalla definizione delle regole specifiche di valutazione, riapparirà d’incanto tutto l’armamentario bibliometrico-fai-da-te della VQR2. E, in alcune aree (formerly called) “non bibliometriche”, potrebbero fare la loro comparsa o riapparirire anche le famigerate liste di riviste.
Lo scenario peggiore che ci possiamo attendere è che con la nomina a Ministro dell’ex-presidente della CRUI Gaetano Manfredi, venga alla fine sdoganato l’uso indiscriminato di CRUI-UNIBAS, un software sviluppato dall’Università della Basilicata e che la CRUI distribuisce (a pagamento) agli atenei italiani. Come è noto si tratta di un software che aggancia i dati presenti negli archivi delle pubblicazioni delle università italiane, con gli indicatori bibliometrici e le classificazioni fai-da-te in uso per ASN e VQR. Dal punto di vista dei Rettori, l’uso di CRUI-UNIBAS permetterebbe agli atenei di simulare gli esiti della VQR3. col vantaggio che gli uffici degli atenei non dovrebbero perdere mesi di lavoro del personale a preparare la “sottomissione” dei prodotti. D’altra parte, ANVUR potrebbe gradire la soluzione: una scatola nera bibliometrica già accettata dalla “comunità accademica” (cioè dai rettori) e già in possesso di (quasi) tutti gli atenei. In prospettiva, qualcuno potrebbe già intravedere la progressiva unificazione e l’uso universale della bibliometria ANVUR-CRUI per le immissioni in ruolo, gli scatti di carriera, i premi e le punizioni variamente definiti e gestiti dalle illuminate governance degli atenei.
Uno scenario di questo tipo, il peggiore immaginabile, non solo va in netto contrasto con le previsioni del DM, ma anche con le raccomandazioni internazionali, che da anni suonano l’allarme sui danni che derivano dall’uso indiscriminato delle metriche quantitative. Difficile che possa essere difeso pubblicamente. Un argomento possibile potrebbe però essere quello del vincolo finanziario: “il DM ci obbliga a considerare in media tre prodotti per ricercatore, quindi non ci sono abbastanza soldi per fare la peer review”. Usare il software UNIBAS-CRUI, sviluppato durante gli anni di presidenza CRUI dell’attuale ministro Manfredi, potrebbe ridurre i costi della VQR3: agganci bibliometrici già pronti, classificazione delle riviste pronta. I GEV potrebbero tranquillamente dichiarare di stare svolgendo internamente l’informed peer review, mentre di fatto si limitano a mettere le firme in calce alla valutazione automatica del software UNIBAS-CRUI.
Proviamo a fare due conti e verificare se l’argomento “vincolo bilancio” è difendibile.
Secondo i documenti ufficiali, l’avanzo di amministrazione di ANVUR previsto per il 2018 è pari a €17,5 milioni. Di questi €10 sono accantonati per la VQR3. Al netto di questo accantonamento, ANVUR possiede dunque un tesoretto di €7,5 milioni.
Vediamo quanto costerà ad ANVUR la VQR3.
I compensi complessivi dei membri GEV ammonteranno a €3,2 milioni. I costi degli assistenti GEV a €1,1 milioni (24 assistenti per due anni ciascuno, con compenso di circa €23mila). Il totale dei costi per i GEV ammonta quindi a €4,3 milioni. Aggiungiamo adesso le spese complessive che ANVUR dichiara di aver sostenuto tramite CINECA nella VQR2 che sono pari a €800mila (ovviamente si tratta di una stima per eccesso poiché gli strumenti sviluppati da CINECA per la VQR2 dovrebbero poter essere riutilizzati per la VQR3). Arriviamo così a €5,1 milioni di spese.
Dei soldi accantonati per la VQR3, ad ANVUR restano ancora €4,9milioni con cui si possono pagare circa 163mila revisioni (pagate ciascuna 30€ come nelle precedenti VQR). Sono sufficienti?
I prodotti che saranno conferiti per la VQR2 ammonteranno a circa 170 mila (contro i 120 mila della VQR2). Quante peer review saranno necessarie? Per la VQR3, il DM impone la doppia revisione solo per le aree dove verrà adottata la peer review. Per le aree dove verrà adottata la informed peer review il GEV può al massimo ricorrere ad un revisore esterno. Il DM prevede inoltre esplicitamente che siano i GEV a farsi carico almeno in parte delle revisioni (come avviene nel REF inglese cui il DM ministeriale si è chiaramente ispirato).
Ipotizziamo che le aree “bibliometriche” (più la metà di Area13) della precedente VQR adottino la informed peer review: esse pesavano nella VQR2 il 75% dei prodotti. Questo significa che per la VQR3 saranno necessarie al massimo 128 mila revisioni per le (formerly called) “aree bibliometriche”. Ne saranno invece necessarie 84mila nelle aree (formely called) “non bibliometriche”. Quindi il numero massimo di revisioni necessarie per la VQR3 sarà di circa 212.000. Questo numero stimato di revisioni è verosimilmente sovrastimato perché (i) a differenza delle precedenti VQR, i membri GEV possono valutare direttamente i prodotti, ed è assai probabile che specialmente nelle aree con informed peer review si avvarranno ampiamente di quella facoltà; (ii) molte istituzioni presenteranno gli stessi prodotti che quindi verranno valutati una sola volta. Le revisioni della VQR3 si attesteranno verosimilmente sotto le 200mila, cioè su un livello pari o inferiore a quelle svolte per la VQR1.
Ci sono quindi circa 37.000 revisioni in più di quelle che abbiamo calcolato ANVUR pagherà con i €10 milioni accantonati per la VQR3. Queste 37.000 revisioni costeranno €1,1 milioni: prontamente coperti con un milione di euro stanziati nel DM di riparto del FFO 2019. Per i restanti €100 mila, ANVUR dovrà mettere mano al suo tesoretto residuo di €7,5 milioni.
L’argomento economico che potrebbe essere usato per giustificare lo scenario peggiore, cioè l’uso massiccio della bibliometria di UNIBAS-CRUI, non sta in piedi. Se ANVUR e MUR decideranno di adottare UNIBAS-CRUI, dovrà essere chiaro che si tratta di una scelta politica, non dettata da vincoli di bilancio.
Scusate, UNIBAS “appiccica” dati bibliometrici esterni (ISI, SCOPUS) ai lavori presenti sui repository istituzionali, oppure utilizza questi repository per creare nuovi indicatori? Se fosse la seconda, non si tratta di un uso improprio dei dati che forniamo (per tutti altri motivi)? Non potremmo legalmente opporci a questo tipo di utilizzo?
Se ogni prodotto va a due membri del GEV abbiamo in media oltre 600 prodotti a testa da valutare. Questo sarà fatto nel più totale arbitrio. Infatti il bando non stabilisce alcuna regola e palesemente la macchina VQR non è tarata per gestire il numero di referees esterni necessari. Bisogna che il bando renda esplicite le regole della valutazione prima della sottomissione dei prodotti.
Bisogna anche vengano rese esplicite regole con verranno operate le rinormalizzazioni ( per area, per ssd, per dipartimento?) altrimenti si pensi a come si possa confrontare in un dipartimento di Fisica e Matematica uno sperimentale delle alte energie ( dove tre lavori pochissimi) con un logico matematico ( dove tre papers in 5 anni sono spesso l’intera produzione). Ovviamente quel dipartimento falserebbe il dato inserendo 4 lavori per ogni fisico e meno di due per ogni logico.
Poi quando sapremo come peseranno nelle graduatorie finali i vari quintili della valutazione?
Sarebbe una cosa veramente indecente che prima vengano presi i prodotti e ci vengano date le regole a posteriori.
Per saperne di più su CRUI:UniBas:
Una VQR ogni sei mesi basata sul Protocollo ANVUR-STAMINA. Lo propone la CRUI.
__________
«Refrain from adopting the combination of citation and journal metrics to grade publications, as used in the Italian VQR 2011–2014». E anche: «The VQR 2011–2014 has too many vulnerabilities that make it unsound and often controversial» a causa di «conceptually misleading criteria for normalizing and aggregating the bibliometric indicators in use». Stiamo citando articoli pubblicati in note riviste scientifiche peer-reviewed che si occupano di bibliometria. In breve, per la comunità scientifica, la bibliometria anvuriana è una sorta di metodo STAMINA della valutazione. Come reagisce la CRUI? Protesta? Niente affatto. Al contrario, si è fatta promotrice di un Sistema di Supporto per la Valutazione della Produzione Scientifica degli Atenei che adotta il protocollo ANVUR-STAMINA per lo svolgimento semestrale in tutti gli atenei di valutazioni automatizzate su larga scala senza l’utilizzo di peer-review (l’equivalente di due VQR all’anno, estese a tutta la produzione scientifica). Ovviamente l’adozione non avverrà a costo zero, ma dietro pagamento di quote di abbonamento non irrisorie. E a seguito di accordi (i cui costi nessuno conosce) con i grandi produttori internazionali di banche dati bibliometriche (Elsevier e Clarivate).
https://www.roars.it/una-vqr-ogni-sei-mesi-basata-sul-protocollo-anvur-stamina-lo-propone-la-crui/
CRUI:Unibas è in funzione in moltissimi atenei. Prevedibile ciò che sta succedendo con la valutazione affidata a GEV con totale impossibilità di gestire la lettura e valutazione obiettiva di tanti testi: chiaro che vi saranno arbitrii. Personalmente ritengo che dovremo organizzarci contro questa vera e propria barbarie.
Mi spiace ma questa volta potreste aver “sbagliato”!
Un po di storia come premessa…
Correva l’anno 2011 (8 agosto quando la “macchina del tempo” ha “catturato” l’embrionale sito di anvur.org (punto org).
Nel messaggio di benvenuto il presidente ci teneva a ribadire:
“…In appendice a queste poche di righe di benvenuto mi preme ribadire che http://www.anvur.org è l’unico e solo sito dell’ANVUR, e che il materiale inserito nel sito http://www.anvur.it, preesistente all’insediamento dell’Agenzia, non ricade nel modo più assoluto sotto la nostra responsabilità…”
(https://web.archive.org/web/20110808084536/http://www.anvur.org:80/)
quindi il sito ufficiale era “punto org” e NON “punto it”.
Passa il tempo e da quanto si evince da alcuni documenti (cache-ati da google) anvur entra in possesso anche dei domini “punto it” e “punto eu”
“…L’ANVUR, in relazione allo svolgimento delle proprie attività istituzionali ed amministrative, ha datempo registrato i domini anvur.it, anvur.org e anvur.eu e affidato il relativo servizio di hosting…”
( http://webcache.googleusercontent.com/search?q=cache:14vW1lvCJy0J:www.anvur.org/attachments/article/1149/appunto%2520direttore%2520rinnovo~.pdf )
Passa ancora il tempo per arrivare al 6 dicembre 2019 quando su http://www.anvur.it (punto it) compare l’avviso:
“…Si segnala che il dominio http://www.anvur.org è stato registrato da un ente terzo non collegato all’Agenzia in alcun modo. A tal proposito si chiarisce che l’unico dominio istituzionale dell’ANVUR è http://www.anvur.it”
( https://www.anvur.it/news/comunicazione-su-dominio-web-anvur-org/ )
E veniamo a quello che potrebbe essere “l’errore” della redazione:
ma vi pare che se ci fossero tutti quei soldi a disposizione, anvur si sarebbe fatto sfuggire il dominio storico (punto org) con cui sono iniziate le “fortune e i successi” anvur?
Neanche un privato cittadino che fa il proprio siterello risparmia 10€ per (il rinnovo del)la registrazione di un dominio anzi magari se è disponibile acquista i più conosciuti (.com, .info, .edu…) per evitare che vengano accaparrati ed usati per “fini terzi”.
Appunto, dicevo neanche un privato cittadino… a meno che non sia in ristrettezze economiche come “sicuramente” sarà anche anvur, altrimenti…
Se è per quello, ieri, ho scoperto che sono spariti i vecchi rapporti VQR 2004-2010 dalla pagina ANVUR: https://www.anvur.it/attivita/vqr/vqr-2004-2010/rapporti-finali-gev-e-anvur/.
Se si clicca sul link https://www.anvur.it/rapporto/ si viene mandati a questa pagina qua. Non c’è che dire, la sicurezza informatica ad ANVUR è una garanzia (come la bibliometria).
Ma le pare che questa confusa confusione , cioè confusione al massimo grado, sia garanzia di serietà ed affidabilità? e che si debba sprecare tempo per ‘intuire’ o ‘stanare’ il luogo giusto dove stanno le informazioni fondate e garantite? Che lo facciano apposta, per indifferenza, per stupidità o per imperizia (cfr. la famosa incompetenza informatica del caso Azzolina), fa lo stesso. Ergo: non sono all’altezza del compito. Punto, stacco, via e a capo.
Mi sembra di ritornare agli inizi della altrettanto confusa, fuorviante, energivora e costosa digitalizzazione universitaria che ho vissuto, quando qualcuno, amministrativo, mi ha detto: Ma prof, sta in rete. – Dove in rete, di grazia?
Nelle vostre analisi siete comprensibilmente focalizzati soprattutto sul problema della informed peer review, ma questo a mio avviso vi fa sfuggire un aspetto nons econdario del bando.
Il DM recita: ‘Per i prodotti per i quali non risulti applicabile l’uso della peer reviewi nformata, il GEV può fare ricorso ad almeno due esperti valutatori esterni, in possesso dei requisiti di cui all’art. 3,comma 3, lett. a),pur mantenendo la responsabilità della valutazione’ (notare l’uso, già di per sé ambiguo, dei termini ‘può’ e ‘almeno’).
Ma il bando ANVUR dice invece: ‘Per i prodotti per i quali, in base alle caratteristiche dell’area, non è appropriato l’uso della peer review informata da indicatori citazionali, il GEV valuta la qualità di ciascun prodotto scientifico conferito dalle Istituzioni con la metodologia della peer review, affidata di regola a due componenti del GEV a cui il prodotto viene assegnato in base alle competenze disciplinari. Nel caso in cui all’interno del GEV non esistano le competenze disciplinari necessarie per la valutazione del prodotto, il GEV si avvale di almeno due esperti esterni fra loro indipendenti’.
Questo significa che, per i settori in cui non ci si avvale della bibliometria, l’interpretzione dell’ANVUR non è che sia obbligatorio far riferimento a due valutatori esterni per ogni prodotto, bensì che agiscano come peer reviewer, ‘di regola’, due membri del GEV. Il ricorso a valutatori esterni è riservato unicamente a quei casi in cui nel GEV ‘non esistano le competenze DISCIPLINARI’ per valutare il prodotto. Ma tali competenze DISCIPLINARI, per gli ssd con più di 50 afferenti, esistono PER DEFINIZIONE, dato che ognuno degli ssd in questione avrà un proprio componente sorteggiato nel GEV. Ergo, saranno, ‘di regola’, i membri del GEV a valutare i prodotti, agendo come peer reviewer.
Come verrà risolta l’evidente difformità tra DM e bando? Vedremo. Ma l’ipotesi che a leggere e valutare i prodotti siano di fatto prevalentemente i membri del GEV, che complessivamente sono di più rispetto al passato esercizio e che hanno un ‘costo’ di 5000 euro ciascuno, mi sembra tutt’altro che improbabile.
Aggiungo un altro punto controverso della procedura, sin qui poco notato mi pare: ossia che né il DM né il bando prevedono, tra le varie cause di esclusione/incompatibilità elencate al comma 4 dell’articolo 3 del bando, l’essere docenti dello stesso Ateneo dei componenti già sorteggiati; a differenza, ad esempio, delle commissioni ASN. Dunque, sulla carta e sorteggio permettendo, i membri di un GEV potrebbero appartenere anche tutti allo stesso Ateneo.
Forse non era abbastanza chiaro nel testo, ma “l’ipotesi che a leggere e valutare i prodotti siano di fatto prevalentemente i membri del GEV” è proprio quella che giustifica lo scenario peggiore: non ci sono soldi per pagare i revisori -> il lavoro lo devono fare i membri dei GEV -> che non possono sobbarcarsi così tanto lavoro -> e quindi si aiuteranno con i dati di UNIBAS-CRUI. I soldi ci sono per pagare i revisori. Quindi …
Non credo che useranno i dati UNIBAS-CRUI per i settori c.d. (o precedentemente detti) ‘non bibliometrici’. Credo, invece, che si serviranno di una finta peer review interna al GEV. Come ho scritto altrove, il miglioramento consisterebbe nel fatto che qualcuno ci ‘metterebbe la faccia’.
Tutti sappiamo (ormai) che i parametri bibliometrici forniscono valutazioni estremamente grossolane e incoraggiano comportamenti opportunistici, di dubbio valore etico. Queste considerazioni non possono farci dimenticare i problemi connessi con la peer review immaginata dal ministro Fioramonti: 1) è un compito immane (e probabilmente irrealizzabile): oltre 50.000 addetti alla ricerca, per ciascuno dei quali occorre valutare (leggere e sottoporre a valutazione critica) 3 pubblicazioni: totale 150.000 pubblicazioni! 2) Anche ammettendo di risolvere il problema di cui al punto 1 attraverso il reclutamento, ad esempio, di 5.000 valutatori che leggano ciascuno 30 pubblicazioni scientifiche, si otterrebbero valutazioni di qualità estremamente disparata: alcuni valutatori saranno di manica larga, altri saranno severi; ciascuno di loro tra i 30 lavori a lui affidati ne avrà alcuni sui quali e più competente altri sui quali lo è meno. 3) Lo spreco di tempo (e di denaro) della procedura descritta al punto 2 è enorme e certamente molti di noi, se invitati, si rifiuterebbero, io per primo: quindi il reclutamento di un sufficiente numero di valutatori è implausibile. Occorre rivalutare interamente il concetto e lo scopo delle VQR e centrare la valutazione su obiettivi ragionevoli. Ne suggerisco uno: abolire l’ANVUR, adottare come buone le valutazioni compiute da agenzie straniere e identificare le ULTIME 10 università pubbliche italiane; studiare il funzionamento di quelle e valutare se soffrano di problematiche risolvibili sulle quali intervenire in senso migliorativo. Va da sé che la mia proposta è ANTIMERITOCRATICA: non si propone di premiare i migliori ma di risollevare i peggiori.
ad oggi,21 febbraio, su unibas non risultano ancora caricari i lavori 2019 relativi alla sezione fabbr, quella che consente di avere un indice sintetico (eccellente, elevato, etc). A mia domanda mi si risponde che non ci saranno altre estrazione dopo quella di novembre 2019, in altre parole che unibas ha gettato la spugna o che comunque , proprio quando viene richiesta una scelta vengono tolti gli strumenti per farla. Non c’è che dire, soldi ben spesi…
Come adottare valutazioni di agenzie straniere?
Meglio: abolire VQR, abolire ASN. Pubblicare quando i lavori sono maturi, permettere libera circolazione libri e riviste. Lasciare a tutti il tempo di leggere e scrivere. La valutazione sarà ponderata, fatta da specialisti, sincera, perché non si dovrà escludere né promuovere alcuno. Chi vale emergerà e le vetrine rimarranno vetrine.