L’idea che la valutazione del merito e dell’eccellenza nella selezione dei migliori possa essere condotta al risparmio sta per concretizzarsi senza colpo ferire nella riforma del reclutamento dei ricercatori che in questi giorni si discute in Parlamento. Ma questa idea ha già conformato il sistema della valutazione della qualità della ricerca anvuriana, se è vero che – ad onta dei principeschi compensi spettanti al presidente e ai componenti della costosa burocrazia di via Ippolito Nievo – nell’ambito della VQR 2015-2019 in corso di svolgimento i professori e ricercatori chiamati a dare la propria disponibilità a valutare i prodotti della ricerca sono stati posti di fronte a un’opzione davvero sibillina.

La scelta esercitabile in via telematica prevedeva che l’avente diritto a rientrare nelle liste dei valutatori cui i GEV avrebbero potuto chiedere di valutare i prodotti della VQR, si dichiarasse pronto a valutare fino a 50 prodotti in modo completamente gratuito, oppure acconsentisse a farlo solo in cambio di (una non meglio specificata) retribuzione.

Cosa possa spingere un professore universitario a valutare con la necessaria serietà e professionalità ben 50 prodotti scientifici senza pretendere nulla per il lavoro svolto è una domanda che sembra lecito porsi.

Oggi che la valutazione dei prodotti incombe, come si staranno comportando i GEV che hanno la facoltà di affidare la valutazione dei prodotti agli esperti dichiaratisi disponibili a svolgere l’alto munus, esercitando l’opzione telematica sul sito del MUR?

Sceglieranno per un superiore principio di economicità (che, però, non sembra valere per i compensi dei membri dell’ANVUR e per gli stessi GEV) solo gli eroici, zelanti (e soprattutto: candidamente disinteressati) valutatori che per puro spirito di servizio si sono resi disponibili a costo zero per l’amministrazione? O vorranno e manterranno la possibilità di affidare tali valutazioni anche a quanti hanno dato una disponibilità subordinata al pagamento di un compenso seppur minimo, convinti che non svilire la dignità di un ricercatore e professore universitario significhi anche rivendicare – per principio – che il tempo impiegato da un accademico per soppesare con la necessaria serietà la qualità di un prodotto scientifico possa meritare di valere almeno quanto il diritto di chiamata di un idraulico a domicilio?

Nessuna norma chiarisce il dilemma. Cosa staranno facendo i GEV, sapendo che il professore Pinco (riconosciuto esperto del tema di cui al prodotto X da valutare), esercitando in coscienza l’opzione messagli a disposizione, ha condizionato a un giusto compenso la propria opera di valutazione, mentre il professore Pallo (che ha già stoicamente valutato 49 prodotti e mai ha scritto sul tema del prodotto X) è pronto a sacrificare gratuitamente l’ultimo scorcio della sua estate post Covid, immolandosi sull’altare dell’amore anvuriano per la “scienza di qualità”? E che tipo di indicazioni operative in merito alla scelta da effettuarsi staranno ricevendo (o forse avranno già ricevuto) i GEV dai ben retribuiti piani alti di via Ippolito Nievo?

Sono i sottili paradossi della valutazione della ricerca all’italiana. Dove la VQR muove ingenti prebende, promuovendo dipartimenti di eccellenza i cui componenti, dopo aver potuto adeguatamente finanziare le proprie iniziative di ricerca e di reclutamento, all’occorrenza possono anche decidere di auto-attribuirsi (sembra sia accaduto persino questo nella gestione dei fondi dei dipartimenti di eccellenza premiati dalla precedente VQR effettuata in alcuni atenei italiani) premi finali in moneta sonante in nome dell’eccellenza conquistata grazie a valutazioni svolte da truppe cammellate di professori disposti a sobbarcarsi il pen(s)oso lavoro di valutazione per la sola gloria accademica.

Ognuno vede come questo meccanismo, sottilmente escogitato da chi la procedura l’ha messa in pratica, crea le condizioni perché si generi silenziosamente un gigantesco e sistemico conflitto di interesse, in coerenza con una valutazione della qualità condotta all’ingrosso, da valutatori la cui scelta non risponde al solo metro della qualità e della competenza a valutare, ma è subordinato nei fatti a quello della sola economicità.

Si valutino gratis diverse decine di prodotti all’occorrenza, perché la valutazione che ne risulterà, se opportunamente ponderata, potrà un domani “retribuire” i solerti e disinteressati (?) valutatori di oggi, celebrando la gloria di qualche dipartimento che otterrà l’ambito bollino di eccellenza grazie a occhiuti revisori scientifici che hanno saputo distribuire patenti di eccellenza o di insufficienza a ben 50 prodotti senza chiedere nulla per il tempo trascorso a farlo.

Come si pretende di ottenere valutazioni imparziali, competenti e scrupolose, se il compito di svolgere l’attento e delicato lavoro del valutatore viene svolto con queste premesse? Quale potrà essere l’incentivo che muove gli stoici valutatori costless, se non quello di avere l’opportunità di riuscire a condizionare con la propria valutazione gli amici e gli amici degli amici? E quale mai sarà l’interesse che induce a sobbarcarsi la fatica della valutazione a costo zero, sarà pronto a chiedersi l’economista aduso a scrutinare l’agire umano alla luce della teoria degli incentivi?

Quel che conta in questo processo di valutazione al risparmio, che pretende di valutare l’eccellenza a costo zero, è consentire ai capi della burocrazia anvuriana di farsi belli, mostrando che la costosa macchina della valutazione sa risparmiare su quanto non dovrebbe essere oggetto di risparmio, facendolo proprio sul fondamentale atto tecnico della valutazione.

Proprio dove un’adeguata retribuzione servirebbe anche a garantire la qualità e la serietà delle valutazioni operate, e dove un meccanismo come quello escogitato nei fatti da ANVUR (chiedere formalmente al futuro valutatore se è disposto a valutare dietro compenso, o non, e poi nei fatti affidare la valutazione solo agli esperti dichiaratisi disposti a valutare gratis fino a 50 prodotti di ricerca, così mettendo in scena un ridicolo gioco delle tre carte) si commenta da solo. Rispecchiando fedelmente la serietà dell’intero processo di valutazione sulla cui base continueranno ad essere distribuite in Italia le eccellenti prebende dei dipartimenti dei “migliori”.

Send to Kindle

14 Commenti

  1. (premettendo che ovviamente la VQR andrebbe eliminata, eventualmente andrebbero valutati i singoli e valutate ex-post le assunzioni…) cosa c’entra? Faccio pure i referaggi gratis, se è per quello pubblico pure gratis (anzi rischio di dover pagare per pubblicare) quando poi le riviste ci lucrano… Ripeto che VQR delenda est, ma questo mi pare l’utimo dei problemi.

    • Certamente. Ma questi metavalutatori devono lavorare gratis…





      Anzi, pagare del loro, per metavalutare!

  2. L’esigenza di valutare i valutatori che valutano i colleghi nasce da una profondissima sfiducia nel sistema. Tutti noi ingoiamo ciò che non possiamo in alcun modo cambiare: devono cambiare le persone… Non vi è etica del lavoro. Chi non riconosce la bontà del lavoro altrui in un concorso, in una tesi di laurea, in una lezione, ma per partito preso, per fare un dispetto, per avvantaggiare un altro obliterando un concorrente valido, come potrà valutare negativamente chi opera come lui?

  3. Effettivamente sono rimasto anche io stupito dal fatto che l’interfaccia mi chiedesse se volessi o meno essere pagato per le mie valutazioni. Anzi, ero piuttosto imbarazzato: la peer review è uno dei miei compiti in quanto ricercatore, e lo svolgo di solito gratuitamente, ma dato che la possibilità di essere pagati c’è, rinunciando mi sembrava di svilire il mio lavoro – e quello dei colleghi. Ora che ho letto questo articolo, credo di avere capito: se avessero pagato tutti, ROARS avrebbe gridato all’inutile spreco di soldi, mentre se non avessero pagato nessuno, ROARS avrebbe denunciato il tentativo di fare le nozze con i fichi secchi: unica soluzione, lasciare quindi la scelta ai revisori.

    Ovviamente ROARS un appiglio per protestare poi lo trova sempre e comunque, ignorando che questa famigerata valutazione “costless” (ammesso e non concesso che sarà preponderante) è, appunto, la norma nel mondo della ricerca. E anzi: rispetto a quando faccio peer review per una rivista o una conferenza sto sentendo più pressione a essere equilibrato perché non so neanche chi mi ha assegnato la valutazione, né quante e quali persone la leggeranno. Se anche dovesse essermi assegnata una pubblicazione di qualcuno a cui vorrei fare un dispetto, preferirei sicuramente rifiutarla che perdere la faccia di fronte a chi riceverà la mia valutazione.

    • L’anonimo SAPEVATE – dietro il quale si può immaginare celata la pavida penna di un GEV o di qualcuno che ha messo le mani al processo di valutazione della VQR in corso – apre le sue considerazioni dichiarando il suo imbarazzo per essere stato investito della scelta di essere pagato [sia chiaro: 30 euro per prodotto valutato, anche quando si debba leggere una monografia di 500 pagine] o di accettare di svolgere il suo lavoro gratuitamente, come SAPEVATE dichiara di fare normalmente nel volgere della sua ordinaria attività di peer review per riviste (accessibili magari solo a pagamento).

      Superato l’inziale imbarazzo, SAPEVATE afferma però di aver concesso la sua disponibilità dietro compenso “per non svilire il mio lavoro”. Il seguito del commento è dedicato a smentire l’opzione che SAPEVATE dichiara di aver scelto all’atto pratico, perché “la valutazione gratuita sarebbe la norma nel mondo della ricerca”. Nel far ciò, SAPEVATE non omette di indirizzare i suoi strali contro ROARS, “che un appiglio per protestare lo trova sempre e comunque”. In ultimo, SAPEVATE ci rivela che, adesso che sta svolgendo la sua attività di valutatore per la VQR in corso a pagamento, avverte più pressione ad essere equilibrato di quanto fa normalmente, perché non sa chi gli ha assegnato la revisione, né sa chi e quante persone leggeranno il frutto delle sue valutazioni, finalmente più equilibrate.

      Invitiamo SAPEVATE a fare pace con se stesso, non senza svelargli che i membri del suo GEV (le cui identità sono rese pubbliche e come tali conoscibili anche da SAPEVATE, che fa finta di non SAPERLO) sanno benissimo che lui sta valutando il prodotto che loro hanno deciso di assegnargli. E la possibilità che ogni valutazione negativa di SAPEVATE sia resa nota agli autori dei prodotti da lui valutati, rivelando loro che la valutazione non lusinghiera è proprio opera di SAPEVATE, è affidata all’etica e al buon cuore dei componenti del GEV che gli hanno assegnato il prodotto da valutare.

      Piuttosto, è bene che SAPEVATE SAPPIA cosa è accaduto dopo la pubblicazione dell’articolo di quegli attaccabrighe di ROARS. Perché è successo che quanti, investiti a tempo debito dell’opzione da chi ha pensato la procedura, avevano legittimamente subordinato la propria attività di valutazione al pagamento di un compenso, si sono visti respingere l’istanza formale proposta agli uffici della VQR per modificare la propria scelta nel segno della gratuità, visto che non stavano ricevendo contributi da valutare che invece giungevano ai valutatori gratuiti, salvo scoprire, dopo aver ricevuto questo diniego, di cominciare finalmente a ricevere prodotti da valutare in base all’opzione non gratuita già espressa.

      In realtà l’intervento di SAPEVATE offre il destro per porre in luce un tema molto più importante delle manovre strategiche che si stanno svolgendo a ridosso della VQR italica.

      La bontà di questo processo dipende (o dovrebbe dipendere) in via esclusiva dal capitale reputazionale che il valutatore e il valutato mettono in gioco in questo processo. Valutare un contributo scientifico significa fare scienza: le argomentazioni che inducono a lodare o a criticare un lavoro sono indissolubilmente intrecciate con le argomentazioni che l’autore ha immesso nel lavoro oggetto di valutazione. Perché il processo funzioni, minimizzando nel massimo grado il rischio che interessi diversi da quello relativo alla qualità scientifica contaminino la valutazione, si dovrebbe accettare l’idea che ogni disallineamento fra la qualità del lavoro valutato e la qualità del lavoro di valutazione resti acquisito al dibattito aperto e trasparente della comunità scientifica, mettendo perpetuamente in gioco il capitale reputazionale del valutato e del valutatore, al netto di ogni ridicolo appello alla riservatezza.

      Tecnicamente, la tecnologia digitale che il MUR già dispiega per consentire valutazioni caratterizzate da 10 punti crescenti di qualità e da un tetto insuperabile di 200 parole impiegabili per giustificare la valutazione operata, lo permetterebbe. Basterebbe rendere queste valutazioni accessibili, se non al pubblico indefinito degli smanettoni di internet, almeno a tutti coloro che sono in possesso delle credenziali MUR e che abbiano accettato di sobbarcarsi la fatica della valutazione (ecco un incentivo molto più potente dei 30 denari per reclutare i volenterosi).

      Ma così facendo verrebbe in piena luce un problema gigantesco, che l’attuale sistema tenta di celare (senza peraltro riuscirci). In un auspicabile processo aperto e trasparente in cui il motore della valutazione fosse il solo capitale reputazionale, i PO, al vertice della maturità scientifica, potrebbero seguitare a valutare qualsiasi prodotto. I PA potrebbero fare lo stesso solo per i prodotti di PA e ricercatori, e questi ultimi potrebbero farlo limitandosi a vagliare prodotti di cui siano autori propri pari. I numeri dei valutatori disponibili si assottiglierebbero oltremisura. E l’elefantiaco processo della valutazione di Stato – che, si noti, non vede in gioco il mero capitale reputazionale, ma capitale sonante, distribuito sotto forma di fondi premiali alle istituzioni presso cui operano i partecipanti al gioco della valutazione – s’incepperebbe prima ancora di poter essere concepito.

      Ecco perché quei soliti “protestanti” di ROARS da sempre sostengono che la VQR è un processo che non funziona per assecondare i nobili ideali sbandierati da chi ha voluto questo dispendioso (sì, dispendioso, e anche senza i 30 denari) processo. Che, più che un “Second Best”, è un “Always Bad”.

  4. Wow. Questo commento in risposta al mio ha passi francamente molto più interessanti dell’articolo che stiamo commentando. In particolare, laddove l’articolo si chiede un retorico “Cosa staranno facendo i GEV?” e poi si perde in polemiche altrettanto retoriche, il commento fornisce, seppure senza riferimenti specifici, una risposta, appunto, molto interessante (se non limitata ad un paio di casi aneddotici): i GEV stanno effettivamente favorendo i revisori gratuiti – almeno finché non vengono accusati di fare esattamente ciò. La prima parte non è molto sorprendente (a meno che non si dimostri che sistematicamente i gratuiti siano peggiori di quelli a pagamento, cosa che non ho ragione di credere), la seconda (che a quanto pare abbiano la coda di paglia) lo è – di nuovo, se non episodica.

    Comunque vorrei risollevare il morale di “Redazione ROARS”: non vi leggono solo un gruppetto di fan accaniti e i cattivissimi membri dei GEV, ma anche il pubblico accademico più generale, che magari a volte vi trova degli appassionati investigatori e a volte dei fanatici qualunquisti (talvolta all’interno dello stesso articolo!). Io personalmente sono finito su questo articolo cercando di capire tramite Google, per curiosità, quanto sarei stato retribuito per il lavoro di valutazione che sto facendo (sì, lo so, bastava che mi leggessi con attenzione il contratto). Sempre per la cronaca, siccome ero per l’appunto indeciso, ho deciso a suo tempo che parte delle valutazioni le avrei fatte gratuitamente, parte a pagamento. E sto effettivamente ricevendo dei contributi da valutare – non saprei dire se tanti o pochi per il mio settore.

    Pur non essendo membro di un GEV non sono così fesso da non sapere che i nomi dei membri dei GEV sono pubblici. Ma francamente – valutate voi se sono pessimista o realista – dubito che tutti i membri del mio GEV abbiano in coro deciso quali articoli assegnarmi, e dubito che tutti, in coro, leggeranno le mie valutazioni. Per questo motivo dico che percepisco un anonimato del committente più forte rispetto a quando valuto per una rivista con il suo editor.

    Non ho capito assolutamente gli ultimi paragrafi del commento. L’idea di rendere pubbliche le identità dei valutatori di ogni articolo è ovviamente poco sensata, non secondo me ma secondo tutti i comitati editoriali di riviste con blind peer review, che sono tante e non così infami… Ma in ogni caso non vedo perché dovrebbe implicare una distribuzione gerarchica dei valutatori: la peer review è peer review. Se il punto è “un ricercatore non si permetterebbe mai di castigare un PO”, questo è esattamente parte della ragione per cui la peer review è blind – e quello di non volere pestare i piedi altrui non è, ovviamente, un problema che sorge solo quando ci sono relazioni gerarchiche.

    È interessare capire eventuali storture peculiari di questa VQR, e sarà interessante analizzare eventuali distribuzioni di valutatori gratuiti vs. retribuiti nella platea vs. nelle assegnazioni… ma invece nel momento in cui mettete all’indice caratteristiche che la VQR condivide con la peer review delle migliori riviste al mondo, possiamo al massimo concludere che la VQR non è migliore delle migliori riviste al mondo. Vabbuo’. Meglio delle migliori riviste al mondo che io sappia c’è solo la chiaroveggenza.

    • SAPEVATE insiste: “Se il punto è ‘un ricercatore non si permetterebbe mai di castigare un PO’, questo è esattamente parte della ragione per cui la peer review è blind”.

      In realtà, come abbiamo osservato, nei GEV le associazioni fra prodotti e valutatori sono note. E solo SAPEVATE ripone una fiducia BLIND sul fatto che l’etica personale dei GEV garantisca che la meritata valutazione negativa operata del ricercatore sul prodotto dell’ordinario di settore che il primo ha avuto in sorte di valutare non giunga alle orecchie del secondo, affinché ne possa tener conto nei futuri passaggi di carriera dell’autore della valutazione non lusinghiera.

      L’enorme differenza strutturale che corre fra una valutazione di una rivista accademica e una valutazione che contribuirà a far sì che il finanziamento delle Università avvenga in un certo modo è questa.

      Nel primo caso l’effetto negativo è la rejection (senza contare che in quel processo è possibile chiedere all’autore di emendare il prodotto, rimediando alle debolezze riscontrate), e se la rivista dovesse perdere un contributo meritevole per effetto di una valutazione “inquinata” finirebbe per auto-danneggiarsi, senza contare che l’autore conserva sempre la possibilità di trovare altre riviste di settore dove vedere finalmente riconosciuto il merito scientifico dell’articolo.

      Nel secondo caso, vista la sede istituzionale della valutazione, l’effetto di una valutazione inquinata non conosce sedi alternative di rivalutazione (anche se nella VQR ciascun prodotto viene valutato da due revisori e i GEV possono essere arbitri della valutazione finale che riceverà il prodotto) e l’effetto cumulativo dei risultati finali delle valutazioni operate in seno alla VQR è quello di convogliare le risorse pubbliche destinate all’Università in un certo modo, invece che in altro.

      Ecco perché il frastagliato modello della valutazione editoriale ordinaria non può essere trasposto tout-court nel mondo della valutazione di Stato. Gli incentivi, il contesto e gli effetti sono diversi. Senza contare che quando sono in ballo risorse pubbliche, occorrerebbe dare rilievo all’interesse pubblico e diffuso alla conoscenza analitica delle modalità attraverso le quali il meccanismo perviene a determinare gli effetti della premialità e della penalizzazione nel finanziamento, che questo meccanismo mira istituzionalmente a realizzare.

  5. Se SAPEVATE avesse fiducia “BLIND” nella sua comunità scientifica, forse su questo sito non scriverebbe da anonimo. Ma sa bene che una certa, ben pesata, dose di fiducia nella sua comunità di riferimento è purtroppo (?) condizione irrinunciabile per fare il suo lavoro – quando fa il valutatore, e quando fa il valutato. Che sia per una rivista o per la VQR. Non c’è metodo di aggregazione del consenso che sfugga alla regola “garbage in, garbage out”.

    Dopodiché, che un referee VQR amministri più potere di un referee di una (buona) rivista è una tesi interessante e discutibile: in una buona rivista basta un commento negativo a rifiutarmi una pubblicazione (e quindi una manciata a precludermi le riviste interessanti), mentre nella VQR un singolo giudizio anche drasticamente opportunistico su un mio articolo avrà tutt’al più (a seconda di come lavora il GEV) un impatto minimo sui fondi che riceve il mio ateneo. Peraltro ci vuole decisamente meno faccia tosta, per un referee disonesto, a cassare un articolo per una rivista che a cassare lo stesso articolo nella VQR DOPO che è stato pubblicato su una buona rivista. Ma anche ammesso che la tesi, priva di evidenze empiriche convincenti, sia fondata… di nuovo, è abbastanza irrilevante: il problema rimane sempre come organizzare e aggregare il consenso dei referee, importanti o meno che siano.

    Non è neanche particolarmente rilevante che i soldi in gioco siano pubblici… non mi risulta che quando i soldi ce li mettono i privati abbiano piacere a sprecarli: il problema di come valutare è sempre grosso modo lo stesso in tutto il mondo. Peraltro le decisioni che fanno gli staff editoriali delle riviste “giocano” in ultima analisi con soldi perlopiù pubblici.

    Forse la vera peculiarità della VQR che attira gli strali di ROARS e non solo è che vi sono perlopiù valutatori (e membri dei GEV) italiani, mentre nelle riviste sono perlopiù stranieri – e che dei propri conterranei ci si fida meno. Ci si può consolare apprezzando che la VQR fornisca sistematicamente gli indicatori bibliometrici (internazionali) dei prodotti da valutare… ma io non lo trovo del tutto consolante. Credo più che altro che la comunità italiana non sia solo garbage, e che nella misura in cui lo sia… non esiste bacchetta magica.

    Sottoscrivo però il desiderio che a posteriori ci sia un’analisi seria, e supportata da tutti i dati che sia possibile rendere pubblici, del funzionamento del meccanismo. Il fatto che la VQR raccolga perlopiù critiche poco costruttive non significa che non si possa fare proposte costruttive affinché la prossima edizione funzioni meglio.

  6. ma c’è un qualche motivo sensato per cui uno dovrebbe fare questo lavoro di revisione o gratis o per cifre umilianti che non sia: a) vendicarsi di vecchi nemici; b) fare qualche minima carriera tristanzuola nel ministero, con annesso corsetto a Roma sulla valutazione dei corsi di studio, con pensioncina malfamata pagata sui fondi di ricerca?

  7. a me serve per capire la vqr da dentro. quando abbiamo dovuto scegliere i prodotti tutte bocche cucite dalle parto di viale di trastevere, con 4 valori anvur, 4 isi wos e 4 scopus. ora si scopre che ci comunicano il migliore di tutti. nonostante questo articoli nel primo 10% sono in peer revew. misteri romani

  8. (parzialmente fuori tema, ma) io non capisco tutte queste lamentele sui “referee disonesti”. A me è sempre capitato che gli “editor” hanno sempre letto molto attentamente i miei referaggi. Se scrivessi una cavolata, o un giudizio palesemente immotivato, se ne accorgerebero subito. Ho sempre rifiutato tutti i referaggi in cui potessi essere anche solo lontanamente in conflitto di interessi, ma, putacaso volessi stroncare un lavoro corretto ed eccellente, l’unica cosa che potrei fare è un lavoro di lima, mettendo in risalto le debolezze e oscurando un minimo gli aspetti rilevanti. Ma in là più di tanto non potrei andare.

    Semmai, invece, so di editor che spesso offrono un trattamento di favore a chi conoscono, probabilmente anch’io sono stato favorito qualche volta da qualcuno che forse aveva eccessiva stima in me…

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.