La nuova VQR 2015-2019 (da ora in poi VQR3) presenta diversi elementi di novità rispetto alle precedenti. Sono cambiamenti che risultano comprensibili ricorrendo a due chiavi di lettura.  In primo luogo, una forte tensione tra il tentativo di innovare le procedure firmato dal ministro Fioramonti e la difesa del vecchio metodo da parte di ANVUR. In diversi punti del Bando emerge chiaramente il tentativo di ribaltare lo spirito delle Linee guida, talvolta tramite espedienti (le farraginose regole di selezione dei GEV progettate per fallire e lasciare mano libera ad ANVUR), talvolta tramite interventi arroganti (l’invenzione di un quarto profilo di qualità) o persino che violano la logica (le “percentuali di stato” del numero di prodotti che dovrebbero cadere nelle diverse classi). La seconda chiave di lettura ha a che fare con il ricorso a regole sempre più complesse nel disperato tentativo di tenere sotto controllo i comportamenti opportunistici (gaming) dei soggetti valutati. Il prossimo esercizio di valutazione si configura ancora una volta come una macchina burocratica elefantiaca, costosa e inaffidabile. Che la VQR riesca ad individuare punti di forza e di debolezza della ricerca italiana, fanno finta di crederlo solo i ministri ed i rettori. Un gruppo di professori universitari selezionati dalla politica svolgerà una valutazione di stato che servirà a riempire per qualche giorno le pagine dei giornali e i siti web degli atenei. Con buona pace dell’interesse principale dei cittadini di una paese civile: avere un sistema della ricerca trasparente ed affidabile che promuova ricerca libera, solida e aperta.

La nuova VQR 2015-2019 (da ora in poi VQR3) presenta diversi elementi di novità rispetto alle precedenti. Sono cambiamenti che risultano comprensibili ricorrendo a due chiavi di lettura.  In primo luogo, la lettura congiunta del Decreto Ministeriale contenente le Linee Guida (da ora in poi, DM) e del Bando pubblicato da ANVUR (da ora in poi, Bando) mostra una forte tensione tra il tentativo di innovare le procedure firmato dal ministro Fioramonti e la difesa del vecchio metodo da parte di ANVUR. La seconda chiave di lettura ha a che fare con il disperato tentativo di tenere sotto controllo i comportamenti opportunistici (gaming) da parte dei valutati ricorrendo a regole sempre più complesse. La nostra analisi sarà pertanto organizzata come segue.

  1. Le mosse del MIUR

1.1 Allargamento dell’accesso ai GEV
1.2 Rimozione degli automatismi bibliometrici
1.3 Profili di qualità basati su voti assoluti
1.4 Valutazione delle istituzioni e non dei singoli
1.5 Promozione dell’Open Access

  1. Le contromosse di ANVUR

2.1 Il GEV è mio e me lo gestisco io
2.2 La bibliometria rientra dalla finestra
2.3 I percentili di stato
2.4 La tracciabilità dei VQR-inabili
2.5 L’Open Access ridotto a burletta

  1. I mostri del contro-gaming
  2. Misteri ancora insoluti

4.1 Esenzioni a doppio taglio?
4.2 Il profilo fantasma

 

1. Le mosse del MIUR

Il DM ha tentato di introdurre diverse novità nella procedura di valutazione.

1.1 Allargamento dell’accesso ai GEV

Per favorire il coinvolgimento della comunità scientifica nelle procedure di valutazione, il DM prevede infatti che a) tutti i ricercatori con una soglia di produttività scientifica minima possano candidarsi a far parte dei GEV, e che b) la composizione dei GEV sia affidata ad un sorteggio.

1.2 Rimozione degli automatismi bibliometrici

La rimozione di ogni automatismo bibliometrico. Nel DM si prevedono due tipologie di valutazione. La prima è la “peer review” “informata … da indici citazionali internazionali, depurati dalle autocitazioni. Tali indici non possono comunque sostituirsi a un’accurata valutazione di merito del prodotto della ricerca, né tantomeno tradursi nell’automatica assegnazione del prodotto ad una delle categorie [di valutazione].” (il grassetto è nostro). Nei casi in cui la peer review informata non sia applicabile, “il GEV può fare ricorso ad almeno due valutatori esterni”. Il DM sembra indicare confusamente che siano le “caratteristiche dell’Area” a determinare quale delle due tecniche di valutazione debba essere adottata. Il DM stabilisce infine che “I casi in cui non risulti applicabile l’uso della peer review informata sono indicati nel bando ANVUR”.

1.3 Profili di qualità basati su voti assoluti

Un’altra novità è lo sganciamento della valutazione dei prodotti da (presunti) percentili internazionali. A titolo di esempio, nel bando della precedente VQR 2011-2014, in relazione a una pubblicazione “eccellente”, si scriveva al punto 2.6.1 che “Idealmente, essa si colloca nel primo 10% della distribuzione della produzione scientifica internazionale dell’area cui appartiene.” Nella pratica, questi percentili erano stati agganciati a percentili di indicatori bibliometrici consentendo di valutare in modo automatico gli articoli nelle aree cosiddette bibliometriche. Nella VQR3 la definizione dei cinque livelli di valutazione (A,B,C,D,E) è di fatto la traduzione della classificazione adottata nel REF inglese, dove tutte le valutazioni sono svolte mediante peer review e si traducono in questi cinque livelli assoluti.

Il DM prevede che le pagelle alla ricerca di aree, atenei e  dipartimenti verrà sostituita da profili di qualità come nel REF britannico: vale a dire dalle distribuzioni statistiche nei livelli di valutazione dei prodotti sottoposti a valutazione. Per gli atenei e i dipartimenti non sono previste classifiche, ma solo l’indicazione delle percentuali di prodotti nei livelli A, B, C, D, E.

Il DM determina di fatto l’eliminazione di ogni automatismo tra risultati della VQR3 e distribuzione del FFO. Il DM non prevede infatti nessun indicatore numerico di sintesi della qualità della ricerca delle strutture (i vecchi IRAS). Sarà il ministero a decidere se e come usare i risultati della VQR3 per la  parte premiale del FFO. Nelle precedenti VQR, già nelle Linee guida, venivano associati, dei punteggi ai diversi livelli (1 punto a “eccellente”, 0.7 a “elevato”, e così via). In tal modo il profilo di qualità veniva automaticamente tradotto in un voto, vincolante ai fini della distribuzione dei fondi e utilizzabile per stilare classifiche la cui dipendenza da calibrazioni arbitrarie rimaneva del tutto oscura all’opinione pubblica.  L’eliminazione di punteggi e pesi separa la fase di valutazione, che esprime profili di qualità, da quella di finanziamento, che dipende da una decisione politica (su quanto differenziare il finanziamento in funzione dei livelli da A ad E).

1.4 Valutazione delle istituzioni e non dei singoli

Il DM prevede che ogni struttura debba presentare per la valutazione un numero di “prodotti” triplo rispetto al numero di afferenti. I prodotti devono essere selezionati dalla struttura ed è perciò rimosso il vincolo delle precedenti VQR dove ogni ricercatore era tenuto a presentare un numero fisso di prodotti della ricerca. Contribuisce a prevenire l’uso improprio della VQR anche la pubblicazione dei profili in relazione alle sole aree scientifiche, mentre nelle precedenti VQR venivano pubblicati anche i profili e i voti per i singoli SSD, avvicinandosi quindi di più alle valutazioni individuali o comunque di piccoli gruppi di ricercatori.

1.5 Promozione dell’Open Access

Il DM introduce in modo abbastanza confuso e problematico alcune indicazioni che puntano a sfruttare la VQR3 per promuovere la diffusione dell’accesso aperto (open access). Il DM prvede infatti che i prodotti della ricerca sottoposti a valutazione debbano essere liberamente e gratuitamente accessibili a tutti (DM, art. 1 comma 3):

Art. 1.3 Linee guida per la valutazione della qualità della ricerca (VQR) 2015-2019

Salvo quanto previsto dall’art. 4, comma 2, lettera b), del decreto-legge 8 agosto 2013, n. 91, convertito, con modificazioni, dalla legge 7 ottobre 2013, n. 112, i prodotti della ricerca di cui al comma 2 sono liberamente e gratuitamente accessibili a tutti in almeno uno dei seguenti repertori:

a) Repository di ateneo;

b) Open subject repository (ad es. PubMed, ArXiv);

c) Discussion papers series;

d) Siti web personali dei ricercatori.

Per le monografie, l’ANVUR potrà definire accordi specifici con gli editori.

2. Le contromosse di ANVUR

Molte delle novità presenti nel DM sono in netto contrasto con le pratiche anvuriane consolidatesi nella VQR1 e VQR2. Ma ecco che ANVUR nel Bando VQR3 ha fatto rientrare dalla finestra molte delle cose che il DM aveva fatto uscire dalla porta. In particolare nel Bando, ANVUR ha perseguito i seguenti obiettivi:

  1. Tenere sotto lo stretto controllo del direttivo la nomina dei GEV, di fatto rendendo la procedura di sorteggio del tutto ininfluente per la composizione dei GEV stessi. Alcune parti del Bando potrebbero essere considerate illegittime perché in contrasto con il DM.
  2. Reintrodurre sotto mentite spoglie valutazioni bibliometriche semiautomatiche.
  3. Pilotare i profili di qualità imponendo “percentili di stato” nei diversi livelli. Anche in questo caso la previsione del bando potrebbe presentare profili di illegittimità.
  4. Rendere tracciabili i docenti VQR-inabili.
  5. Ridurre la promozione dell’open access ad una barzelletta.

Andiamo con ordine.

2.1. Il GEV è mio e me lo gestisco io

La formazione dei GEV è sempre stata una questione delicata. ANVUR ne ha sempre controllato in modo ferreo la composizione,  selezionando accuratamente studiosi “fedeli alla linea”. Il MIUR nel DM delle linee guida ha spinto per una apertura dei GEV alla comunità scientifica. ANVUR nel Bando ha invece introdotto una serie di contromisure per riappropriarsi del controllo ferreo dei GEV.

Il MIUR nel DM ha previsto che i membri dei GEV siano estratti a sorte tra coloro che rispondono ad un avviso pubblico; l’unica condizione per rispondere all’avviso è “essere in possesso di almeno 3 pubblicazioni scientifiche dotate di ISBN/ISSN/ISMN o indicizzate su WOS o Scopus negli ultimi 5 anni”.

L’idea di non controllare fino in fondo le nomine dei GEV ha terrorizzato il direttivo ANVUR così tanto che il Bando ha introdotto criteri molto più restrittivi di quelli del MIUR e un marchingegno così farraginoso che di fatto permetterà ad ANVUR di disegnare i GEV a proprio piacimento.

Restrizione dei criteri. Il primo passaggio consiste nell’introduzione nel bando VQR di criteri molto più restrittivi di quelli previsti dal DM. L’introduzione di questi criteri restrittivi è basata su una lettura da azzeccagarbugli dell’art. 3 comma 2 delle Linee guida MIUR (“studiosi italiani ed esteri di elevata qualificazione, scelti sulla base dell’esperienza internazionale nel campo della ricerca e della sua valutazione.”). ANVUR indica come necessario il possesso di almeno due tra 12 requisiti. In questo modo la platea dei possibili GEV si restringe in modo drastico.

Un professore ordinario, ad esempio, oltre a possedere le 3 pubblicazioni previste dal MIUR, potrà rispondere al bando soltanto se è in possesso di almeno uno dei seguenti titoli:

  1. vincitore di un programma Rita Levi Montalcini o SIR;
  2. incluso nelle liste per i commissari ASN;
  3. coordinatore di dottorato per almeno un ciclo a partire dal XXXI;
  4. PI o coordinatore locale di un PRIN nel periodo 2009-2019;
  5. PI o coordinatore locale di un ERC/FP7/Horizon 2020 nel periodo 2009-2019;
  6. componente di comitati di valutazione per progetti ERC;
  7. componente di comitati di valutazione internazionali di esercizi con finalità analoghe alla VQR (es. REF, ERA, ANECA, HCERES).

Ovviamente, alcuni di questi “titoli”, non sono nemmeno titoli. In particolare, colpisce il requisito di “Appartenenza alle liste per il ruolo di Commissario dell’Abilitazione Scientifica Nazionale”. ANVUR non poteva smentire pubblicamente il MIUR sul requisito delle pubblicazioni inserendo esplicitamente limiti più restrittivi di quelli stabiliti dal ministro. ANVUR ha così inventato l’appartenenza alle liste ASN che introduce surrettiziamente vincoli più stringenti sulle pubblicazioni di quelli ministeriali. Non solo: elimina tutti coloro che pur in possesso di requisiti abbiano ritenuto per qualsiasi ragione di non fare domanda per le commissioni ASN. Si tratta verosimilmente di una previsione che potrebbe essere impugnata di fronte al TAR, visto che al momento di decidere se fare domanda come commissario ASN, non era affatto noto che non fare domanda avrebbe precluso la possibilità di candidarsi a far parte dei GEV. A maggior ragione, se si considera che chi aveva fatto parte delle commissioni ASN 2016, non poteva ricandidarsi per l’ASN successiva.

Non mancano i paradossi: un professore associato abilitato alla I fascia che è stato componente per almeno quattro cicli di Collegio di Dottorato di ricerca è candidabile, ma non appena vince un concorso da Professore ordinario, non può più candidarsi, perché, per i professori ordinari, aver fatto parte di un Collegio di dottorato non fa titolo.

È da sottolineare che nelle due precedenti VQR, ANVUR non prevedeva nessuna restrizione per la partecipazione al bando, ma aveva la possibilità di scegliere liberamente tra i candidati al ruolo di GEV. Nella VQR3 ha introdotto restrizioni così stringenti con l’obiettivo, verosimilmente, di ridurre al massimo la platea dei sorteggiabili.

Marchingegni burocratici. L’art. 3 comma 4 del bando è un capolavoro: in nome del politically correct (chi mai potrebbe opporsi ad una composizione che tenga dentro tutte le componenti del mondo accademico e anche con una congrua presenza femminile) si stabilisce che i GEV debbano essere composti in modo così complesso che sarà impossibile che il risultato di una estrazione casuale rispetti tutti i criteri. Vale la pena davvero di leggerlo per intero:

“Ogni GEV, ove possibile, è formato nel rispetto di quanto di seguito indicato:

a) almeno il 25% deve essere costituito da professori di I fascia;

b) almeno il 20%, rispettivamente, deve essere costituito da professori di II fascia e da ricercatori delle Università italiane;

c) fino ad un massimo del 30% può essere costituito da ricercatori strutturati presso gli EPR, in relazione alla stima dei prodotti attesi per i ricercatori dell’area rispetto ai ricercatori delle Università;

d) almeno il 5% deve essere costituito da ricercatori strutturati presso Università o Enti di ricerca stranieri;

e) almeno un componente:

i) per ogni Settore Concorsuale (SC);

ii) per ogni SSD con almeno 50 afferenti;

f) fatta salva la presenza di almeno un componente per ogni SC e per ogni SSD con almeno 50 afferenti, la parte restante è composta, ove possibile, da un numero di componenti proporzionale alla dimensione dei settori concorsuali;

g) ciascun genere deve essere rappresentato per almeno un terzo;

h) non più del 20% dei componenti può aver fatto parte dei GEV relativi alla VQR 2011-14.”

Ed ecco all’art. 3 comma 6 la previsione che ripristina il controllo di ANVUR sulla composizione dei GEV:  nel caso in cui il sorteggio non rispetti i criteri appena visti,

l’ANVUR può provvedere a integrarli [i GEV] individuando ricercatori non candidati, comunque in possesso dei requisiti e dei titoli richiesti.

Con questo comma, il direttivo ANVUR fa carta straccia di quanto previsto nel DM, confidando forse che il nuovo ministro ed i suoi collaboratori siano disposti a chiudere entrambi gli occhi sul punto. Il DM prevede infatti una procedura radicalmente diversa (art. 3 comma 3 lettera b):  “qualora si dovessero verificare carenze di specifica rappresentanza di genere e/o disciplinare, il Consiglio direttivo dell’ANVUR potrà provvedere ad integrare la composizione dei GEV, nominando comunque persone che siano in possesso dei requisiti richiesti alla lettera a) del presente articolo”, cioè “essere in possesso di almeno 3 pubblicazioni scientifiche … negli ultimi 5 anni”.

Il direttivo ANVUR non pago di aver fatto carta straccia del DM e di aver di fatto ripreso il controllo ferreo delle nomine dei membri GEV, introduce anche una inedita facoltà di destituzione e sostituzione di membri GEV non obbedienti (art. 3 comma 19): Il Consiglio direttivo dell’ANVUR si riserva la facoltà di:

  1. sostituire i componenti dei GEV in relazione a:

… verifica in itinere sull’andamento del processo di valutazione, sentito il coordinatore del GEV.”

Per quanto riguarda il GEV interdisciplinare dedicato alla “valorizzazione dei risultati della ricerca”, nessun problema: ANVUR avrà il pieno controllo della composizione.

2.2 La bibliometria rientra dalla finestra

Nel Bando viene affidata ai GEV ampia libertà di riproporre cabale bibliometriche destinate a influenzare sia la scelta dei prodotti da conferire che la valutazioni che su di essi esprimeranno i componenti dei GEV

Laddove appropriato e richiesto dal GEV, ANVUR fornirà le informazioni relative agli indici citazionali internazionali rilevanti, estratte dai principali data-base bibliometrici internazionali. In base alle richieste dei GEV, tali informazioni saranno pubblicate sul sito Internet dell’ANVUR in due momenti:

a) prima del conferimento dei prodotti da parte delle Istituzioni;

b) al momento dell’avvio della valutazione da parte dei GEV.

Tali previsioni sono in contrasto con quanto scritto nel DM: “Tali indici non possono comunque sostituirsi a un’accurata valutazione di merito del prodotto della ricerca, né tantomeno tradursi nell’automatica assegnazione del prodotto ad una delle categorie”.

A fronte di indicatori disponibili sul sito dell’ANVUR, è facilmente prevedibile che ogni possibile giudizio di merito verrà scavalcato dai ranking o livelli “suggeriti” da ANVUR, soprattutto nella fase di conferimento ma, spesso e volentieri anche  in fase di valutazione.

In relazione alla peer review informata, l’art. 2, comma 5 del DM specificava che

I casi in cui non risulti applicabile l’uso della peer review informata sono indicati nel bando ANVUR.

Nel Bando non c’è traccia di una descrizione di quali siano i casi ma si rimane nel vago affermando che la peer review informata verrà usata

laddove consolidata e appropriata rispetto alle caratteristiche dell’area […]

Per ogni prodotto, la scelta dell’applicazione del metodo della peer review informata è di responsabilità del GEV incaricato della valutazione, che valuterà in base alle caratteristiche del prodotto, alle indicazioni fornite dall’Istituzione sulla scheda prodotto e alla qualità e affidabilità delle informazioni citazionali disponibili.

Traspare il tentativo di lasciare la massima libertà ai GEV sia nell’assegnazione dei prodotti all’uno all’altro tipo di valutazione sia nella possibile estensione della bibliometria a settori scientifici che in precedenza erano soggetti a peer review.

2.3 I percentili di stato

Se i livelli di valutazione sono assoluti, può accadere che la percentuale di prodotti  di livello A (Eccellente ed estremamente rilevante) sia variabile da area ad area, come pure la percentuale di  quelli di livello E (Scarsa rilevanza o Non accettabile). A ben vedere, era già così nelle precedenti VQR, quando l’eccellenza era ancorata a presunti percentili internazionali: “Eccellente […] Idealmente, essa si colloca nel primo 10% della distribuzione della produzione scientifica internazionale dell’area cui appartiene.” Dato che le percentuali di eccellenza (qualunque cosa essa potesse significare) nazionali non erano necessariamente allineate alle percentuali mondiali, nessuno si era sorpreso che negli esiti delle precedenti VQR le percentuali di prodotti eccellenti variassero a seconda delle aree.

L’idea che i GEV siano liberi di assegnare i voti secondo coscienza e competenza deve aver terrorizzato il direttivo ANVUR che, nel tentativo di legar loro le mani ha partorito una clausola che fa a pugni non solo con le modalità di valutazione stabilite dal DM, ma anche e più semplicemente con la logica (Art. 7, comma 9):

Ciascun GEV è tenuto a suddividere la valutazione dei prodotti utilizzando tutte le categorie di cui al comma 7, attribuendo, indicativamente, a ciascuna categoria almeno il 5% e non più del 25% dei prodotti.

Immaginiamo per un attimo che, il 60% dei prodotti presentati dai Fisici italiani (GEV 02) siano di livello A, secondo gli standard della comunità scientifica di riferimento. Ebbene, il GEV 02 dovrebbe dichiarare il falso e declassarne più di metà per non eccedere la percentuale del 25%. Un’ipotesi del tutto accademica avere un 60% di prodotti in classe A, osserverà qualcuno. Ma si sbaglia: nell’ultima VQR, il GEV 02 ha classificato il 62,2% dei prodotti in classe A. Il che dimostra che il direttivo ANVUR ha scritto le regole senza nemmeno fare  lo sforzo di andare a controllare i rapporti finali delle precedenti VQR. Inoltre, nella precedente VQR, i prodotti di Fisica di livello E-F (corrispondenti all’attuale livello E) erano l’1%. Con le regole attuali, per collocare nel livello E almeno il 10% 5% dei prodotti, il GEV 02 dovrebbe declassare “d’ufficio” il 9% 4% di prodotti, prendendoli un po’ da quelli di “rilevanza sufficiente” (4,7%) e un po’ persino da quelli “standard” (4,3%), per marchiarli d’ufficio come di “Scarsa rilevanza o Non accettabili”. Queste percentuali così diverse da quelle “canoniche”, prescritte nel bando 2015-2019 riguardano solo la Fisica? Per controllare, basta esaminare la Tabella 6.3 del Rapporto finale della VQR 2015-2019, che riportiamo di seguito, colorando in verde le percentuali superiori a 25 e in rosso quelle inferiori a 5 10.

Nelle aree 8.a, 12 e 14, alcuni prodotti dovrebbero venir promosso all’eccellenza “d’ufficio”, affinché il livello A raggiunga il fatidico 10%. Nella maggioranza delle aree In tutte le aree tranne la 13, è necessario ricorrere ai declassamenti d’ufficio per garantire che almeno il 10% 5% dei prodotti rientri nella categoria “schifezza” (livello E). Complessivamente, su 80 classi, ce ne sono 28 che devono essere sfoltite e 22 12 che devono essere infoltite. Questi travasi, naturalmente, finirebbero per modificare anche le classi con percentuali comprese tra 10 5 e 25%. Insomma, per accontentare i burocrati anvuriani che esigono il rispetto dei “percentili di stato”, gli esiti della VQR3 dovranno essere stravolti.

Una curiosità: l’unica area che rientrerebbe nei canoni è l’area 13 (Scienze economiche e statistiche). Sorge il dubbio che i “percentili di stato” siano stati proposti da Daniele Checchi che è l’unico consigliere ANVUR che proviene da quell’area. D’altronde, una volta che un consigliere ANVUR ha verificato che i conti tornano nella propria area, non si vede perché debba sprecare tempo per vedere cosa succede in tutte le altre. (Viene anche da chiedersi se non sia sempre Checchi ad aver spinto per la separazione in due aree distinte dell’Area13, grazie alla quale gli economisti non dovranno più discutere con i disprezzati economisti-aziendali).

Di sicuro, avere introdotto una regola così insensata è il miglior favore che ANVUR poteva fare a chi è convinto che l’intero esercizio sia un costoso rito di dubbia utilità. Per zittire chi cerca di difendere la VQR basterà citare il comma 9 dell’art. 7 che sfida ogni razionalità. Aver ideato una procedura di valutazione i cui risultati sono imposti in partenza è forse il culmine del teatro dell’assurdo messo in scena da ANVUR dal 2011 a oggi.

2.4 La tracciabilità dei VQR-inabili

La possibilità di presentare fino a quattro prodotti per autore al fine di raggiungere il numero prescritto di prodotti da conferire, ovvero il triplo del numero dei ricercatori afferenti alla struttura da valutare, sembra mettere (finalmente) in secondo piano l’uso distorto della valutazione VQR ai fini della valutazione dei singoli ricercatori. Se quello che conta è la valutazione di struttura, ogni dipartimento cercherà di individuare i migliori prodotti senza preoccuparsi del fatto che alcuni dei suoi ricercatori si trovino a presentare meno di tre prodotti. Una scelta razionale, ma che potrebbe scontrarsi con l’opposizione degli interessati. Veder presentati meno di tre dei propri lavori, non per inattività, ma perché le cabale bibliometriche (che saranno note, vedi sopra) li classificano al di sotto di quelli di un collega, diventa una certificazione dipartimentale della propria inferiorità scientifica.

Un’opposizione forse superabile se venisse sottoscritto un patto che impegna dipartimento e ateneo a non fare mai uso per qualsivoglia valutazione interna del numero di prodotti conferiti individualmente. Se la VQR serve solo alla VQR, si può fare gioco di squadra e qualcuno potrebbe accettare di andare in panchina se questo aiuta dipartimento e ateneo a ottenere maggiori finanziamenti. Una eventualità, quella di una soluzione consensuale, che è però spazzata via dal bando VQR. Infatti, il comma 2 dell’art. 8 prevede che

Al termine della VQR e comunque entro il 31 dicembre 2021, l’ANVUR metterà a disposizione sul proprio sito l’elenco di tutti i prodotti valutati e per ciascuno di essi riporterà le seguenti informazioni (metadato): Titolo, Editore, Tipologia Prodotto, DOI, Titolo della Rivista, Numero, Volume, Numero prima e ultima pagina; Autori; Codice ISSN/ISBN/ISMN; Anno di Pubblicazione; Universal Resource Locator (URL) ove disponibile.

I docenti VQR-inabili saranno pertanto tracciabili. Quindi, anche a volersi fidare che i voti VQR non verranno usati per fini impropri come la formazione dei collegi di dottorato, rimarrà comunque uno stigma pubblico che permetterà a chiunque, secondo necessità e con una semplice ricerca testuale, di verificare se il tal ricercatore sia tra i VQR-inabili.

2.5 L’Open Access ridotto a burletta

Quanto previsto dal DM sull’accesso aperto ai prodotti sottoposti a valutazione si ispira al REF. Per il REF 2021 Research England e gli altri 3 enti finanziatori della ricerca hanno definito una policy specifica per l’open access, nella convinzione che i lavori di ricerca finanziati pubblicamente debbano essere accessibili nella maniera più ampia possibile.

The policy states that, to be eligible for submission to the next REF, authors’ final peer-reviewed manuscripts must have been deposited in an institutional or subject repository. Deposited material should be discoverable, and free to read and download, for anyone with an internet connection

La policy del Regno Unito non nasce dal nulla, ma è l’esito naturale di un sistema di politiche su open access e higher education ormai portato avanti da anni, supportato dal governo e strettamente connesso alle politiche della Commissione Europea.

Anche in Italia come già trattato qui le istituzioni hanno da tempo e massivamente (la CRUI ha sponsorizzato le due dichiarazioni di Messina nel 2004 e nel 2014) dato la loro adesione ai principi dell’accesso aperto, anche se non sembra che alle dichiarazioni di principio sia mai stato dato seguito effettivo. L’Italia ha anche una legge (L.112/2013) che definisce obbligatorio l’open access per quegli articoli finanziati almeno per il 50% da fondi pubblici. Ne abbiamo parlato a suo tempo qui e qui. La legge, per la mancanza di sanzioni, ma soprattutto per la mancanza di controlli sulla attuazione di quanto previsto, è rimasta di fatto lettera morta, tanto che fra il 2018 e il 2019 l’onorevole Gallo ha avanzato una proposta di legge che avrebbe dovuto correggere le inefficienze della legge 112.

E’ in questo contesto di grandi dichiarazioni e propositi di adesione, di leggi non osservate e di proposte di modifiche di leggi arenate, di strumenti a disposizione che però non vengono utilizzati, che si inserisce l’articolo 1.3 delle Linee guida per la VQR.

In qualsiasi altro paese europeo non sarebbe sembrata affatto strana questa disposizione, ma in Italia, prima ancora di capire di cosa si trattasse, cosa comportasse, quanti lavori per ciascun ricercatore riguardasse e quale fosse lo stato effettivo dell’open access green e gold nelle singole istituzioni, si è subito partiti a sottolineare la impossibilità di ciò che in qualsiasi altro paese research intensive del mondo è ritenuto normale. Non stupisce quindi la piega presa dalla indicazione sull’open access nel bando:

In ottemperanza a quanto stabilito all’art. 1 comma 3 delle Linee Guida MIUR e tenuto conto di quanto previsto dall’art. 4, comma 2, lettera b) del Decreto Legge 8 agosto 2013, n. 91, modificato dalla Legge 7 ottobre 2013, n. 112, i prodotti sottoposti a valutazione dovranno essere resi disponibili secondo quanto di seguito indicato:

a)nel caso di articoli scientifici relativi a risultati della ricerca finanziata per una quota pari o superiore al 50% con fondi pubblici e pubblicati su periodici a carattere scientifico che abbiano almeno due uscite annue, attraverso accesso aperto tramite la ripubblicazione senza fini di lucro in almeno una delle modalità e dei formati di cui al comma 4, entro 18 mesi dalla prima pubblicazione per le aree disciplinari scientifico-tecnico-mediche e entro 24 mesi per le aree disciplinari umanistiche e delle scienze sociali e, comunque, non oltre il 31 dicembre 2021; sono esclusi da tale previsione i prodotti relativi a risultati delle attività di ricerca, sviluppo e innovazione che godono di protezione ai sensi del codice di cui al decreto legislativo 10 febbraio 2005, n. 30;

B)nel caso di articoli scientifici relativi a risultati della ricerca finanziata per una quota inferiore al 50% con fondi pubblici, ovvero con periodi di embargo superiori a quelli indicati alla lettera a), almeno attraverso una delle seguenti modalità:

come previsto alla precedente lettera a) nel caso di accordo con la rivista che consenta la ripubblicazione senza fini di lucro in accesso aperto;

almeno con l’indicazione del metadato dell’articolo se non è possibile procedere come previsto al punto i);

nel caso di monografie e degli altri prodotti della ricerca, almeno attraverso l’indicazione del metadato del prodotto.

Qui Anvur ci dice che quello che in 7 anni non si è riuscito ad ottenere con una legge del tutto inapplicabile e inefficiente perché i termini previsti non sono controllabili (come si fa a definire e chi definisce quali pubblicazioni rientrano nel caso a)?) potrebbe attuarsi in occasione della VQR, a meno che non si riconosca che un articolo ricade nel caso b).

A questo punto possiamo dire con ragionevole certezza che TUTTE le pubblicazioni presentate rientreranno nel caso b. Che quindi sarà sufficiente esporre quello che viene definito come “metadato” dell’articolo. Con buona pace di quelle istituzioni che, con un occhio a quanto accade in Europa, da anni o di recente hanno iniziato un percorso virtuoso verso la apertura della ricerca che finanziano.

Il bando prosegue poi

Al termine della VQR e comunque entro il 31 dicembre 2021, l’ANVUR metterà a disposizione sul proprio sito l’elenco di tutti i prodotti valutati e per ciascuno di essi riporterà le seguenti informazioni (metadato): Titolo, Editore, Tipologia Prodotto, DOI, Titolo della Rivista, Numero, Volume, Numero prima e ultima pagina; Autori; Codice ISSN/ISBN/ISMN; Anno di Pubblicazione; Universal Resource Locator (URL) ove disponibile.

Al fine di riportare l’URL corretto sarà cura di ogni Istituzione procedere, entro il 3 novembre 2021, a inserire le informazioni necessarie per consentire il collegamento ai prodotti della ricerca consultabili in accesso aperto indicando il collegamento corretto a uno degli archivi di cui al comma 4.

Quindi a VQR conclusa e pacchetto pubblicazioni consegnato, a risultati pubblicati, ex post, Anvur chiede l’inserimento in una procedura non meglio identificata di una url dove reperire le pubblicazioni presentate nel caso siano ad accesso aperto (cioè ricadano nel caso a). Cosa succede se la URL non viene indicata? Cosa succede se la pubblicazione a quella url non è presente? Che tipo di controlli verranno fatti e con quale finalità?

La forma presa dalla indicazione sull’accesso aperto nel bando risulta quindi a dir poco ridicola.

3. I mostri del contro-gaming

L’uso della bibliometria promosso da ANVUR nei principali processi di valutazione (VQR e ASN, in particolare) ha incentivato comportamenti opportunistici che sono oramai divenuti oggetto di studio e discussione a livello internazionale. Invece di mettere in discussione l’intero impianto della valutazione di stato, la risposta istituzionale si muove lungo binari ben noti a chi studia le degenerazioni burocratiche:

Rule cascades. In an attempt to staunch the flow of faulty metrics through gaming, cheating and  goal diversion, organizations institute a cascade of rules. Complying with them further slows down the institution’s functioning and diminishes its efficiency.
Muller, Jerry Z. The Tyranny of Metrics. Princeton University Press, 2018. p. 171

Nel caso della VQR, due tecniche di gaming di facile attuazione e che minano la credibilità dell’intero processo sono il ricorso alle autocitazioni e le authorship di comodo. Il DM prevede alcune correzioni alle procedure di valutazione per tentare di sterilizzarne gli effetti. In particolare, prevede (art. 5 comma 1) che gli “indici citazionali internazionali” da usare per la peer review informata siano “depurati dalle autocitazioni”. Il DM prevede anche un (discutibile) meccanismo di attribuzione agli autori dei lavori con più di cinque autori, in modo da ridurre l’impatto sulla valutazione di fenomeni quali le gift authorship o più in generale authorship di comodo:

a) che per ogni ricercatore si possa presentare un numero massimo di prodotti pari a 4;

b)  che, di regola, nel caso di più di cinque coautori, salvo quanto previsto nel bando ANVUR in base alle caratteristiche di pubblicazione dell’Area, l’Istituzione possa presentare comunque solo prodotti in cui il primo o ultimo autore (o “autore corrispondente”) appartenga all’Istituzione

L’ANVUR è anch’essa ossessionata dal gaming, ma solo per quanto riguarda la questione dell’authorship. Per quanto riguarda le autocitazioni infatti ANVUR sterilizza (probabilmente illegittimamente) la previsione del DM, scrivendo nel Bando che gli indici citazionali internazionali da usare per la peer review informata si limiteranno a tenere “opportunamente conto del valore delle autocitazioni” (art. 7 comma 2). Non c’è da stupirsi molto: ANVUR ha addirittura sostenuto in una lettera a Nature, contrariamente alle evidenze disponibili nei propri documenti ufficiali, di aver tenuto conto delle autocitazioni già nella precedente VQR. Gli effetti di una “depurazione dalle autocitazioni” degli indicatori citazionali italiani desiderata dal MIUR avrebbe potuto riservare più di una sorpresa sgradita; ANVUR è corsa prontamente ai ripari riprendendo il controllo sul “valore delle autocitazioni”.

Al contrario, per quanto riguarda il gaming sugli autori, ANVUR nel Bando è andata molto oltre quello che prevedeva il DM. Il risultato netto sono delle regole per la presentazione dei prodotti destinate ad aumentare a dismisura le ore uomo che dipartimenti e uffici ricerca dovranno dedicare alla selezione dei prodotti. Essendo pressoché impossibile trovare le parole che sappiano descrivere l’assurdità del groviglio di clausole ed eccezioni partorite dall’ANVUR, non resta che ricopiare l’estratto del Bando:

Mentre il DM si limitava a normare il conferimento degli articoli con più di cinque autori, nel bando la casistica copre tutti i prodotti con più di un autore, con esiti grotteschi. Come definire altrimenti la possibilità in tre SSD dell’Area 02 che tre dipartimenti dello stesso ateneo conferiscano lo stesso prodotto? Nelle precedente VQR questa possibilità era tassativamente esclusa:

I prodotti con più autori possono essere presentati una sola volta da parte dell’Istituzione, pena l’esclusione del prodotto dalla valutazione.

Vale la pena di cercare qualche filo conduttore in questo delirio burocratico.

1. La possibilità che più dipartimenti di un ateneo presentino lo stesso prodotto è a suo modo rivelatrice del progetto di rendere utilizzabili i voti VQR per fare classifiche dei dipartimenti, forse in vista di una replica dei “dipartimenti di eccellenza”. Se infatti la valutazione dovesse servire solo al suo scopo primario, ovvero ripartire il Fondo di finanziamento ordinario tra gli atenei, la cessione di un articolo da un dipartimento all’altro non sarebbe causa di guerre fratricide. Se però aleggia lo spettro di una nuova gara nazionale tra i dipartimenti, cedere un prodotto pregiato diviene un dramma. La conflittualità interna agli atenei deve essere stata ritenuta talmente insanabile che per disinnescarla viene resa lecita una palese assurdità come i conferimenti tripli, che, ovviamente, distorcono la valutazione a livello istituzionale.

2. Allo stesso tempo, l’ANVUR appare ossessionata sia dal gaming attuato tramite le coauthorship di comodo sia da quegli articoli a centinaia o migliaia di autori tipici di alcune aree caratterizzate da mega-progetti, la Fisica in primis. Un ossessione forse causata sia dalla consapevolezza dei dilaganti comportamenti opportunistici innescati in Italia dai criteri bibliometrici anvuriani sia dalla consapevolezza che alcuni degli articoli associati ai mega-progetti sono dei veri blockbuster citazionali, al punto che alcune classifiche internazionali degli atenei, come quella di Times Higher Education adottano regole ad hoc per valutarne l’impatto citazionale. Nel caso della VQR, però, non hanno un effetto così dirompente, dato che il massimo che questi articoli possono ottenere è il voto A, che in generale è già piuttosto frequente. Quindi, la frenesia normativa appare del tutto sproporzionata, un po’ come se il direttivo avesse perso la testa e scrivesse norme antigaming a casaccio.

3. Uno dei capolavori è la richiesta di predisporre delle “liste di prodotti di riserva” a cui attingere nel caso in cui un prodotto sia presentato lecitamente da un numero di istituzioni superiore al massimo consentito. Un’inutile complicazione che rivela una volta in più il  completo disinteresse per i costi indotti dalla valutazione sui valutati.

4. Un altro capolavoro è l’eccezione che permette nelle aree 5, 6, 7 di presentare articoli in cui non si è primo, ultimo o corresponding author, purché almeno uno tra primo, ultimo o corresponding author  sia straniero e  “la maggioranza delle Istituzioni coinvolte sia straniera”. Il jolly dell’internazionalizzazione: se collabori con gli stranieri, vale tutto.

4. Misteri ancora insoluti

4.1 Esenzioni a doppio taglio?

Il comma 6 dell’art. 5 prevede tutta una serie di esenzioni e riduzioni del numero di prodotti da conferire per rettori, prorettori, direttori di dipartimento, congedi di maternità e così via. Esenzioni provvidenziali per chi vuole lucidare a specchio il proprio profilo di qualità, riducendo al minimo i prodotti di basso livello. Facile immaginare che ci si affretterà ad approfittarne, senza rendersi conto di un possibile tranello.

Nell’art. 10, viene specificato che nella pubblicazione dei risultati i profili di qualità saranno integrati da “dall’indicazione del numero massimo di prodotti attesi”. Cosa si intende per numero massimo? Per rispondere bisogna tornare all’art. 5 e precisamente al comma 7:

Il calcolo dei prodotti attesi per ciascuna Istituzione sarà effettuato dopo che sarà resa esplicita la scelta in relazione alla facoltà di fruire delle esenzioni o riduzioni di cui al comma 6.

Sembra pertanto di capire che se un ateneo approfitta di tutte le esenzioni e le riduzioni, il numero dei prodotti attesi che accompagneranno il suo profilo di qualità risulterà minore di quello che sarebbe stato in origine, ovvero il triplo dei ricercatori. Si tratta di un “restringimento” che potrebbe avere conseguenze sul finanziamento. Infatti, per tradurre il profilo di qualità in finanziamento è necessario un fattore di scala che tenga conto delle dimensioni della struttura valutata. Per esempio, se Roma Sapienza e l’Università per stranieri di Siena hanno lo stesso profilo di qualità non è certamente pensabile che ricevano gli stessi soldi.

Ebbene, quale sarà il fattore di scala? Abbastanza logico pensare che debba essere fornito insieme ai risultati della VQR e, in tal caso, esso coinciderebbe con il numero di prodotti attesi al netto di esenzioni e riduzioni.

Usufruisci delle esenzioni? Bene, il tuo ateneo diventa “più piccolo” ai fini del calcolo del finanziamento. Se lo scopo è ottenere più soldi, diventa conveniente rinunciare, per quanto possibile a riduzioni ed esenzioni. Se anche accadesse che il rettore non ha pubblicato nulla, si potranno rimpiazzare i suoi tre prodotti, facendo presentare quattro prodotti invece di tre a qualche altro collega.

4.2 Il profilo fantasma

Il bando prevede che i risultati siano articolati in tre profili di qualità, ma l’ANVUR ha inventato di sana pianta un quarto profilo. I tre profili legittimi sono:

  1. Profilo del personale permanente
  2. Profilo di qualità delle attività di valorizzazione della ricerca (cosiddetta “Terza Missione”)
  3. Profilo delle politiche di reclutamento

Il profilo illegittimo riguarda i dottorati:

Profilo di formazione alla ricerca: profilo di qualità dei prodotti  dell’Istituzione, distinto per area, in cui coloro che risultano ricercatori in servizio presso un’Università o Enti di Ricerca al 1° novembre 2019 hanno acquisito il titolo di dottore di ricerca nel periodo 2012–2016. Il risultato della valutazione è reso pubblico solo nel caso in cui il numero di prodotti sia almeno pari a 10.

Perché misurare qualcosa senza un mandato da parte del MIUR? Evidentemente, ANVUR ha intenzione di mettere in circolazione altri indicatori, di dubbio valore statistico (quanto meno per ragioni di numerosità dei campioni), per poter effettuare valutazioni numerologiche dei dottorati che possano attenuare il lutto per la perdita degli indicatori aboliti dall’allora capo dipartimento Giuseppe Valditara.

5.   Conclusione

Il bando è l’ennesima conferma che l’ANVUR è diventato una sorta di ministero ombra, che porta avanti una sua linea politica, anche contro le linee guida del MIUR. In diversi punti del Bando emerge chiaramente il tentativo di ribaltare lo spirito del DM, talvolta tramite espedienti (le farraginose regole di selezione dei GEV progettate per fallire e lasciare mano libera ad ANVUR), talvolta tramite interventi arroganti (l’invenzione di un quarto profilo di qualità) o persino che violano la logica (i “percentili di stato” del numero di prodotti che dovrebbero cadere nelle diverse classi).

In conclusione, il prossimo esercizio di valutazione si configura ancora una volta come una macchina burocratica elefantiaca, costosa e inaffidabile. Che la VQR riesca ad individuare punti di forza e di debolezza della ricerca italiana, fanno finta di crederlo solo i ministri ed i rettori. Anche con la VQR3 un gruppo di professori universitari selezionati dalla politica svolgerà una valutazione di stato che servirà a riempire per qualche giorno le pagine dei giornali e i siti web degli atenei. I ricercatori italiani tenteranno di trarre opportunisticamente ciascuno il massimo vantaggio possibile dalla procedura. Questo significherà qualche modificazione negli equilibri di potere di qualche dipartimento. Con buona pace dell’interesse principale dei cittadini di una paese civile: avere un sistema della ricerca trasparente ed affidabile che promuova ricerca libera, solida e aperta.

Send to Kindle

35 Commenti

  1. Un’analisi eccellente, tanto dura quanto argomentata e plausibile.
    Che venga decretato a priori il fatto che almeno il 5% delle pubblicazioni dovrà essere valutato Eccellente rilevante – Eccellente – Standard – Sufficiente – Scarso dà un’idea della grave carenza di scientificità e buon senso della procedura e dunque della sua costosa inutilità. La norma implica infatti che se uno dei giudizi non raggiunge una distribuzione del 5% o supera quella del 25% i Gruppi di Esperti della Valutazione debbano sistemare le valutazioni in modo da ottenere a viva forza tale distribuzione. Credo che Borges si sarebbe divertito a osservare una simile implementazione delle proprie invenzioni, ovviamente molto più fascinose di questa scienza ridotta a insensati e arbitrari percentili.
    Il muovo ministro della Ricerca e dell’Università ha un modo molto semplice di dimostrare che intende davvero difendere la ricerca e l’università: cancellare questo Bando, che è in grave contraddizione con il Decreto Ministeriale relativo alla nuova VQR.
    Il Bando Anvur porta la firma di un personaggio che sentimmo due anni fa al Dipartimento di Scienze Umanistiche di Unict. Un personaggio che entrò nell’ANVUR tramite un progetto che aveva copiato; personaggio che in occasione del Colloquio catanese mostrò dal vivo la sua caratura scientifica.
    Visto che proporre il boicottaggio della VQR non porterà a nulla, l’azione migliore da intraprendere è presentare tutti domanda per entrare nei GEV.

    • Il sistema delle percentuali coatte è da molti anni in uso all’università di Pisa, per la valutazione interna della ricerca. Quando fu introdotto, insieme all’imposizione dell’impiego esclusivo di parametri quantitativi perché indiscutibilmente “più oggettivi” fu giustificato con la circostanza che altrimenti i professori si sarebbero attribuiti tutti voti troppo belli. Nessuno di noi, in tutto questo tempo, si è dato la pena di impugnare verdetti che distribuiscono modicissime quantità di fondi di ricerca. E abbiamo fatto male.

      E sì, poiché al boicottaggio dei GEV l’Anvur pone rimedio con le nomine, tanto vale boicottare alla rovescia, come suggerisce GB Biuso.

    • Una cosa è suddividere in quartili e una cosa sono le percentuali coatte. Le percentuali coatte sono illegittime nella misura in cui si applicano a una parte scelta dei prodotti della ricerca in quanto hanno la presunzione di dare un giudizio assoluto sulle classi di prodotti. Distinguere fra eccellente, ottimo e buono o sufficiente può essere soggettivo e dipendente dalla commissione, comunque difficilmente contestabile (è il sistema Italiano) ma equiparare un lavoro pubblicato con tutte le regole ad un prodotto irrilevante non ha senso. Sono realmente sorpreso che non esista un ufficio legale presso ANVUR capace di valutare il senso delle loro direttive.

  2. E’ come se Einstein fosse valutato dalle cartomanti di Piazza Navona. Non ci toglieremo mai più dai piedi questa “mucillagine peristaltica”, tra un po’ il dittatore dello stato libero di Bananas emanerà l’editto: “da domani tutti quelli più alti di 1.70 m saranno alti 1.60 m”.

  3. Una valutazione bibliometrica ragionevole e semplice è possibile. Basta valutare tutti i lavori, sommando le citazioni ricevute frazionalizzate rispetto al numero di autori (in questa maniera il totale non scala con la dimensione della collaborazione), di affiliazioni di ogni autore e di referenze (questo compensa per la diversa intensità citazionale in diversi campi). Restringendo a quanto contenuto nel database pubblico InSpire (che più o meno è limitato alla fisica fondamentale) ed agli anni 2015-19, dopo mezz’ora di lavoro le prime 10 posizioni in Italia risultano:
    SISSA, Trieste 15.6
    Rome U. 12.0
    Turin U. 10.3
    Padua U. 9.3
    Milan Bicocca U. 7.4
    Bologna U. 6.8
    Pisa U. 6.6
    Naples U. 5.4
    Rome U., Tor Vergata 5.3
    Pisa, Scuola Normale Superiore 4.7
    eccetera. Ovviamente sono istituzioni di dimensioni diverse.
    Per confronto, la prima istituzione universitaria a livello di VQR 2015-19 mondiale risulta:
    Cambridge U., DAMTP 39.0

    • Niente intrugli. La ricetta è scritta in 2 righe. Semplice, buona e universale come la pizza. Definendo la quantità intensiva (tipo la densità in fisica) per valutare insiemi basta sommare sui loro elementi.

    • “Italiani, popolo di eroi, di santi, di poeti, di artisti, di navigatori, …” e bibliometristi fai-da-te.
      Nel 2010 Times Higher Education (THE) mise fine alla collaborazione con QS con cui, fino ad allora, aveva stilato la sua classifica delle università. Un primo obiettivo era mettersi al riparo dalle spregiudicate pratiche commerciali di QS che vende servizi agli atenei e basa in modo significativo le sue classifiche su survey reputazionali poco verificabili (in Italia è la classifica preferita dal Politecnico di Milano). Il secondo obiettivo era produrre una classifica che rispecchiasse lo stato dell’arte della scienza bibiometrica, dando la debita importanza alle citazioni (mentre ARWU-Shanghai usa il numero di articoli). Cosa successe alla “most accurate picture of global higher education THE has ever produced”? Nell’indice citazionale (non troppo diverso da quello pensato da Strumia) Alessandria di Egitto arrivò quarta, superando Harvard e Stanford. E quei geni di THE, talmente convinti che la loro bibliometria fosse il non plus ultra della scienza, come reagirono? Facendo i complimenti agli Egiziani, senza rendersi conto che l’indicatore citazionale era talmente poco robusto da premiare in modo abnorme il doping citazionale di un singolo campione, M. El Naschie che pubblicava e si faceva citare a raffica sulla rivista (edita da Elsevier) da lui stesso diretta.
      Quando Strumia scrive “La ricetta è scritta in 2 righe. Semplice, buona e universale come la pizza” a me viene in mente G.B. Shaw:
      “Per ogni problema complesso, c’è sempre una soluzione semplice. Che è sbagliata.”




      https://www.roars.it/online/times-higher-education-world-university-rankings-science-or-quackery/

    • Solo io noto che il sistema del numero delle citazioni, almeno in certi campi, è demenziale? Si citano i testi … più citati, perché circolano di più, perché si sa che verranno considerati ‘affidabili’, perché gli autori fanno parte di un gruppo potente (in anni non ancora vittime di questo sistema, ricordo che mi si ‘consigliò’ di citare un nome, in qualche modo, anche se marginale rispetto alla mia ricerca), e così via …

    • Alessandro Strumia, quella ricetta, grazie alle dimensioni considerate, ha senso. La bibliometria ha infatti senso su grandi dimensioni e strutture. Quello che non ha senso è che Roma stia a 12 e Cambdridge stia a 39. Ma se eliminiamo i conti bibliometrici non avremo il dispiacere di vederlo scritto da qualche parte. Meno male. Occhio non vede, cuore non duole.

    • Casi di doping citazionale emergono anche analizzando la fisica fondamentale. Evito di fare nomi. Però non sarebbe corretto concludere che la maratona di New York non ha valore perché una volta qualcuno prese la metropolitana. Anche se qualcuno usa trucchi, una valutazione bibliometrica rimane significativa. A mio avviso più di valutazioni fatte chiedendo opinioni ad esperti: anche su questo ci sarebbero storie pericolose.

    • Il punto è che Times Higher Education non è riuscita a elaborare un indice capace di classificare intere università, senza essere ingannato da un singolo ricercatore (un mariuolo quanto vuoi, ma pur sempre un singolo). Ritenere significativa una siffatta valutazione richiede un vero atto di fede. A scanso di equivoci, la vera alternativa non è un esercizio di valutazione nazionale basato sulla peer review (come il REF), ma rendersi conto che la valutazione di Stato fa più male che bene. Stranamente, ci sono colleghi che sembrano terrorizzati dall’assenza di una qualche classifica che metta in fila loro e i loro dipartimenti/atenei. Sindrome di Stoccolma?
      Personalmente, vivrei benissimo anche senza una classifica di Stato che stabilisce che nell’Ingegneria industriale e dell’informazione l’ateneo telematico Unicusano è meglio dei Politecnici di Milano e Torino. Per molti colleghi non è così, ma penso che sia un loro problema, più che mio.

    • L’analogia fra ricerca e gara si basa sul presupposto che entrambe siano attività essenzialmente competitive. Chi compete – qualunque sia l’oggetto della competizione – desidera dimostrare di essere più bravo degli altri: per questo avverte il bisogno di essere messo in fila in una qualche classifica. Una manifestazione che si concludesse senza una classifica ufficiale sarebbe non-competitiva e lascerebbe insoddisfatti gli agonisti che corrono per vincere. Nell’agonismo, anzi, vincere è così importante da esporre gli agonisti, ad Alessandria d’Egitto e altrove, alla tentazione di “truccare” variamente le partite a proprio vantaggio.

      L’analogia suggerisce, pericolosamente, che il fine di un ricercatore incapace di rinunciare alla classifica non sia in primo luogo indagare i segreti della natura, ma dimostrare di essere più bravo degli altri. Ma un ricercatore-agonista per il quale dimostrare di essere più bravo degli altri è uno scopo essenziale e non accessorio può rimanere un ricercatore o non si riduce invece ad agonista? Non è, questa, una domanda nuova: ne discutono, pur senza bibliometria, Socrate e Trasimaco nel primo libro della Repubblica di Platone.

    • I soldi arrivano da tasse, quindi un qualche controllo è inevitabile. Ad esempio:
      a) valutazione dei risultati,
      b) controllo burocratico asfissiante,
      c) fondi ridotti al minimo.
      Evitare a) significa b) etc.

    • Mi chiedo a volte dove vivano alcuni colleghi. Che non si sono accorti che MIUR, proprio in nome dell’accountability (dove vanno a finire i soldi dei contribuenti), ha messo in piedi un sistema di controllo burocratico asfissiante e ridondante: AVA, ciclo della performance, indicatori di stabilità finanzaria, VQR (e credo proprio di aver dimenticato qualcosa) [avevo dimenticato almeno: la valutazione per gli scatti stipendiali, la valutazione per l’una tantum, la valutazione per far parte dei collegi di dottorato, la valutazione per l’abilitazione scientifica nazionale, i concorsi per entrare nei ruoli e quelli per i passaggi di ruolo]. Tra un po’ avremo anche la valutazione della nuova Agenzia Nazionale della Ricerca.
      Una semplice somma di citazioni spazzerà via tutto. Più o meno come il campo degli zecchini di Pinocchio.

    • Non capisco che cosa abbia di non burocratico il conteggio delle citazioni di un mio testo

      da parte di impiegati o di bot incapaci di leggerlo e capirlo, alle dipendenze di oligopolisti interessati al lucro;
      e da parte di funzionari nominati dal governo, che, sempre senza leggerlo e capirlo, spendono denaro pubblico per acquistare un po’ di numeri dagli oligopolisti di cui sopra.

    • Ringraziamo sandroamt che ha notato il nostro errore, di cui ci scusiamo. Abbiamo corretto.

  4. L’analisi è molto valida, ben documentata ed argomentata. Tuttavia non capisco perché nella tabella della sezione 2.3 si rimarchino in rosso le percentuali al di sotto del 10% e si scriva che è “necessario ricorrere ai declassamenti d’ufficio per garantire che almeno il 10% dei prodotti rientri nella categoria…”. Nel Bando mi pare di leggere che il limite minimo per categoria sia il 5%, non il 10%. Resta vero che sulla base di questi dati storici solo l’Area 13 rientrerebbe nei canoni, ma poter giocare con giudizi entro percentuali di merito che spaziano fra il 5 e il 25 per cento a me pare lasci amplissimi margini di valutazione. E’ da tenere conto che le Istituzioni saranno valutate trasversalmente rispetto alle Aree e che se non si garantisce, per costruzione, un adeguato grado di coerenza di scala fra Aree non c’è modo di produrre metriche globali consistenti per i dati aggregati (se non inventando ex post algoritmi di standardizzazione di dubbia efficacia), né per le Istituzioni di selezionare i prodotti senza patire più o meno imprevedibili distorsioni indotte da possibili eterogeneità fra discipline scientifiche. Va anche ricordato che i giudizi di merito vanno interpretati in termini “relativi”, all’interno dell’Area, e che i GEV dovrebbero anche tener finalmente conto del fattore grado di proprietà del prodotto ai sensi dell’art. 6 del bando. A parità di qualità, sarà pur diverso se una Istituzione presenta un prodotto del quale è proprietaria al 100% (autore singolo) o al 5% (20 autori). Che il GEV ne tenga conto (come accade in un qualsiasi concorso), chiarendolo esplicitamente nei suoi criteri e scalando di una o più categorie la valutazione di merito del prodotto!

  5. Grazie per questo sforzo di disamina, che credo avrebbe meritato altri orizzonti che non questo sadico gioco dell’oca.

    Qualche commento/ dubbio puntuale:

    – La tensione tra valutazioni assolute e percentuali coatte forse sarà verosimilmente ancora maggiore nella vqr3 che nella vqr2 usata per il test, data la possibilità di ottimizzare i prodotti a livello di dipartimento ( non 2 a testa obbligatoriamente come prima). Immagino che questo domini sull’effetto potenzialmemte (ma non per tutti, specie nei settori con alto tasso di pubblicazione) della richiesta di un terzo prodotto (medio) a testa

    Per la presentazione:

    – nel caso di istituti che presentano lo stesso prodotto oltre i massimi, c’è discrezionalità al GEV di considerare o meno significativi tutti i contributi portando alla pesca dalla lista di riserva (pesca che potrebbe portare l’apporto di singoli ricercatori oltre 4 prodotti? Oscuro…)

    -Notevole anche il rischio di declassamento automatico del prodotto in condizioni dipendenti anche dalle incontrollabili scelte altrui, nonché dalla vaghezza sulla soglia di significatività degli apporti individuali.

    – sulla platea. Che ruolo hanno i cessati (pensionati, RTDA scaduti, magari emigrati, magari pure in posti di prestigio)? Pare nessuno, in nessun caso, conta la fotografia dei dipendenti in servizio al 1/11/19? Mi pare una lacuna, potenzialmente distorsiva anch’essa. Si creerebbero poi “fantasmi” (es. RTDA assunti nel 2015-2016 e non rinnovati) che hanno lungamente prestato servizio nel periodo censito e se considerati conterebbero anche sul profilo del reclutamento, dove dati i piccoli numeri le fluttuazioni domineranno (ancora di più, in loro assenza).

    – strampalatissima l’inclusione a sorpresa dei dottorati 2012-2016, almeno una trentina di elementi per ciascuna scuola di dottorato, magari andati all’estero, passati ad altro mestiere… immagino anche qui una ricognizione faticosa, incompleta e rumorosa.

    Sulla Terza missione mi pare che l’ambiguità domini…

  6. Scusate correggo un refuso:

    Al primo punto “potenzialmemte” voleva essere “potenzialmente negativo”.

    Aggiungo che alla luce dell’inclusione dei dottorati stride ancora di più l’assenza dalla valutazione della ricerca dei “fantasmi”per eccellenza, gli assegnisti di ricerca (a quest’ultima almeno in linea di principio completamente dediti)

    Una legione (vista la consistenza numerica) di convitati di pietra, muti e in penombra.

    • Cari Giacomo,
      nella mia doppia vita Italo-Canadese oramai quasi ventennale ne ho viste un po’. In Canada nessuno applicherebbe ad un post-doc di un professore con poche pubblicazioni, perché sa che non pubblicherebbe gli articoli necessari per (almeno provare) a diventare professore.

      Da noi se si mettessero in conto anche gli assegnisti, quanti di loro non avrebbero nulla perché utilizzati come forza lavoro per consulenze low cost e progetti impubblicabili e quanti docenti avrebbero qualche articolo? E questo purtroppo vale anche per i dottorandi.

      L’idea inoltre di avere anche i giovani rtdx con dottorato da pochi anni conteggiati a parte è un tentativo (maldestro forse, ma almeno un tentativo) di valutare come si scelgono i giovani in ingresso, visto che ne ho viste di cotte e di crude (compresi prima fascia che non avrei preso come post-doc).

      Vedo molte criticità in questo regolamento, e posso vedere già altre storture che in passato si sono verificate e che si amplificheranno, ma invece che attendere e dire solo di no, perché non abbiamo provato a creare noi, dal basso, delle regole di valutazione che ci sembrassero sensate?

      O perché non abbiamo detto di no quando varie schifezze solo state perpetrate nei nostri Dipartimenti?

      Un po’ di autocritica andrebbe fatta. Anvur e And non sono il male, ma il maldestro tentativo di curare un corpo docente che ha dimenticato la sua missione: preparare una classe dirigente degna di tale nome. Ma per formare una classe dirigente, si deve essere prima classe dirigente. E purtroppo non lo siamo (non mi riferisco ai singoli, ovviamente, ma in generale al sistema in generale).

    • Non poteva mancare il richiamo all’autocritica, all’autoflagellazione e all’inopportunità di dire sempre no.

  7. A mio parere, invece, viste le contromisure prese, l’unico sistema utile è quello di affrontare il mostro compatti, con una campagna di informazione pervasiva, anche in riviste o giornali che non leggiamo solo noi. Ma, soprattutto, dobbiamo organizzarci in manifestazioni. Più saremo, meglio sarà.
    Per anni abbiamo lottato da soli, ognuno in piccoli ambiti, e siamo stati marginalizzati e messi nella posizione di ‘non nuocere’ al terribile sistema, apparentemente irrazionale, la cui ratio è, però, ben evidente: una camicia di forza alla ricerca, alla libertà degli individui persino di portare avanti la propria attività didattica e di ricerca secondo i principi in cui crede.
    La nostra battaglia può essere veramente alta e va al di là delle nostre persone e dell’accademia: è una battaglia per la libertà. I metodi che sono stati denudati e denunciati da Roars appartengono solo al nostro mondo? Non credo. Sta avvenendo qualcosa di epocale e come intellettuali abbiamo il dovere di dirlo. Così operano i poteri che opprimono.

  8. Dopo aver constatato che in sostanza domina la numerologia (intendendo qui per numerologia “lo studio della possibile POSSIBILE relazione esoterica, cioè occulta e riservata agli iniziati, tra i numeri e le caratteristiche o le azioni di oggetti fisici ed esseri viventi”), si può anche constatare che Miur e Anvur oramai girano a vuoto senza un chiaro e dichiarato (che viene da “chiaro, claro”) perché e in che direzione. La lingua romena ha alcune espressioni molto suggestive per questo muoversi a caso, senza direzione o obiettivo precisi, come istupiditi o sotto shock, come ad es. “a umbla bezmetic” (cioè camminare, lat. ambulare, muoversi) come un “bezmetic”, che è parola di origine ucraina, applicata agli sciami di api, dal significato “senza regina”, cioè in totale confusione e caos. Questo anche per dire che queste meravigliose e immaginifiche lingue balcaniche e peribalcaniche, dall’ungherese fino al turco e all’albanese, le quali sono convissute per secoli influenzandosi a vicenda, sono oramai quasi del tutto neglette nelle università italiane, r.i.p. le prime come le seconde.

  9. Al commento di Marinella aggiungerei la potenza estetica e musicale del toscano (e.g. il meraviglioso “fonati il capo”=asciugati i capelli), senza tralasciare il romano del coatto raffinato che timbrerebbe il legiferare MIUR e ANVUR con un dotto “ad cazzum”. Mi pare che non si possa trovare nulla di più conciso ed efficace.

  10. Non riesco mai fino in fondo a capacitarmi della necessità di contare le citazioni come parametro della qualità di un articolo scientifico.
    Secondo me, le mele più buone spesso non sono quelle più vendute.
    Ma evidentemente qualcuno in accademia prende troppo sul serio la battuta “mangiate merda, milioni di mosche non possono sbagliarsi”.

    Non bastasse il gaming supersonico della comunità scientifica mondiale a rendere farlocco il dato citazionale, ci sono ottime prove che ne fanno un parametro senza alcuna utilità concreta.
    Mi pare sorprendente che anche alcune eminenti menti scientifiche arrivino a credere (non pensare, credere) che gli algoritmi possano essere strumenti oggettivi e neutrali.
    Le citazioni sono semplicemente dei dati vicarianti ed in quanto tali non riescono a dare che una immagine parziale, sfocata e oggigiorno anche dopata di un attimo della vita del sistema accademico, riccamente infiltrato da chiamiamoli -portatori di interesse- che spesso hanno, appunto, tutto l’interesse e la potenzialità di rendere biased in tal senso la raccolta dati, l’analisi dei dati; con la conseguenza di uniformare -al ribasso (come in qualsiasi sistema neoliberista)- anche la ricerca scientifica.
    Sarebbe scientificamente stupido, democraticamente ingiusto, politicamente sbagliato ed intrinsecamente non etico utilizzare un parametro del genere per la distribuzione differenziale delle risorse nel sistema universitario. E’ stato fatto finora perché una parte dell’accademia si è prestata in tal senso, alla elaborazione degli algoritmi di riferimento, alla raccolta dei dati e all’analisi degli stessi senza avere il benché minimo scrupolo etico, in nessuno dei passaggi, circa le conseguenze sistemiche sull’accademia e soprattutto sulla società, derivanti dall’utilizzo di questo strumento.
    Poi mi rendo conto che, oltre gli algoritmi bibliometrici (quelli che permettono alle strutture o ai gruppi di ricerca già ricchi di essere guarda caso “eccellenti” e rastrellare una gran fetta delle risorse economiche a danno di tutti gli altri), anche l'”high frequency trading” della finanza (gli algoritmi che permettono all’alta finanza di soffocare l’economia di una società spostando in nanosecondi capitali ingenti da un paese all’altro nel sistema neoliberista), quelli per la raccolta dei big data per la vendita dei mutui subprime (quelli della Lehman e compagni bella) o nei settori sociali più disparati, sono tutti il frutto dell’ intenso ed indefesso lavoro di menti scientifiche, fisiche e matematiche, che difficilmente hanno implementato in tali algoritmi, oltre i loro innumerevoli e stupidi pregiudizi, livelli sufficienti di equità ed etica.

    Sarebbe il caso che la comunità scientifica di riferimento si ponesse più spesso (in alcuni casi forse per la prima volta) questioni di etica professionale e considerasse più attentamente le conseguenze del fornire strumenti, solo apparentemente neutri, di tal fatta alla politica.

  11. Ringrazio per il commento Maria Chiara Pievatolo (quello che riporto qui sotto) perché, a mia modesta opinione, presenta una vista della psicologia del “sostenitore di classifica unica” che su queste pagine non avevo ancora visto. Si tratta di un argomento che forse andrebbe portato all’attenzione anche del pubblico generale, con o senza il riferimento a Platone…

    L’analogia fra ricerca e gara si basa sul presupposto che entrambe siano attività essenzialmente competitive. Chi compete – qualunque sia l’oggetto della competizione – desidera dimostrare di essere più bravo degli altri: per questo avverte il bisogno di essere messo in fila in una qualche classifica. Una manifestazione che si concludesse senza una classifica ufficiale sarebbe non-competitiva e lascerebbe insoddisfatti gli agonisti che corrono per vincere. Nell’agonismo, anzi, vincere è così importante da esporre gli agonisti, ad Alessandria d’Egitto e altrove, alla tentazione di “truccare” variamente le partite a proprio vantaggio.
    L’analogia suggerisce, pericolosamente, che il fine di un ricercatore incapace di rinunciare alla classifica non sia in primo luogo indagare i segreti della natura, ma dimostrare di essere più bravo degli altri. Ma un ricercatore-agonista per il quale dimostrare di essere più bravo degli altri è uno scopo essenziale e non accessorio può rimanere un ricercatore o non si riduce invece ad agonista? Non è, questa, una domanda nuova: ne discutono, pur senza bibliometria, Socrate e Trasimaco nel primo libro della Repubblica di Platone.

  12. Questi ultimi interventi e, concordo specie quello di Maria Pievatolo, ci chiariscono che abbiamo una visione del nostro lavoro che è profondamente diverso da quello dell?ANVUR, MIUR ecc.
    DObbiamo dirlo, in forme organizzate, uniti, perché altrimenti non vi è possibilità di farsi sentire. Sui giornali mainstream, uscendo dalle nostre aule…

  13. Non si comprende come nelle discipline socio-umanistiche si continuino a escludere dalla valutazione i volumi collettanei con curatore. Non se ne parla proprio: non figurano tra i prodotti valutabili e nemmeno tra quelli comunque esclusi. Si sa bene come questo genere di lavori siano molto diffusi a livello internazionale, siano uno dei tipici frutti dei progetti di ricerca, presentino perciò (in teoria) un alto grado di significatività scientifica. Dappertutto figurano in una categoria a sé denominata “edited books”. Possibile che tutta questa mastodontica opera di vivisezione della ricerca continui a ignorarli? E non si dica che vengono valutate le introduzioni e gli eventuali contributi interni ad opera dei curatori: è ovvio che sia così, sono lavori distinti. Ma dovrebbe essere valutato il profilo del libro in quanto risultato di un progetto di ricerca, la sua struttura e ogni altra sua caratteristica scientifica rilevante.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.