A proposito di scienza, reputazione e fairness: le liste di riviste per le abilitazioni

Si è completato il puzzle della prima fase delle abilitazioni nazionali con la tardiva pubblicazione del tassello mancante: le liste di riviste, determinanti per la definizione della seconda e della terza mediana per i settori non bibliometrici. Le liste pubblicate al momento si limitano a definire le riviste di “eccellenza” (in fascia A): la dichiarata funzione di questo strumento di valutazione è di fare salva la posizione di quei ricercatori che, pur avendo una produzione limitata sotto il profilo quantitativo si caratterizzano per un notevole profilo qualitativo della ricerca. Il che potrebbe anche sembrare ragionevole, visto che la mera quantità nella produzione dice davvero poco circa la qualità della medesima: basti pensare al numero di volumi stampati a pagamento a fini meramente concorsuali (una pratica, peraltro, incentivata dai tempi enormemente dilatati del bando per le abilitazioni nazionali). Non sono state invece rese note le preannunciate liste di riviste in fascia B e C.

Il tono dubitativo di ANVUR lascia supporre che tali liste non vedranno mai la luce, insieme alla lista di fascia A per l’area 12, almeno per questa tornata di abilitazioni: “Il RM impone all’ANVUR di produrre una classificazione in tre fasce di merito. Allo scopo di consentire l’avvio delle procedure di abilitazione scientifica nazionale, l’ANVUR ha convenuto di concentrare gli sforzi nella classificazione in fascia A, necessaria alla costruzione del terzo indicatore, rinviando al futuro la classificazione ulteriore in fascia B e C.”[1]

In ogni caso, la loro assenza crea una serie di problemi di cui si dirà più oltre.

Ancora una volta, e al di là dei fatti concreti cui stiamo assistendo, mi sento di dover ribadire la mia personale contrarietà alle liste di riviste come strumento di valutazione: sono convinto che esse producano generalmente più danni che benefici, a maggior ragione quando si tratta di reclutamento. Non desidero però riprendere qui la letteratura internazionale in merito, né le mie tesi che ho già esposto altrove e mi limito ad alcune rapide osservazioni.

1.Trasparenza.

La redazione degli elenchi di riviste è un’operazione estremamente delicata. Sarebbe stato meglio non utilizzare uno strumento di questa natura per il reclutamento (alcuni riferimenti si trovano qui). Volendo comunque perseverare in questa scelta, si sarebbero dovute adottare tutte le cautele per rendere la procedura trasparente e rigorosa.

Dalla documentazione ANVUR non emerge nulla di ciò: si comprende solo che le liste sono il prodotto di una concertazione fra i GEV, i componenti il Gruppo di lavoro a ciò deputato, le società scientifiche e non meglio precisati esperti esterni (cfr. la delibera ANVUR 50/2012 e il documento di accompagnamento alle mediane non bibliometriche). A tutto ciò si aggiunge l’eventuale misurazione dell’h-index delle sedi editoriali attraverso Google Scholar, una base dati (giova ripeterlo) pressoché inutilizzabile ai fini bibliometrici:

“Il Gruppo di lavoro ha potuto operare quindi sulla base di una pluralità di fonti informative:

– Pareri delle società scientifiche

– Classificazione operata dai Gruppi di esperti della valutazione (GEV) ai fini della Valutazione della qualità della ricerca (VQR)

– Calcolo dell’h-index della rivista sulla base di una procedura automatica di interrogazione di Google Scholar

– Eventuali pareri di esperti interpellati dal Gruppo di lavoro sulla base del mandato ricevuto.”[2]

ANVUR non ha reso note:

. le linee guida adottate per la redazione della lista, nonché le basi scientifiche sulla cui base tali linee guida sono state costruite.

. i criteri sulla cui base sono stati nominati o consultati gli “esperti ” anche stranieri, nonché la loro qualificazione accademica, nazionalità, numero, natura del mandato ricevuto.

Si sa solo che si è provveduto a estrarre dal CINECA le riviste su cui gli studiosi italiani hanno pubblicato negli ultimi 10 anni e che tali elenchi sono stati sottoposti alle società disciplinari, ai GEV e al Gruppo di lavoro, oltre agli eventuali esperti.[3]

Va ricordato che operazioni del genere, per quanto non collegate al reclutamento, sono state compiute all’estero da soggetti terzi attraverso un’effettiva, complessa, articolata e trasparente consultazione delle comunità accademiche: niente di paragonabile alle frettolose e opache consultazioni agostane da parte dell’Agenzia delle società disciplinari, che peraltro non sempre possono essere ritenute rappresentative della comunità scientifica.

Tornando al caso italiano, va rilevato come in nessun luogo sia possibile consultare gli esiti dell’istruttoria compiuta dal Gruppo di lavoro, i verbali dei lavori del consiglio direttivo come pure i pareri dei GEV e eventualmente, anche in forma anonima, quelli dei non meglio specificati “esperti”.[4]

Inoltre, la scarsa trasparenza della procedura adottata si accompagna alla carente o inesistente gestione del conflitto di interessi, in contrasto con quanto previsto dal codice etico dell’Agenzia (art. 7) e con le pratiche comunemente adottate a livello internazionale. Per maggior chiarezza e per una migliore comprensione del paragrafo successivo riporto per esteso quanto previsto dal codice etico ANVUR:

2. Mancata regolazione e prevenzione del conflitto di interessi.

Si potrebbe in primo luogo ricordare che i componenti i direttivi di quasi tutte le società disciplinari delle HSS comprendono soggetti che o sono parte del comitato scientifico di una o più riviste o ne hanno la direzione e che ciò potrebbe inficiare, in linea di principio, l’attendibilità delle consultazioni svolte da ANVUR. Ma non è certo questo l’aspetto più grave della vicenda, che coinvolge in pieno collaboratori esterni e interni dell’Agenzia (GEV e componenti il Gruppo di lavoro).

Va infatti osservato che:

. Anche all’interno del Gruppo di lavoro (delibera 55, 58, 63/2012) vi sono direttori di riviste o componenti di comitati scientifici. Non risulta però che l’Agenzia abbia attivato alcuna procedura per sterilizzare il conflitto di interessi. Ragionamenti analoghi possono essere svolti per quelli fra i GEV che dirigono riviste o partecipano a comitati scientifici.

. Si è visto come le mediane non bibliometriche di fascia A siano piuttosto basse (comprese fra 0 e 3), tanto che un solo articolo in fascia A pubblicato da qui a novembre potrebbe assicurare ad alcuni l’accesso alla procedura. Ciò significa che i soggetti che controllano le pubblicazioni di riviste di fascia A hanno in mano la wildcard che può cambiare i destini di aspiranti candidati: un potere davvero notevole, che può anche riguardare i propri allievi, oltre a quelli altrui.

Non pare dunque corretto che all’attribuzione di tale potere abbiano concorso soggetti che potrebbero in seguito esercitarlo o avvantaggiarsene, senza che si sia adottato alcun filtro preventivo o rimedio di sorta, fosse anche solo una semplice dichiarazione con la quale impegnare i soggetti coinvolti al rispetto di alcuni principi base.

Lo stesso discorso può essere svolto, in linea di principio, per gli aspiranti candidati commissari che potrebbero essere stati tentati di migliorare i propri punteggi bibliometrici favorendo la collocazione in fascia A di riviste su cui pubblicano abitualmente. Infatti I GEV, nonostante il ruolo ricoperto, hanno potuto candidarsi come commissari per le abilitazioni nazionali (come del resto i componenti non fuori ruolo del Gruppo di lavoro). Su tutti questi punti una buona network analysis potrebbe forse restituire dei risultati interessanti.

Va notato che la presenza di un possibile conflitto di interesse di tale gravità può esporre  le procedure a censure di illegittimità in relazione anche alla situazione personale dei commissari.

Tanto basti per la considerazioni generali sulla procedura. Conviene ora considerare alcune anomalie strutturali.

3. La scienza impermeabile di ANVUR

Stando al Documento di accompagnamento alle mediane non bibliometriche (punto 3.3), si apprende che:

– il giudizio di scientificità ha valore all’interno dell’area CUN

– il giudizio di fascia A ha valore all’interno del settore concorsuale.

Sul punto è bene fornire qualche chiarimento: si intende dunque che una rivista è considerata scientifica solo all’interno dell’area CUN, a meno che la procedura adottata da ANVUR, con tutte le carenze cui si è fatto riferimento più sopra, non abbia condotto all’identificazione di una rivista come scientifica da parte di più società disciplinari di diverse aree CUN e da parte dei Gruppi di lavoro di ANVUR stessa. A titolo di esempio, ciò significa che in mancanza di questo reciproco riconoscimento, che in moltissimi casi non ha avuto luogo, ai fini delle mediane sono da ritenersi non scientifici

–        uno scritto di un economista su di una rivista di diritto del lavoro (e viceversa)

–        uno scritto di un economista su di una rivista di sociologia (e viceversa)

–        uno scritto di un giurista su di una rivista di sociologia, di economia, di filosofia (e viceversa)

Ma si potrebbe continuare a lungo, pensando al giurista che scrive su una rivista di medicina in tema di bioetica, all’economista che si occupa di storia economica su di una rivista a prevalente indirizzo storico e così via.

In ogni caso, l’idea di limitare il giudizio di scientificità all’interno dell’area CUN è una vera e propria aberrazione sotto il profilo scientifico e una scelta dannosa dal punto di vista delle politiche della ricerca. Questo per tre motivi:

1. da che mondo e mondo la scienza prospera attraverso la comunicazione fra discipline diverse: il pensiero e la ricerca scientifica non sono a compartimenti stagni e anzi più si riduce la comunicazione fra aree e settori più si danneggia la qualità della produzione scientifica, il che vale sia per la ricerca teorica che per quella applicata.
2. Come si può stabilire se una rivista è scientifica nell’ambito delle scienze umane e sociali? Unicamente attraverso la verifica di una serie di parametri che non possono cambiare da area ad area, come per esempio l’esistenza di un comitato scientifico dotato di certi requisiti, la previsione di una peer review rigorosa, la periodicità, la presenza in biblioteche e data base internazionali e così via. Come è possibile dunque stabilire che una stessa rivista sia scientifica per un’area e non scientifica per un’altra, magari contigua? E’ pensabile che una rivista scientifica di sociologia pubblichi contributi non scientifici in materia di diritto o economia e viceversa?
3. l’elenco delle riviste scientifiche è stato costruito sulla base dei dati CINECA inseriti volontariamente da parte dei docenti italiani alla data del 15 luglio. Quindi si potrebbero determinare una serie di casi paradossali:

a)      vi potrebbero essere riviste non ritenute scientifiche a causa del mancato popolamento del sito docente

b)      vi potrebbero essere aspiranti candidati che lavorano all’estero, studiosi non strutturati presso le università italiane o che operano presso istituzioni che fanno ricerca in Italia, che hanno pubblicato su riviste sfuggite all’inclusione nell’elenco semplicemente perché queste sono risultate assenti su CINECA. Ad esempio, i ricercatori del CNR non dispongono di una pagina CINECA, così come non ne dispone, ovviamente, chi lavora in sedi estere.

4. Le eccellenze pseudo-bibliometriche

Premesso dunque che l’identificazione della scientificità di una rivista si limita all’accertamento di requisiti minimi,  il giudizio relativo alla cosiddetta classe A è invece connesso con l’assai evanescente concetto di “reputazione”. Infatti ANVUR e alcuni esperti che collaborano con l’agenzia hanno cercato di sostenere che la mediana “qualitativa” (quella relativa al numero di pubblicazioni nella classe A delle riviste) corrisponderebbe a una classificazione delle riviste fondata sulla “reputazione”: il che giustifica la pertinenza del giudizio di eccellenza unicamente al settore.

Ho il sospetto che i sostenitori della “mediana qualitativa”, oltre a non rendersi conto dei risultati aberranti causati dalla incauta mescolanza di indicatori statistici e valutazioni che per loro natura rischiano di essere del tutto soggettive, siano affetti da una sorta di invidia per i parametri bibliometrici dei settori delle “scienze dure”.

E’ ovviamente vero che esistono riviste di migliore e peggiore qualità: questo è indiscutibile e solitamente gli appartenenti a una comunità scientifica ne sono ben consapevoli, come sono consapevoli della mutevolezza nel tempo di queste valutazioni di merito. Quello che è fallace, dunque non è tanto il presupposto (l’esistenza di contenitori migliori e peggiori), ma la convinzione di poterlo misurare oggettivamente ma attraverso liste concertate.

Questa pallida imitazione della bibliometria da parte degli umanisti, per la quale la misura della reputazione diviene una sorta di surrogato dell’indice-h o dell’impact factor non credo sia accettabile: infatti, da un canto qualsiasi scienziato con un minimo di formazione scientometrica sa che un bruto numero di citazioni non equivale a “reputazione”; impatto, com’è noto, non è automaticamente qualità. Da decenni si discute della possibilità di accertare la “reputazione” di una rivista sulla base degli indicatori citazionali e vi è ben poco consenso intorno alla tesi che ciò sia possibile, in particolare quando occorrono valutazioni fini e accurate come quelle richieste per il reclutamento.

D’altro canto, tutti noi sappiamo benissimo che è estremamente difficile misurare “quantitativamente” la reputazione di una sede editoriale attraverso valutazioni del tutto soggettive, specialmente se intervengono conflitti di interesse che sfuggono a qualsiasi controllo, a maggior ragione nel contesto di una procedura non trasparente come quella adottata da ANVUR: da questo punto di vista la “misura della reputazione” senza indici citazionali, costruita attraverso mere consultazioni, sembra portare con se le peggiori distorsioni degli indici bibliometrici senza avere il pregio della verificabilità, in termini di conteggio di citazioni e degli indici che su di esse possono essere costruite.

In questo quadro, va rilevato come mentre i compartimenti stagni adottati per la qualifica di scientificità impediscono di ritenere scientifica una rivista al di là dei confini d’area, sono invece sporadicamente apparse riviste di del tutto estranee all’area di riferimento all’interno degli elenchi delle riviste di fascia A.

Un solo esempio fra i tanti possibili:

–        Studi di italianistica nell’Africa australe, rivista di fascia A in area 14 (Sociologia)

Naturalmente è possibile trovare una spiegazione per tutto: è possibile che alcuni docenti abbiano scritto su riviste estranee alla loro area. Meno semplice capire come e perché, a seguito di casi presumibilmente individuali e isolati, si sia provveduto al riconoscimento della classe A di una rivista alquanto specializzata al di fuori della propria area di pertinenza.

Inoltre, alla luce della pur tautologica definizione di rivista di fascia A contenuta nell’allegato B al DM 76 “criteri e parametri”:

le riviste di classe A sono quelle, dotate di ISSN, riconosciute come eccellenti a livello internazionale per il rigore delle procedure di revisione e per la diffusione, stima e impatto nelle comunità degli studiosi del settore, indicati anche dalla presenza delle riviste stesse nelle maggiori banche dati nazionali e internazionali;

desta qualche dubbio l’inserimento in fascia A di una serie di periodici probabilmente stimabilissimi, ma la cui diffusione e impatto appaiono verosimilmente scarsi, specie nel contesto internazionale, al quale pure l’allegato al DM fa riferimento. E così pure di “periodici” che somigliano molto di più a collane che a riviste, o di periodici privi di ISSN (requisito invece previsto dall’allegato B al DM 76 per le riviste di classe A). Da notare che invece non sono collocate in fascia A numerose rivite di ampia diffusione pur censite nelle banche dati internazionali, ISI inclusa .

Ancora, mentre il documento di accompagnamento alle mediane non bibliometriche afferma che (3.1) sono stati esclusi i “periodici di recensioni”,  per l’area 10 risulta, ad esempio, in fascia A la Bryn Mawr Classical Review, ottimo e utile periodico online, costituito però esclusivamente di recensioni, che non adotta procedure specialmente severe di peer review e sul quale scrivono non pochi studiosi italiani.

Piccola osservazione per la quale sono grato a un collega: si potrebbe supporre, anche se definire carente le definizioni dei prodotti della ricerca da parte di ANVUR è un eufemismo, che le recensioni non possano essere computate ai fini delle mediane, evidentemente poiché se ne discute il carattere scientifico. Tale almeno era l’impostazione – peraltro discutibile – della VQR che escludeva recensioni e note a sentenza.

Come giustificare dunque, secondo logica e coerenza, il fatto che una rivista di sole recensioni concorra al calcolo di una mediana, che è per di più la mediana indicativa dell’eccellenza?

In ogni caso, lasciando ai lettori di queste pagine il compito, se vorranno, di esplorare le incongruenze delle liste settore per settore, va ribadito come alla data odierna non sia possibile consultare la lista delle riviste scientifiche. Anzi, sembra che essa non vedrà mai la luce, forse anche per una tardiva comprensione da parte di ANVUR dei problemi che ho più sopra sinteticamente esposto.

La mancata pubblicazione delle liste complete di riviste (classi A+B+C) pone non piccoli problemi. Fra questi i seguenti:

1. Rimane non chiaro come sia stata calcolata la seconda mediana.
2. caduta la identificazione delle sedi scientifiche, qualsiasi pubblicazione su periodico con o senza ISSN potrebbe essere considerata come pubblicazione valida ai fini del superamento della mediana.

Naturalmente la seconda questione coinvolge il ruolo delle commissioni e i compiti che saranno loro attribuiti: in effetti a oggi risulta oscuro chi dovrà controllare l’eventuale superamento delle mediane da parte dei candidati, sempre che tale requisito alla fine di questa confusa procedura sia effettivamente ritenuto vincolante.

In ogni caso va ricordato che in Italia stiamo assistendo al primo caso di applicazione generalizzata di indicatori statistici e bibliometrici ai fini del reclutamento, in palese contrasto con larghissima parte della letteratura scientometrica. L’ambizione di apprezzare, attraverso una macchina numerica, dati complessi che necessitano di approfondite valutazioni è del tutto insensata e infatti già da tempo si assiste a continui rimaneggiamenti e aggiustamenti del marchingegno, che tuttavia non paiono essere in alcun modo risolutivi. L’esito che già fin d’ora sembra delinearsi (si veda quanto affermano Ribolzi e Castagnaro ed anche Fantoni), è quello di un ritorno pieno alla discrezionalità delle commissioni, il che induce a chiedersi se le energie e il danaro pubblico investito in questa operazione sia davvero stato ben speso.

Una domanda che occorrerà porre con ancora maggior forza qualora dovesse alla fine emergere l’illegittimità delle procedure adottate.

Quanto scritto sopra non esclude che per alcune aree o settori si siano prodotte liste di riviste accettabili o di buona qualità: saranno le comunità accademiche a dircelo. Tuttavia, se ciò è avvenuto, non lo si deve in alcun modo alla procedura adottata che non risponde agli standard minimi adottati in Nazioni più avvezze alla valutazione della ricerca.

L’auspicio è che alla fine di tutta questa vicenda la comunità accademica risulti maggiormente acculturata sotto il profilo della valutazione, dell’uso appropriato degli indicatori scientometrici, della correttezza delle procedure e della sensibilità istituzionale, in modo da poter progettare in modo il più possibile condiviso sistemi che siano davvero in linea con le migliori pratiche internazionali.

post scriptum: in un commento su questo sito si legge la seguente lettera inviata dal direttivo dell’ANVUR, con la quale si intende rispondere a due questioni relative alla completezza dei dati CINECA e all’effettivo significato delle mediane qualitative:

Egregio collega  Trasmettiamo la sua segnalazione ai membri del Gruppo di lavoro Riviste scientifiche dell’area 11, per opportune valutazioni.  La risposta che lei dà alla fine della sua lettera è però nella giusta direzione: la legge obbliga a classificare solo le riviste su cui autori italiani hanno pubblicato, e questo non può che significare che ve ne è traccia sul loginmiur al 15 luglio. Il riscontro personale che lei ha fatto è certo corretto ma forse non copre tutti i casi che solleva.  [NOTA BENE:] Aggiungiamo che il Gruppo di lavoro si sta effettivamente ponendo il problema di aggiungere una lista, non obbligatoria per legge, di segnalazione di elevata qualità. Sarebbe un importante segnale che noi auspichiamo, anche se richiederà altro tempo. Alcune aree hanno già provveduto in questo senso.   Molti cordiali saluti   Per il Consiglio Direttivo il Gruppo di lavoro Abilitazione  Fantoni, Bonaccorsi, Novelli

Devo confessare che fatico a comprendere quale credibilità possa ormai avere la procedura in atto dopo che non solo le stesse mediane sono state retracted, ma a quanto pare anche le liste di riviste, incomplete, verranno integrate da nuovi elenchi, “di segnalazione di elevata qualità”, ad usum (quale?) delle commissioni. Come diceva qualcuno, la situazione è grave ma non è seria.