“La meritoria opera di sfrondamento”: chiarimenti ANVUR sulle riviste scientifiche

Documento di chiarimenti sulle riviste scientifiche:
ANVUR tenta di spiegare, si autoelogia, si giustifica e minimizza.
Ammette anche che le mediane di area 10 sono illegittime?

Il Consiglio Direttivo dell’ANVUR ha pubblicato un nuovo documento intitolato

La classificazione delle riviste nell’ambito dell’abilitazione nazionale

Ad una breve premessa, che richiama la basi normative contenute nel D.M. 76 “Criteri e parametri” e nella Delibera ANVUR n. 50/2012, seguono due sezioni, dedicate rispettivamente alla classificazione delle riviste di classe A e alla classificazione delle riviste scientifiche. Di seguito analizziamo il contenuto di questo nuovo documento dell’ANVUR. Nel complesso, lo scenario rimane opaco e non viene diradato il sospetto che alcune riviste poco o per nulla scientifiche godessero di speciali “raccomandazioni” perché dovevano fungere da “backdoor” per  aspiranti commissari o persino per possibili candidati.

La classificazione delle riviste di classe A

Per le riviste di classe A, viene spiegato che

I gruppi di lavoro, basandosi sui suggerimenti delle società scientifiche e sulla profonda conoscenza delle proprie discipline, sono pervenuti, con l’eccezione del gruppo di lavoro dell’area 12, a una proposta di classificazione in classe A

Ancora una volta, la mancata pubblicazione della lista di fascia A per l’area 12 (Scienze Giuridiche) viene attribuita ad un problema interno del gruppo di lavoro. Ricordiamo che il 24 agosto scorso, nel documento di accompagnamento delle mediane, l’ANVUR aveva scritto che

L’ANVUR sta ancora lavorando alla classificazione utilizzando altre fonti di informazione previste dal RM, nella prospettiva che le commissioni di concorso dell’area 12 possano farne uso.

Il documento odierno, a distanza di un mese e mezzo, non chiarisce a che punto stiano i lavori o se la lista di fascia A per l’area 12 sia ormai definitivamente data per dispersa. Ricordiamo anche che i maligni attribuiscono la mancata pubblicazione di tale lista – e della corrispondente terza mediana – ad un tentativo di sterilizzare il ricorso presentato dall’Associazione Italiana dei Costituzionalisti, sul quale il TAR del Lazio si pronuncerà il 23 gennaio 2013.

Proseguendo la lettura, si apprende che l’approvazione delle liste di fascia A ha comportato seri contrasti tra l’ANVUR e i GEV.  Procediamo per ordine.

Per l’area 10, troviamo un paragrafo enigmatico:

La classificazione dei gruppi di lavoro, come suggerito dal DM 76, è stato inviata ai GEV di area chiedendo loro un parere. Ha fatto eccezione, per i tempi ristretti e per la particolare complessità dell’area 10, circostanze che hanno ritardato la conclusione della classificazione, il GEV 10, che ha ricevuto la proposta del gruppo di lavoro in modo parziale e non ha potuto quindi esprimere un parere complessivo.

Da un lato, questo paragrafo potrebbe spiegare perché il 24 settembre ANVUR aveva modificato il documento “CHIARIMENTI SULLA LISTA DELLE RIVISTE DI CLASSE A” (18 settembre 2012) cancellando la seguente frase:

Le liste prodotte sono state preventivamente sottoposte al parere dei Gruppi di Esperti della Valutazione (GEV) della VQR.

In effetti, questa frase era falsa perché, come veniamo a sapere oggi, il GEV 10 non era stato messo in grado di esprimere un parere complessivo. Resta da sapere se la sbianchettatura del documento del 18 settembre fosse stata imposta dalle rimostranze del GEV 10 che non voleva assumersi la responsabilità per scelte fatte da altri.

Tuttavia, il vero  e proprio enigma è un altro e riguarda le parole:

circostanze che hanno ritardato la conclusione della classificazione

Infatti, per tutte le aree la classificazione deve essere stata completata prima del 24 agosto, data di pubblicazione delle prime mediane bibliometriche (la data di pubblicazione delle seconde mediane del 28 agosto non fa testo perché l’ANVUR ha sempre attribuito le modifiche delle mediane all’uso di nuove formule e non ad un aggiornamento delle liste delle riviste). Questo cenno ad un ritardo limitato all’area 10, fa ritornare in mente le parole che il Presidente dell’ANVUR avrebbbe pronunciato il 4 settembre scorso nel corso di una telefonata con una lettrice di ROARS:

Mi ha detto che la mia email con le lamentele gli è stata girata dal MIUR, e che non è una “buffonata” ma loro stanno lavorando come dannati (povere stelle!! non hanno fatto nemmeno le vacanze!). Che è molto faticoso perchè sono più di 17000 riviste (mah!) e che per l’area 10 sta ancora discutendo

Insomma, in sintonia con le parole di Fantoni,  il nuovo documento dell’ANVUR  conferma che la lista per l’area 10 è stata chiusa in ritardo. Inutile ricordare che se la lista dell’area 10 fosse stata chiusa dopo la pubblicazione delle mediane, le mediane dell’area 10 perderebbero validità perchè calcolate su liste che sono state successivamente modificate. Ciò renderebbe illegittima la selezione dei commissari minando alle fondamenta le abilitazioni dell’intera area 10.

Per l’area 11 è andato tutto liscio con piccole richieste di modifica espresse dal GEV, prontamente accolte dall’ANVUR.

Dell’area 12 abbiamo già detto.

Più critica la situazione nell’area 13:

il GEV 13 ha espresso disaccordo circa una parte della classificazione proposta, asserendo di preferire la classificazione fatta nell’ambito della VQR. Il Consiglio Direttivo dell’ANVUR ha ritenuto in tale caso di mantenere la proposta del gruppo di lavoro.

La situazione dell’area 14 è parzialmente simile a quella dell’area 11, per la sottoarea di scienze politiche che ha potuto esprimere dei suggerimenti, mentre le restanti sottoaree non sono state messe in grado di esprimere un parere:

Per quanto riguarda il GEV 14 è stato possibile trasmettere la lista di classe A della sola sotto-area di scienze politiche. Solo per questa area sono stati forniti alcuni suggerimenti che sono stati accolti

Lo sfrondamento delle riviste scientifiche

L’ultima parte del documento, di tono apologetico, appare motivata dallo scalpore suscitato dall’articolo di ROARS (Le riviste “scientifiche” dell’ANVUR: dal sacro al profano e dalle stelle alle stalle) che ha segnalato diverse anomalie nelle liste ANVUR delle riviste scientifiche. In mezzo alle riviste scientifiche ROARS aveva segnalato presenze sorprendenti quali  Yacht Capital, Airone, Suinicoltura, il Mattino di Padova, il Sole 24 ore, Fare Futuro Web Magazine, Insegnare Religione, Leadership Medica e così via. Ricordiamo che la notizia ha avuto larga eco nella stampa, venendo ripresa dalla Stampa, Repubblica.it, il Fatto Quotidiano e il Manifesto (Le riviste scientifiche secondo ANVUR: gli echi sulla stampa).

In primo luogo l’ANVUR fornisce alcuni dati numerici sul numero di articoli e di riviste che sono stati esaminati per stilare le liste delle riviste scientifiche: 201.967 articoli pubblicati su 15.998 riviste nel decennio 2002-2012. Viene poi specificato che:

i gruppi di lavoro, avvalendosi delle società scientifiche interpellate dall’ANVUR, hanno effettuato una difficile e meritoria opera di sfrondamento, pervenendo a un numero finale di 12.865 riviste considerate scientifiche in almeno un’area (80,4% del totale). L’eliminazione dalle liste di riviste scientifiche ha riguardato ben 3.133 riviste, considerate non scientifiche. Sulle riviste considerate scientifiche sono stati pubblicati 183.348 articoli, il 90,8% del totale.

Segue un interessante notazione che testimonia l’incompleto popolamento dei siti docenti alla data del 15 luglio 2012.

Dopo aver utilizzato le liste di riviste scientifiche per il calcolo degli indicatori, l’ANVUR ha ulteriormente valutato 170 riviste che non comparivano nel sito docente al 15 luglio 2012 ma sono state inserite dagli aspiranti commissari nella domanda in scadenza il 28 agosto. Di queste, 110 sono state considerate scientifiche e 60 non scientifiche.

Con tali affermazioni l’ANVUR ammette che le mediane del 28 agosto (basate sui dati caricati sino al 15 luglio) non sono statisticamente corrette, in quanto esse non tengono in conto le pubblicazioni che non erano state caricate prima di tale data e che sono state successivamente inserite nel sito docente. Come già osservato su ROARS, l’inserimento ritardato ha alterato le mediane e, in particolare, può aver alterato le decisioni sugli “scorpori” degli SSD, ovvero l’attribuzione ad alcuni SSD di mediane specifiche e più basse di quella del settore concorsuale di appartenenza. Ricordiamo che è stata l’ANVUR a sostituire le mediane del D.M. 76, che sono riferite alla produzione scientifica dei docenti italiani, con le mediane delle pubblicazioni presenti nel sito docente CINECA alla data dell’8 luglio 2012 (diventata 15 luglio per tenere conto dei ritardi di registrazione): “Ai fini del calcolo degli indicatori sono utilizzate le informazioni disponibili alla data dell’8 luglio 2012 alle ore 17.00” (Delibera ANVUR n. 50/2012).

Per quanto riguarda la presenza nella lista ANVUR di riviste chiaramente non scientifiche, vi sono diversi punti degni di nota. Prima di tutto, il documento scagiona i GEV da ogni responsabilità, in quanto non avrebbero espresso alcun parere in proposito.

Data la ristrettezza dei tempi, le liste delle riviste scientifiche non sono state trasmesse ai GEV e non hanno potuto beneficiare di un loro parere.

Piuttosto, la responsabilità spetta al gruppo di lavoro ANVUR e alle società scientifiche:

Per altri casi, che hanno peraltro attirato l’attenzione della stampa, occorre affermare che la natura scientifica non può essere in realtà esclusa con certezza e resta soggetta a controversie. In questi casi la natura scientifica della rivista è stata comunque assegnata sulla base delle segnalazioni positive di una o più società scientifiche o degli esperti del gruppo di lavoro.

In effetti, quanto scritto è coerente con il contenuto del documento di accompagnamento delle mediane non bibliometriche:

Le liste sono state trasmesse al Gruppo di lavoro e contestualmente inviate alle società scientifiche di riferimento. Alle società scientifiche è stato chiesto di produrre un parere su:
–    Lista delle riviste da considerare scientifiche
–    Lista delle riviste scientifiche in classe A.

Non sono state incluse nella lista delle riviste scientifiche le riviste per le quali si sono verificate simultaneamente le seguenti condizioni:
(i)    Nessuna società scientifica interpellata ha inserito la rivista in una lista di riviste scientifiche
(ii)    Sulla base della evidenza disponibile non vi sono elementi che facciano presumere la natura
scientifica della rivista.

Quindi il nuovo documento dell’ANVUR non fa che ribadire quanto già noto: tutte le riviste nella lista delle riviste scientifiche dovevano godere del parere positivo di almeno una società scientifica oppure degli esperti del gruppo di lavoro.

La parte finale del documento si configura come un’autodifesa basata su tre argomenti:

1. The twilight zone. Viene sottolineata la difficoltà di classificare testate nella zona intermedia tra scientificità e non scientificità che ospitano anche contributi scientifici, spesso in modo parziale, talora prevalente

2. I furbetti del quartierino. Il vanto di aver eliminato dal novero delle riviste un numero elevato di pubblicazioni non scientifiche, serve come pretesto per deviare, almeno in parte, le colpe sui docenti e gli atenei, a cui vengono imputati  “siti docenti, su cui molti atenei si basano per la distribuzione interna di fondi di ricerca, […] infarciti di pubblicazioni che nulla hanno di scientifico“. Insomma, quelle riviste non scientifiche non arebbero state presenti nel sito docente, se gli atenei non fossero pieni di “furbetti” che caricano di tutto per farsi assegnare maggiori fondi di ricerca.

3. La soluzione allo 0,15%. La limitata consistenza numerica degli errori denunciati sulla stampa, non solo perdonabili alla luce del poco tempo a disposizione dell’agenzia, ma anche statisticamente trascurabili  e irrilevanti ai fini del calcolo delle mediane dato che una verifica numerica avrebbe mostrato che l’eliminazione dall’elenco di venti riviste non scientifiche non avrebbe alterato le mediane già pubblicate.

Tutti e tre gli argomenti presentano dei punti deboli.

The twilight zone

La giustificazione addotta appare debole alla luce dei criteri che la stessa ANVUR si era data:

elementi che facciano presumere la naturascientifica della rivista […]

• la descrizione della rivista o la politica editoriale prevedono esplicitamente il riferimento alla natura scientifica e alla pubblicazione di risultati originali
• esiste un comitato scientifico della rivista
• il comitato editoriale ha una composizione in cui la componente accademica è rilevante e/o il direttore della rivista ha affiliazione accademica
• viene menzionata una procedura di revisione dei manoscritti
•  la rivista è indicizzata nei principali repertori nazionali e internazionali di riviste delle aree umanistiche e sociali
• l’ispezione di indici della rivista e/o di esempi di articolo confermano che si tratti, per dimensione e struttura del testo, di contributi scientifici.

I criteri, non fanno riferimento ad una possibile “zona intermedia, in cui compaiono testate che ospitano anche contributi scientifici, spesso in modo parziale, talora prevalente“. Infatti, si parla di “natura scientifica della rivista“, non di riviste ibride che contengono una miscela di articoli scientifici e non scientifici. Per chiarire meglio quanto l’ANVUR abbia contraddetto se stessa nello stilare le liste, riportiamo in rosso accanto ad alcune categorie che ANVUR intendeva escludere i nomi delle riviste che sono invece state catalogate come scientifiche:

Riassumendo, sulla base dei diversi criteri sopra descritti sono stati in linea di massima esclusi:

• quotidiani (il Mattino di Padova, Sole 24 ore)
• settimanali (il Diario della settimana)
• periodici di cultura, politica, attualità, costume (Yacht Capital)
• riviste di divulgazione scientifica (Airone)
• riviste di taglio esclusivamente professionale e di aggiornamento (Suinicoltura)
• riviste espressione di formazioni politiche, sindacali, religiose (Fare Futuro Web, La vita cattolica)
• “house organ” aziendali (Etruria Oggi – Banca Etruria)

I furbetti del quartierino

La frecciata lanciata nei confronti di docenti e atenei, a cui va ricondotta la responsabilità di siti docente “infarciti” di pubblicazioni che nulla hanno di scientifico conferma la linea recente dell’ANVUR, sempre più impegnata a scaricare la responsabilità dei i propri fallimenti su cause esterne all’agenzia. Vengono in mente almeno tre casi (Abilitazioni e Mediane: “ANVUR non potuto fare altro”. Profumo sotto accusa?):

(i) Le incertezze e gli errori nel calcolo delle mediane spiegati con le carenze del testo del D.M. 76 la cui definizione di mediana, “pur univoca, lascia però un importante punto di ambiguità“. Va detto  che tale giustificazione  del “balletto delle mediane” sarebbe alquanto singolare se fosse vero quanto riportato da fonti attendibili, secondo le quali una rappresentanza del Consiglio Direttivo ANVUR avrebbe partecipato attivamente alla stesura del D.M.).

(ii) La chiamata in causa del ministro Profumo che avrebbe costretto l’agenzia a lavorare presto e male: “i tempi strettissimi imposti dal decreto […] hanno costretto tutto il personale coinvolto nell’ANVUR e nel CINECA a operare con urgenza nei mesi estivi (tutto agosto compreso)“.

(iii) La chiamata in causa dei ministri Gelmini e Profumo che non avrebbero risposto tempestivamente alle sollecitazioni di ANVUR che sottolineava l’importanza di avere un’anagrafe nazionale della ricerca scientifica:

Tale compito sarebbe stato relativamente agevole se l’ANVUR avesse potuto disporre dell’ANPRePS (Anagrafe nominativa dei professori ordinari e associati e dei ricercatori delle pubblicazioni scientifiche prodotte) […] giova ricordare, a questo proposito, che l’ANVUR, in una delle sue prime delibere (22 giugno 20122 [sic]), aveva proposto al ministero una formulazione del decreto attuativo dell’ANPRePS previsto dalla legge, sottolineando la fondamentale importanza dell’anagrafe per svolgere il suo compito di valutazione‐, e ciò ha reso le operazioni connesse all’abilitazione complicate e soggette a imprecisioni ed errori. Di necessità, il sito docente CINECA ha suffragato [sic] la mancanza dell’ANPRePS, e l’ANVUR non potuto far altro che utilizzare le informazioni ivi volontariamente inserite dai docenti.

Quest’ultima citazione è significativa perché smentisce quanto scritto nel nuovo documento. L’ANVUR, per sua stessa ammissione, è sempre stata consapevole che il sito docente CINECA non è un’anagrafe nazionale della ricerca. Deviare l’indignazione su i siti docente CINECA  “infarciti di pubblicazioni che nulla hanno di scientifico” significa fraintendere deliberatamente l’uso di questo archivio istituzionale fingendo che sia ciò che non è.

Infatti, non c’è nulla di male se un docente pubblica articoli informativi o divulgativi su riviste che non sono scientifiche. Questo tipo di attività rientra a buon titolo nella cosiddetta “terza missione” dell’università, i cui compiti  non sono limitati alle prime due missioni relative all’insegnamento e alla ricerca.

È inoltre assolutamente raccomandabile che di questa attività rimanga traccia negli archivi istituzionali e lo strumento attualmente disponibile per la registrazione è proprio il sito docente, la cui natura ibrida più che destare scandalo è una caratteristica indispensabile per poter registrare anche questi “indicatori di terza missione”. Chi utilizza il sito docente per presentare domande di finanziamento PRIN o FIRB sa bene che è possibile selezionare le pubblicazioni da allegare al proprio curriculum e ciò serve appunto a isolare le pubblicazioni scientifiche pertinenti al progetto rispetto ad altra produzione di natura non scientifica oppure non pertinente, ma non per questo degna di essere abbandonata all’oblio.

Quando parla “siti docenti, su cui molti atenei si basano per la distribuzione interna di fondi di ricerca” l’ANVUR allude nemmeno troppo obliquamente a opportunismo dei docenti e incompetenza degli organi di governo degli atenei, senza però fornire precisazioni o riscontri. In un paese normale, ci aspetteremmo che le critiche dell’agenzia di valutazione siano sempre circostanziate e supportate da evidenza documentale. Appare del tutto singolare che tra le righe dei documenti di un’agenzia di valutazione si leggano denigrazioni non circostanziate nei confronti delle strutture e degli individui sottoposti alla sua valutazione, ma l’ansia di giustificare i propri scivoloni sembra aver preso la mano al consiglio direttivo.

Se l’argomento dei siti “infarciti” lascia perplessi dal punto di vista del metodo, non si può dire che funzioni meglio dal punto di vista del merito. L’ANVUR sapeva fin dall’inizio che la natura ibrida dei contenuti del sito docente CINECA avrebbe imposto un lavoro di scrematura ed il gruppo di lavoro era stato nominato esattamente per questo scopo. La missione del gruppo di lavoro era proprio quella di separare il grano dal loglio. I siti erano “infarciti”? Sì, ed era ben noto a tutti, persino all’ANVUR che, proprio per organizzare la scrematura, aveva pubblicato una serie di criteri di scientificità che in diversi casi sono stati clamorosamente disattesi.

La soluzione allo 0,15%

Dopo tutto, non è successo niente sembra rassicurarci l’ANVUR:

In ogni caso, anche assumendo che tutte le riviste di cui si è occupata la stampa in questi giorni (20 casi) siano frutto di vero e proprio errore, esse pesano per lo 0,12% in termini di numero di riviste e per meno dello 0,15% in termini di numero di articoli: stiamo parlando di un caso su mille.

Invero, la rassicurazione è assai poco confortante. In primo luogo, c’è il tentativo di minimizzare riducendo il problema ai solo casi, una ventina secondo l’ANVUR, che sono giunti agli onori delle cronache. I ventuno casi evidenziati da ROARS erano stati selezionai in meno di quarantotto ore prendendo i titoli che saltavano all’occhio e per i quali era stata possibile una verifica suffficientemente affidabile della natura palesemente non scientifica della rivista. Si trattava solo della punta dell’iceberg. Mancavano i titoli meno appariscenti e anche quei casi che richiedevano una verifica più laboriosa. Nei commenti dell’articolo, i lettori avevano segnalato altri casi che sarebbero stati degni di indagine. Rispondere, fingendo che gli unici casi siano la ventina di titoli  circolati presso il largo pubblico è come mettere la testa sotto la sabbia.

L’ANVUR potrebbe rispondere che, anche se il numero degli errori fosse cinque volte più grande, ci troveremmo comunque sempre al di sotto dell’1%, niente di preoccupante insomma. Per spiegare perché questa giustificazione non regge, ricorriamo ad un paragone. Immaginiamo che in una centrale nucleare vi sia un gruppo di lavoro incaricato di monitorare le condizioni di sicurezza dell’impianto di raffreddamento del reattore utilizzando le strumentazioni più avanzate. Dopo che il gruppo di lavoro ha consegnato la sua relazione tecnica che non segnala evidenzia, alcuni visitatori segnalano venti saldature incrinate, visibili ad occhio nudo. Come reagirebbero gli abitanto della zona se l’agenzia di sicurezza nucleare li tranquillizzasse spiegando che dopo tutto le saldature incriminate sono meno dell’uno per mille? Reagirebbero molto male perché capirebbero subito che le alternative possibili sono due:

1. Gli errori del gruppo di lavoro non sono intenzionali. In tal caso c’è qualcosa che non va nella strumentazione oppure nelle competenze del gruppo di lavoro. È urgente ricontrollare tutto l’impianto di raffreddamento perché se il gruppo di lavoro non  è stato capace di individuare incrinature visibili ad occhio nudo a maggior ragione potrebbero essere sfuggite molte altre anomalie non così evidenti ai profani.

2. Gli errori del gruppo di lavoro sono intenzionali. Le saldature incrinate sono state volutamente occultate per non danneggiare gli interessi della ditta che le ha eseguite. Anche in questo caso, risulterebbe compromessa l’affidabilità delle relazioni tecniche del gruppo di lavoro.

Pertanto, anche un numero limitato di errori clamorosi richiede l’avvio di un’inchiesta interna per appurarne le cause e ristabilire la fiducia nelle relazioni tecniche sulla sicurezza dell’impianto.

Nel caso dell’ANVUR la situazione presenta molte analogie con il precedente esempio. Gli errori segnalati da ROARS sono stati individuati in poche ore in base alla semplice lettura dei titoli delle riviste. Come mai non erano saltati all’occhio degli esperti del gruppo di lavoro il cui compito era appunti quello di garantire la scrematura? Con che criteri hanno lavorato, se non erano in grado di individuare anomalie così clamorose? Chi ha fatto il controllo finale della lista? I titoli anomali erano presenti fin dalle prime versioni e nessuno si è curato di espungerli? Oppure esiste una “manina” che poco prima della pubblicazione ha gentilmente inserito dei titoli chiaramente non scientifici con l’intenzione di fare un favore a qualcuno, commissario o candidato? Tutte domande a cui l’ANVUR dovrebbe dare una pronta ed esauriente risposta, invece di minimizzare e scaricare altrove le sue responsabilità.

Una richiesta all’ANVUR

L’ANVUR manifesta soddisfazione per il passo avanti costituito dall’ “eliminazione dal novero delle riviste di un numero così elevato di pubblicazioni non scientifiche (circa il 20% del totale)“. Da parte nostra, prima di condividere questa soddisfazione, chiederemmo all’ANVUR di rispondere ad una semplice e ragionevole richiesta:

Rendere nota la lista delle “3.133 riviste,
considerate non scientifiche”.

Infatti, abbiamo letto diversi commenti che lamentano il mancato inserimento nelle liste ANVUR di riviste che sarebbero presenti su loginmiur e soddisfano i requisiti di scientificità. Prima di vantare la bassa percentuale di errori nella lista delle riviste scientifiche, sarebbe bene poter controllare anche gli errori dovuti alle mancate inclusioni. È bene rassicurare la comunità accademica che i criteri di esclusione dell’ANVUR sono più rigorosi delle regole adottate da Crozza-Briatore nel seguente filmato.

[youtube=http://www.youtube.com/watch?v=SjyQlmXpMJc]