Paradossi in Fascia A, ovvero: quer pasticciaccio brutto della terza mediana

L’Anvur ci ha da tempo abituato ai più inauditi prodigi. Ci ha fatto vedere cose che noi umani non avremmo mai immaginato: commissioni da combattimento in fiamme al largo del Consiglio di Stato, articoli pubblicati su riviste di fascia B balenare nel buio per poi ritrovarsi di fascia A. E tutti questi momenti rischiano di andare perduti nel tempo come lacrime nella pioggia. È tempo di valutare.

È tempo di valutare, per esempio, un inquietante fenomeno che si è verificato in occasione dell’ASN, un fenomeno che rischia di revocare addirittura il principio di non contraddizione. C’è infatti un prodotto scientifico, il numero 2-2012, anno XXXIV-Nuova Serie della rivista Comunicazioni Sociali che, a seguito delle due tornate di abilitazione, risulta essere contemporaneamente ‘di fascia A’ (negli esiti dei candidati 2013) e ‘di fascia non A’(negli esiti dei candidati 2012). Una vera sfida alla scienza e alla filosofia, che sarà consegnata ai posteri con una risonanza non inferiore a quella di cui gode il gatto di Schrödinger (che, per raggiungere un risultato analogo, era costretto a rimanere chiuso in una scatola d’acciaio, con del materiale radioattivo e una fiala di cianuro). Insomma, con le abilitazioni scientifiche nazionali sembra tornata d’attualità una vecchia disputa teologica medievale. Alcuni fra i più autorevoli padri della Chiesa si interrogarono a lungo sull’onnipotenza di Dio e, in particolare, se Egli avesse o meno la facoltà di modificare il passato. San Tommaso, ad esempio, opinava che nemmeno Dio può cancellare ciò che è stato ma solo, intervenendo sul presente, modificarne il senso. Personalmente non sappiamo se Dio possa modificare il passato, ma in compenso oggi abbiamo la certezza che l’ASN, invece, può farlo. È l’ennesimo prodigio dell’ANVUR che, nel calcolare le mediane dei candidati, ha considerato validi nel computo della terza mediana articoli apparsi in riviste che nel febbraio 2013 non risultavano accreditate della fascia A, e che sono divenute tali solo nel febbraio 2014. Di fronte a tale miracolo, che secondo San Tommaso non sarebbe stato neanche nella disponibilità di Dio, le commissioni esaminatrici sono rimaste come folgorate e non hanno evidentemente potuto fare altro che ratificare gli esiti del taumaturgico intervento.

Il caso della rivista dalla doppia fascia, comunque, non è che l’ultimo capitolo di una vicenda ingarbugliata dai risvolti che sarebbero farseschi se non ne andasse drammaticamente del destino di migliaia di persone assoggettate al governo dell’ANVUR. Cercheremo di riassumerla e di arrivare al paradosso di Comunicazioni Sociali per gradi.

Correva l’anno 2012. I problemi della valutazione all’italiana delle riviste erano già iniziati con la VQR. Già in questa occasione, infatti, la progettazione del sistema di classificazione per i settori bibliometrici era apparsa molto discutibile[i]. Per quelli non bibliometrici qualcuno già denunciava l’influenza di gruppi o network in grado di promuovere sedi editoriali a scapito di altre[ii], e si moltiplicavano i casi di omissioni, fraintendimenti, scambi, confusioni ed errori vari[iii].

Malgrado questi segni premonitori[iv], la classificazione delle riviste viene destinata a fondare uno dei parametri da utilizzare per i settori non bibliometrici nelle Abilitazioni Scientifiche Nazionali. Il numero di articoli pubblicati su riviste ‘di fascia A’ va a costituire una delle mediane che servono non solo a dirimere i candidati, ma prima di tutto gli ordinari, per stabilire chi di loro potrà essere sorteggiato come commissario. Benché quella lodevole invenzione del genio italico che è la mediana venga quasi subito considerata poco più che decorativa (il raggiungimento delle mediane è, infatti, quasi subito dichiarata una condizione ‘non necessaria’ e ‘non sufficiente’ a ottenere l’abilitazione, quindi le mediane ci sono e discriminano, ma potrebbero anche non servire a niente, anche se è meglio tenerle perché non si sa mai[v]), la costruzione della terza mediana, con il suo presupporre e fondare l’esistenza di una ‘fascia A’ delle riviste, mette a dura prova l’ANVUR e i suoi ‘Gruppi di lavoro Riviste e libri scientifici’[vi], i quali cominciano a redigere elenchi di riviste e classifiche di merito che si propongono di cambiare la natura degli oggetti cui si riferiscono per i dieci anni precedenti. L’ardire di tali intenti spinge qualcuno – nel nostro caso l’AIC, la società scientifica dei costituzionalisti – a presentare ricorso al TAR contro un indicatore fondato su un elemento costruito secondo criteri non indiscutibilmente oggettivi, bensì dipendenti da qualificazioni e valutazioni compiute ora per allora, che – agendo retroattivamente – ledono i «principi di eguaglianza e ragionevolezza (…)»[vii]. Il ricorso discusso davanti al TAR Lazio il 5 settembre 2012[viii], è rigettato il 6 gennaio 2013. I giudici, però, non si pronunciano sul merito della questione. Il rigetto avviene per questioni di legittimazione dell’AIC – che, a detta dei giudici, non avrebbe tra i propri fini istituzionali la tutela degli interessi giuridici ed economici di categoria – e per un difetto di interesse ad agire dei suoi legali rappresentanti. Il Collegio giudicante rileva che la portata retroattiva dei provvedimenti che dettano i criteri per la valutazione e classificazione delle riviste non leda i legali rappresentanti AIC, visto che il danno si attualizzerebbe solo con una effettiva esclusione di uno dei due dalla nomina a componente della commissione di concorso. Come dire: sarà anche vero che criteri di valutazione che agiscono retroattivamente ledono un po’ di principi del diritto ma, se la cosa non vi danneggia personalmente, di che v’impicciate?

D’altro canto l’agenzia comincia la sua opera meritoria in condizioni gravi (anche se, direbbe Flaiano, non serie). L’anagrafe della ricerca delle Università italiane (una delle numerosissime arabe fenici di un ordinamento senz’altro incline al meraviglioso, al fantastico e al miracolistico) non c’è ancora[ix]. Tuttavia bisogna fare in fretta perché l’abilitazione nazionale è finalmente alle porte dopo 4 anni di blocco del reclutamento. La procedura di classificazione delle riviste scientifiche è dunque gestita mediante criteri a dir poco inusuali. Le liste-base sono costruite grazie alla buona volontà dei singoli ricercatori/professori che hanno inserito sul loro sito U-GOV (qualora l’Università ne sia dotata) le pubblicazioni, poi riversate nella rispettiva pagina CINECA. Il che – anche tralasciando le omissioni nel popolamento che portano alle esclusioni di numerose sedi editoriali e il fatto che riviste magari importantissime sono escluse perché magari nessun italiano vi ha scritto negli ultimi 10 anni – dà origine a liste evidentemente imperfette, con un numero pressoché incalcolabile di errori, doppioni, prodotti inseriti nelle classificazioni sbagliate.

Poco male. Tutto questo materiale grezzo sarà passato al vaglio dal ‘Gruppo di lavoro Riviste e libri scientifici’, di cui fanno parte professori ordinari in ruolo o fuori ruolo nominati dall’ANVUR e, di diritto, anche i membri del Consiglio Direttivo dell’ANVUR a loro volta nominati su proposta del Ministro con decreto del Presidente della Repubblica[x].

Qualcuno intravede in queste nuove forme di reclutamento il consolidarsi di nuovi gruppi di  potere, con componenti anche esterni all’università. Infatti, a far parte dell’organo ministeriale che detta le regole sono chiamati direttori e membri di comitati scientifici di riviste, alcuni dei quali entreranno anche a far parte di commissioni di concorso secondo regole che essi stessi hanno contribuito a determinare[xi]. Ma, pur tralasciando tali tesi cospirative, un problema non trascurabile è costituito dal fatto che, per quanto numeroso sia il gruppo dei saggi scelti dalla politica ministeriale, le discipline contenute in un’area CUN sono inevitabilmente di più e il livello di conoscenza specialistica richiesto da basi di dati così incomplete e imprecise dovrebbe essere, al contrario, preciso ed elevato. Tenuto conto della molteplicità dei settori concorsuali afferenti alle aree, i gruppi di lavoro vengono integrati. Essi possono inoltre avvalersi dei gruppi di esperti della Valutazione della Qualità della Ricerca (VQR) e delle società scientifiche nazionali. Tuttavia, non sono obbligati a farlo, né a tenere conto dei pareri eventualmente espressi. In un’ennesima ‘catastrofe annunciata’ all’italiana – poiché le aree CUN si compongono di decine di ambiti disciplinari e ancor più settori scientifici disciplinari, perché il metodo è quantomeno raffazzonato, perché è estate, perché si va di fretta, perché il compito è ciclopico – gli elenchi di riviste ‘aventi carattere di scientificità’ e di riviste di fascia A, con relative mediane per i settori non bibliometrici [xii], sono alla fine pubblicati. Il problema è che contengono numerosi e clamorosi svarioni, prontamente segnalati dalla stampa nazionale[xiii] e da osservatori internazionali[xiv]. E, inoltre, non riguardano tutte le aree.

Per l’area 12 (Scienze Giuridiche), il Gruppo di lavoro dichiara esplicitamente l’impossibilità di costruire la lista delle riviste necessaria al funzionamento della ‘terza mediana’. Pur tuttavia, il 23 novembre – quando i termini delle domande degli aspiranti commissari (28 agosto) e quelli dei candidati all’abilitazione scientifica (20 novembre)[xv] sono già chiusi – le fatidiche liste e la relativa mediana finalmente appaiono anche per quest’area[xvi].

Insomma parrebbe di poter dire che, anche se dopo lungo travaglio, le classificazioni, infine, ci sono. Contro di esse prendono posizione, anche molto duramente, le società scientifiche e autorevoli esponenti dell’accademia[xvii]. L’ANVUR chiarisce, eccepisce, obietta, si giustifica, e ammette che gli elenchi sono molto men che attendibili[xviii]. Il CUN argomenta che «le complessità intrinseche alla materia in oggetto hanno condotto, nell’urgenza del provvedere, all’adozione di soluzioni che soffrono di numerose debolezze procedurali e sostanziali» e che, pertanto, «si impone un ripensamento complessivo, atto a determinare per il futuro scelte maggiormente adeguate alla rilevanza della questione»[xix]. Il Tar del Lazio, infine, inaugura nell’ottobre 2012 una lunga serie d’interventi che vanno dall’annullamento della valutazione della Nuova Rivista Storica, «con conseguente annullamento delle valutazioni operate dall’ANVUR – gruppi di lavoro Area CUN 11 e Area CUN 14 – riviste e libri scientifici, pubblicate sul sito internet di ANVUR in data 6 settembre 2012» (6 febbraio 2103)[xx], fino all’ordine di riesame di Il Lavoro nella Giurisprudenza, Quaderni di Diritto del Lavoro e delle Relazioni Industriali, Il Diritto del Mercato del Lavoro, Rivista del Diritto della Sicurezza Sociale (19 aprile 2013)[xxi].

Ci piacerebbe poter affermare che i problemi siano solo e tutti qui. Per lo più le liste delle riviste di fascia A ci sono, è vero. Ma presentano lo spiacevole inconveniente di essere costantemente mutevoli, come in balia di un fatale principio di indeterminazione. È come se l’abilitazione funzionasse come una ‘macchina non banale’, concetto affascinante in cibernetica, e tuttavia terrificante in un procedimento pubblico. I candidati presentano curriculum e titoli. In ‘uscita’ questi ultimi – almeno quelli che determinano i valori della terza mediana – sono mutati in maniera non prevedibile perché la ‘macchina’ costituita congiuntamente dalle commissioni, dal ‘Gruppo di Lavoro Riviste e Libri Scientifici’ e dal Consiglio Direttivo ANVUR, «varia di continuo la regola di trasformazione»[xxii].

Ci spieghiamo meglio. Gli elenchi pubblicati in vista del bando ASN della prima tornata comprendevano ovviamente solo le riviste su cui avevano pubblicato gli studiosi italiani che avevano caricato le loro pubblicazioni sul sito docente del CINECA prima del 15 luglio 2012. Ma era inevitabile, e l’ANVUR ne era consapevole, che i candidati all’abilitazione avrebbero effettuato nuovi inserimenti. Così, scaduto il bando il 20 novembre 2012, tre mesi dopo – con la delibera n. 17 del 20/02/2013 – l’agenzia sostituisce ‘ai fini della abilitazione scientifica nazionale, le liste precedentemente approvate’ (con le delibere n. 67 del 23/08/2012 e n. 89 del 6/11/2012) con liste aggiornate e contenenti le riviste inserite nel sistema CINECA dai candidati[xxiii]. In breve, poiché la terza mediana è strutturalmente un indicatore costruito in base a criteri che cambiano retroattivamente la natura degli oggetti cui si riferiscono, è solo con questi nuovi elenchi e solo in corso d’opera che le commissioni ricevono informazioni sul superamento delle mediane. Il singolo candidato, invece, conoscerà la propria terza mediana soltanto a procedimento concluso. In più, mentre circa 9.000 nuovi titoli sono mescolati alle liste allegate alle delibere del 2012[xxiv], c’è anche un piccolo scandalo collaterale.

La revisione degli elenchi delle riviste scientifiche e di fascia A, pubblicata il 1 marzo scompare dopo poche ore senza alcuna spiegazione. Le liste rivedono la luce il 6 marzo. In questo apparire e sparire di documenti due riviste inizialmente apparse nella lista di classe A subiscono un ‘declassamento’ – Notiziario-Scuola archeologica italiana di Atene (Area 10) e Miscellanea Bibliothecae Apostolicae Vaticanae (Area 11) – mentre circa un centinaio di riviste di area 11,  12, 13 e 14 passano dalle classi inferiori in fascia A, con un ragguardevole record di 40 titoli in più nel settore concorsuale 14/A2[xxv].

E veniamo ora alla seconda tornata. La summenzionata Delibera ANVUR n. 17 del 20/02/2013 orienta le ‘previsioni’ dei candidati allo scadere del bando (31 ottobre 2013). Ma, nel febbraio 2014, infine, appare l’ultima (per ora) versione degli elenchi, che sostituisce, ai fini della abilitazione scientifica nazionale, le liste approvate e pubblicate in precedenza. Sono così aggiunte altre 2291 riviste derivanti dall’esame di 3329 nuovi titoli inseriti dai candidati alla seconda tornata di abilitazione[xxvi]. La terza mediana riprende il suo incessante movimento mentre i candidati sono ancora sub iudice. Saremmo nell’ordinaria amministrazione (se questo ordinario non fosse già assolutamente straordinario e stupefacente). Ma non è ancora finita. Nella medesima delibera, l’ANVUR infatti precisa ancora che:

Nel corso del 2013 è stata aperta una procedura che consente ai direttori delle riviste di chiedere la revisione del giudizio allo scopo di ottenere, rispettivamente, il riconoscimento di scientificità o la classe A. Sono state presentate istanze da 732 riviste; di queste 518 hanno fatto istanza di riconoscimento per la classe A in vari settori concorsuali, per un totale di 2112 istanze. Il tasso medio di accettazione della revisione in classe A si attesta al 12.4%, confermando la robustezza dei criteri di classificazione adottati dall’ANVUR e allo stesso tempo la apertura alla dinamica di miglioramento delle riviste[xxvii].

Nel 12,4% di tali 2112 istanze va, a quanto pare, ricompreso il magnifico accidente occorso al nostro numero 2-2012, anno XXXIV-Nuova Serie della rivista Comunicazioni Sociali. Un accidente che solleva seri dubbi circa la robustezza dei criteri di classificazione adottati dall’ANVUR, anche se rinfranca sull’apertura dell’Agenzia alla dinamica di miglioramento delle riviste. Ma è proprio su questo ultimo punto che permangono i più inquietanti misteri. Se la riclassificazione si riferisce a una ‘dinamica di miglioramento’, perché i suoi effetti si riflettono su un passato in cui la rivista non l’aveva ancora messa in atto? E, se invece, la riclassificazione riconosce un errore del passato, quale sarà la sorte di quei candidati alla prima tornata ASN, i cui articoli pubblicati sul medesimo numero della medesima rivista non siano stati riconosciuti come validi ai fini della terza mediana?

Qui non si è trattato semplicemente – come direbbero i costituzionalisti – ‘di far dipendere la valutazione della qualità della produzione scientifica da un elemento estrinseco definito ora per allora e con effetto retroattivo’, ma si crea addirittura un anello temporale. Sullo stesso numero della rivista hanno infatti pubblicato candidati che si sono presentati alle due differenti tornate di abilitazione. Poteva essere una cosa insignificante, poiché al tempo delle due diverse scadenze dei bandi (20 novembre 2012 e 31 ottobre 2013) la rivista era classificata semplicemente come ‘scientifica’. L’articolo del candidato che ha fatto domanda nel 2012, nel dicembre 2013 – quando i risultati sono stati pubblicati – non poteva essere ricompreso fra quelli utili a raggiungere la ‘terza mediana’ (e, per inciso, il candidato risultò ‘non abilitato’). Gli articoli dei candidati che hanno fatto domanda nel 2013, al contrario, sono stati utili in almeno un caso a superare la fatidica mediana (che, per inciso, era ancora quella determinata grazie a ‘popolamenti’ delle pagine docenti fermi a luglio 2012). In breve, la ‘revisione in classe A’ della rivista Comunicazioni Sociali – grazie alla pericolosa ma ormai inveterata abitudine di provocare cortocircuiti temporali mediante incursioni nel passato – ha creato due universi paralleli: uno in cui la rivista è solo ‘scientifica’ e uno in cui la medesima rivista, anzi lo stesso identico, singolo numero di quell’unica rivista, è anche ‘di fascia A’. Il numero di paradossi innescato da questo episodio è già notevole. Ma, ovviamente, il caso di Comunicazioni Sociali – e anzi del solo numero 2-2012, anno XXXIV-Nuova Serie – non è sicuramente isolato. Anzi.

A questo proposito, vorremmo fare un appello a tutti i partecipanti alla prima e seconda tornata, abilitati e non abilitati, perché scovino, in una sorta di gigantesco aguzza la vista, il maggior numero di casi analoghi (secondo i dati ANVUR le revisioni in classe A si attestano al 12.4% di 2112, dunque 262 riviste, per un n numero di articoli). E questo non solo per dar lavoro a frotte di logici e matematici, che potrebbero ripercorrere le orme di Russell nello studio delle proposizioni autocontraddittorie.

In realtà si tratta soprattutto di sollevare legittimi dubbi su tutto l’operato dell’Agenzia Nazionale per la Valutazione del sistema Universitario e della Ricerca.

Non ci stancheremo mai di ripetere che questa esperienza di classificazione delle riviste è stata pertinacemente condotta malgrado il fatto che alcune esperienze internazionali lo sconsigliassero[xxviii] e contro l’opinione prevalente a livello scientifico che le liste dotate di rating o le classifiche di riviste siano un cattivo strumento di valutazione[xxix]. Da una parte, queste soluzioni finiscono inevitabilmente per costituire roccaforti di potere accademico[xxx], dall’altra scatenano e alimentano comportamenti opportunistici[xxxi]. Ma, anche se ne volessimo sposare i principi, dovremmo tuttavia ammettere che la vicenda della ‘costruzione della fascia A’ si è rivelata una pessima prova tanto nei metodi quanto negli esiti. E, nondimeno, questo cumulo di errori, negligenze, superficialità, impudenze e cinismi, non ha leso in alcun modo coloro che se ne sono resi responsabili. Il che ci spinge a fare la vera domanda di questo articolo: perché i membri del consiglio direttivo ANVUR – che controllano l’accountability dell’intero universo dell’università e della ricerca – possono inanellare decine e decine di pessime figure, cattive prestazioni, veri e propri disastri, senza di fatto doverne renderne conto a nessuno?

^[i] https://www.roars.it/vqr-la-bibliometria-fai-da-te-dellanvur-12/; https://www.roars.it/vqr-la-bibliometria-fai-da-te-dellanvur-22/; https://www.roars.it/vqr-lo-famo-strano-le-copule-bibliometriche-dellanvur/; https://www.roars.it/perche-non-si-possono-usare-le-medie-dei-ranks-per-classificare-le-riviste-la-classifica-di-nonna-papera/

^[ii] https://www.roars.it/aspetti-critici-delluso-di-rankings-di-riviste-nelle-scienze-umane/; https://www.roars.it/riviste-umanistiche-ranking-e-rankling/; http://btfp.sp.unipi.it/?p=1938; https://www.roars.it/classificazione-riviste-esigiamo-trasparenza-lettera-aperta-al-presidente-dellanvur-e-al-presidente-del-gev-14/; https://www.roars.it/ancora-sulle-classifiche-di-riviste-con-una-domanda-sulle-abilitazioni/; https://www.roars.it/a-proposito-del-gev14-e-della-fairness-e-di-un-dilemma-etico-che-sta-sorgendo-tra-i-sociologi-e-di-un-modo-per-risolverlo/#more-9378;  https://www.roars.it/risposta-a-marco-santoro-della-vice-presidente-anvur-luisa-ribolzi/; http://perlasociologia.blogspot.it/2012/06/alcune-domande-alla-vice-presidente.html; https://www.roars.it/valutazione-della-ricerca-e-rankings-delle-riviste-giuridiche-nel-contesto-piu-ampio/

^[iii] https://www.roars.it/wp-content/uploads/2011/11/secolo-xix-29.7-II.pdf ; https://www.roars.it/ancora-sui-mutevoli-confini-della-mediocrita-luso-dei-percentili-nelle-classifiche-di-riviste-con-esempio-delle-riviste-storiche-del-gev13/

^[iv]https://www.roars.it/a-proposito-di-liste-e-rankings-di-riviste-nelle-scienze-umane/; https://www.roars.it/lanvur-e-la-valutazione-nelle-scienze-umane-e-sociali/; https://www.roars.it/a-che-punto-sono-le-abilitazioni-nazionali/

^[v] Dapprima  sono pubblicate le mediane (sia per i candidati commissari che per i candidati all’abilitazione) dei settori bibliometrici (13/08/2012); poi quelle dei settori non bibliometrici (24/08/2012); infine, entrambi questi documenti vengono smentiti con la pubblicazione di nuove liste “corrette” (27/08/2012, ossia il giorno precedente la chiusura delle domande per far parte delle commissioni), poi c’è un ulteriore chiarimento in settembre http://www.anvur.org/attachments/article/253/mediane_spiegate_definitivo_14_settembre_2012.pdf.

Vedi anche:  https://www.roars.it/de-trinitate/; https://www.roars.it/abilitazioni-e-mediane-anvur-dipaniamo-il-caos-strisciante/; https://www.roars.it/effetto-domino-le-mediane-di-borges/; https://www.roars.it/abilitazioni-le-mediane-di-barbapapa/; https://www.roars.it/alice-nel-paese-delle-mediane-non-bibliometriche/; https://www.roars.it/la-dodicesima-mediana/

^[vi] delibera di costituzione n. 55 del 03/07/2012; http://www.anvur.org/sites/anvur-miur/files/delibere/delibera55_12.pdf

^[vii] https://www.roars.it/laic-annuncia-limpugnazione-di-parte-del-decreto-abilitazioni/

^[viii] https://www.roars.it/il-tar-sulla-richiesta-di-sospensiva-avanzata-dalla-i-c/

^[ix] Istituita con l’art. 63 del D.P.R. n. 382/1980 (Riordinamento della docenza universitaria, relativa fascia di formazione nonché sperimentazione organizzativa e didattica), ma ad oggi non ancora operante.

^[x] delibera di costituzione dei Gruppi di lavoro Riviste e libri scientifici, n. 55 del 03/07/2012), art. 2 (http://www.anvur.org/sites/anvur-miur/files/delibere/delibera55_12.pdf)

^[xi] Cfr. https://www.roars.it/le-riviste-secondo-lanvur-tra-conflitti-dinteresse-e-grottesco/

^[xii]http://www.anvur.org/attachments/article/422/Delibera67_2012_08_23_mediane_settori_non_bibliometrici.pdf

^[xiii] da ROARS (Le riviste “scientifiche” dell’ANVUR: dal sacro al profano e dalle stelle alle stalle) e successivamente ripresi dal Corriere della Sera, con un articolo in prima pagina di Gianantonio Stella (Per giustificare le “riviste pazze” l’ANVUR paragona Suinicoltura al Caffè di Pietro Verri).

^[xiv] vedi ‘Times Higher Education’ (Listing wildly: anche Times Higher Education denuncia le liste pazze di ANVUR), probabilmente la più nota pubblicazione internazionale dedicata alla formazione universitaria.

^[xv] Alessandro Bellavista, ‘L’ineffabile terza mediana dell’ANVUR per l’area 12’, http://www.temilavoro.it/index.php/tml/article/view/35/pdf

^[xvi] https://www.roars.it/lapparizione-della-mediana-fantasma-anvur-pubblica-la-terza-mediana-dellarea-12/

^[xvii] https://www.roars.it/le-societa-disciplinari-sulle-liste-di-riviste-area-10-e-area-13/; https://www.roars.it/la-meritoria-opera-di-sfrondamento-chiarimenti-anvur-sulle-riviste-scientifiche/ https://www.roars.it/il-ranking-di-riviste-di-area-12-non-e-scientificamente-affidabile/; https://www.roars.it/asn-anvur-riserva-le-richieste-di-revisione-degli-elenchi-delle-riviste-a-terzi-ignari/

^[xviii]https://www.roars.it/la-meritoria-opera-di-sfrondamento-chiarimenti-anvur-sulle-riviste-scientifiche/; https://www.roars.it/anvur-cerca-di-far-luce-sulle-liste-di-riviste-pazze/

^[xix]https://www.roars.it/il-cun-su-scientificita-delle-riviste-e-commissari-ocse/

^[xx] https://www.roars.it/abilitazione-nazionale-sentenza-tar-sulle-riviste-tutto-da-rifare-per-le-aree-11-e-14/

^[xxi] https://www.roars.it/ordinanza-tar-sulle-riviste-di-diritto-del-lavoro-per-labilitazione/

^[xxii] Heinz von Foerster, Bernhard Pörksen, La verità è l’invenzione di un bugiardo. Colloqui per scettici, Meltemi, Roma, 2001, p. 53.

^[xxiii] La classificazione è a svolta con le stesse metodologie utilizzate in precedenza, dal Gruppo di Lavoro Riviste e Libri Scientifici e successivamente rivista e approvata dal Consiglio Direttivo. Nella integrazione delle liste sono effettuate anche alcune correzioni di errori documentati dal Gruppo di Lavoro Libri e Riviste Scientifiche, raccolti in istruttoria dal Direttore dell’ANVUR e riconosciuti come tali dal Consiglio Direttivo. http://www.anvur.org/attachments/article/254/area11_scientifiche.pdf

^[xxiv] http://www.anvur.org/attachments/article/254/area11_scientifiche.pdf

^[xxv]https://www.roars.it/le-abilitazioni-a-cucu-la-nuova-lista-non-ce-piu/; https://www.roars.it/abilitazioni-ecco-le-liste-last-minute-per-le-riviste-di-classe-a/

^[xxvi] http://www.anvur.org/attachments/article/254/Testo%20introduttivo.pdf

^[xxvii] http://www.anvur.org/attachments/article/254/Testo%20introduttivo.pdf

^[xxviii] https://www.roars.it/laccademia-australiana-delle-scienze-sulle-ragioni-che-sconsigliano-il-ricorso-a-rankings-di-riviste/; https://www.roars.it/qualcuno-ha-fatto-uso-di-classifiche-di-riviste/; https://www.roars.it/vqr-anvurleaks-il-complotto-australiano-la-maledizione-di-atuk-e-le-classifiche-di-pinocchio/

^[xxix] Francesco Guala, ‘Classificare le riviste: come, quando e perché’, Rassegna Italiana di Valutazione, 2011 Fascicolo: 51, Antonio Banfi. ‘Il resistibile fascino delle classifiche di riviste’, Rassegna Italiana di Valutazione, 2011 Fascicolo: 51; A. Banfi, ‘’Apples and oranges? Spunti per una discussione sulla valutazione della ricerca nelle scienze umane e sociali, Astrid Rassegna 161 (12/2012), Antonio Banfi, ‘Un caveat per apprendisti stregoni’, Astrid Rassegna 194 (1/2014).

^[xxx] Come scrive Guido Pescosolido «Quando lo Stato attribuisce a qualsiasi lista di riviste, anche la “migliore” scientificamente possibile, il potere di influire e decidere sugli esiti dell’esercizio di una funzione pubblica quale il reclutamento di docenti di ruolo delle università statali e di quelle private con finanziamento statale, esso rinuncia, in parte o in toto, ad una sua funzione pubblica fondamentale, affidandola a soggetti privati, portatori di interessi privati, anche semplicemente e brutalmente economici. E questo perché le riviste scientifiche, come è noto, sono, per lo più, frutto dell’iniziativa culturale di liberi studiosi, ma anche dell’iniziativa economica (e sottolineo economica) di editori, tutti rispettabilissimi, ma tutti, studiosi e editori, innegabilmente soggetti privati nel momento in cui producono una rivista che non sia di proprietà di un ateneo o di un istituto di ricerca; ma anche in questo caso i risvolti privatistici della rivista si potrebbero profilare ove essa fosse pubblicata e diffusa da un editore esterno» (https://www.roars.it/le-riviste-secondo-lanvur-tra-conflitti-dinteresse-e-grottesco/);https://www.roars.it/riviste-allindice-la-controriforma-dellanvur/;  https://www.roars.it/il-mercato-delle-riviste-scientifiche/

^[xxxi] http://www.corriere.it/cultura/12_aprile_26/maffettone-ranking-cura-peggiore-male_10687e30-8fa7-11e1-b563-5183986f349a.shtml; https://www.roars.it/limiti-e-pericoli-delle-classifiche-di-riviste/