“In tutte le aree c’è ricerca migliore e ricerca peggiore”: secondo Diego Marconi, questa è la prima di cinque fondamentali tesi che costituiscono la “cultura della valutazione”. Una cultura affascinante, come solo sa esserlo l’ignoto, se si deve giudicare dal suo articolo, Sulla valutazione della ricerca in area umanistica, e in particolare in filosofia, apparso sulla rivista scientifica Iride. Marconi invoca l’uso di indicatori oggettivi, ma fornisce una definizione palesemente errata dell’Impact Factor e confonde in più occasioni l’esercizio di valutazione inglese con quello australiano. Sebbene affronti argomenti che sono oggetto di studio da decenni, nessuna delle ventisette note cita pubblicazioni scientifiche. In compenso abbondano “la Repubblica”, “Il Sole-24 ore” e il “Corriere della Sera”. Tenta anche di convincere i suoi lettori che sia in qualche misura plausibile far ereditare ai singoli articoli la qualità della sede di pubblicazione, nonostante Iride sia ritenuta una rivista di qualità buona o ottima. L’articolo di Marconi è comunque degno di lettura come oggetto di studio, in quanto emblematico dell’arretratezza culturale che regna nel nostro paese riguardo a questa materia.

• Alessandro Dal Lago Premessa. La (s)valutazione della ricerca
  
• Valeria Pinto La valutazione come strumento di intelligence e tecnologia di governo
  
• Antonio Banfi, Giuseppe De Nicolao Valutare senza sapere. Come salvare la valutazione della ricerca in Italia da chi pretende di usarla senza conoscerla
  
• Claudio La Rocca Commisurare la ricerca. Piccola teleologia della neovalutazione
  
• Francesca Coin La valutazione dell’utilità e l’utilità della valutazione
  
• Francesco Sylos Labini Una nota su valutazione e conformismo
  
• Roberto Ciccarelli La bolla formativa è esplosa. Educazione, disciplinamento e crisi del soggetto imprenditore
  
• Massimiliano Nicoli Come le falene. Precarietà e pratica della filosofia

Per gentile concessione della rivista, in questo post riproduciamo  il contributo di Antonio Banfi e Giuseppe De Nicolao.

Valutare senza sapere.

Come salvare la valutazione della ricerca in Italia da chi pretende di usarla senza conoscerla

Università e ricerca pubblica (ma anche privata) sono considerate da molti come un elemento chiave nello sviluppo economico e civile di un paese. Da un canto, paesi che non sono più in grado di competere in termini di semplice forza-lavoro a basso costo necessitano di riorientarsi verso produzioni ad alto contenuto tecnologico e occupazioni altamente qualificate.[1] Dall’altro, vi è un certo consenso – e a chi scrive l’ipotesi pare del tutto ragionevole – intorno all’idea che la disseminazione di conoscenza produca benefici non immediatamente quantificabili dal punto di vista economico, ma comunque rilevanti per quanto riguarda il benessere complessivo della società, non esclusa la solidità dell’organizzazione politica, la coesione sociale, i fondamenti democratici dell’ordinamento.[2] Da questo punto di vista, l’Italia si sta purtroppo muovendo in controtendenza: le politiche pubbliche degli ultimi anni paiono orientate verso il disinvestimento dal settore della formazione (non solo terziaria) e della ricerca. Basti pensare che fra il 2008 e il 2009, quando già la crisi finanziaria tuttora in corso faceva sentire i suoi effetti, di 31 nazioni monitorate dall’OCSE, 24 provvedevano a incrementare la spesa per la formazione, mentre l’Italia la riduceva, risultando la nazione che esercitava maggiori tagli dopo l’Estonia.[3] Sono sempre le statistiche OCSE [4] a dirci che su 37 paesi esaminati ci collochiamo al trentaduesimo posto quanto a spesa per l’università in percentuale sul PIL. In realtà il disinvestimento (o il mancato investimento) non riguarda solo il settore pubblico, ma coinvolge anche quello privato. Infatti, ancora i dati OCSE [5] ci informano che siamo ultimi (su 22) quanto a spesa per ricerca e sviluppo da parte delle imprese in percentuale sul PIL e ultimi (su 20) quanto a numero di ricercatori nelle imprese rispetto al numero totale degli occupati.

Sui motivi di questo comportamento tutto sommato anomalo ci sarebbe molto da dire, ma non rientra nello scopo di queste pagine investigare un tema tanto complesso. È ragionevole supporre che alcune campagne di stampa che hanno dipinto l’università italiana come un’improduttiva sentina di corruttele, la diffusione di dati non corretti o incompleti da parte di alcuni accademici italiani non sempre disinteressati e la miopia della cosiddetta classe politica non abbiano aiutato a porre rimedio a un macroscopico sottofinanziamento. Il quadro di sistematica denigrazione del sistema italiano dell’università e della ricerca [6] merita di essere ricordato, perché contribuisce a spiegare molte delle difficoltà che sta incontrando l’introduzione nel nostro paese della cosiddetta “cultura della valutazione”. Infatti, nonostante i dati a disposizione indichino un piazzamento tutt’altro che indecoroso dell’università italiana nella competizione globale per la ricerca,[7] la messa in opera dell’Agenzia nazionale di valutazione (ANVUR) con la legge 240/2010 è avvenuta in un clima punitivo che ha contribuito sia a distorcere l’azione dell’Agenzia – che già nasceva male, a causa di errori di progettazione e della sua mancata indipendenza dal potere esecutivo [8] –, sia a suscitare fortissime polemiche sul suo a dir poco discutibile operato.

Più in generale, si può dire che in Italia la scelta del legislatore di adottare pervasivi sistemi di valutazione (della didattica, della ricerca ecc.) e l’attuazione delle relative disposizioni previste dalla legge 240/2010, è avvenuta in un clima di scontro ideologico, aggravato dalla profonda ignoranza – persino da parte dell’Agenzia e di larga parte dei suoi collaboratori – della letteratura scientifica in materia e dei dati scientometrici disponibili.[9] Chi scrive è convinto che abbia ogni ragione Sabino Cassese nel rilevare i difetti strutturali del sistema che si è venuto sin qui costruendo: non solo perché fragile e frutto di cattiva regolazione, ma anche perché potenzialmente nocivo per lo sviluppo della ricerca scientifica nel paese.[10] Se si vuole rendere efficaci i meccanismi di valutazione, è urgente ripristinare un autentico dibattito scientifico su questi temi, depurato dagli slogan giornalistici e dalle semplificazioni che ci hanno afflitto negli ultimi anni. Vogliamo parlare di “cultura della valutazione”? E allora che cultura sia.

Tutto ciò premesso, pare degno di nota l’articolo di Diego Marconi recentemente pubblicato su “Iride” intitolato Sulla valutazione della ricerca in area umanistica, e in particolare in filosofia,[11] e ciò per due ragioni. In primo luogo, perché Marconi, che pure non lo rivela (come sarebbe stato opportuno), è un cosiddetto “esperto di valutazione”,[12] ossia un collaboratore dell’ANVUR: è lecito dunque supporre che le tesi espresse da Marconi riflettano almeno in parte gli orientamenti dell’Agenzia stessa. In secondo luogo, perché tali tesi e il modo in cui sono espresse dovrebbero costituire fondato motivo di allarme per le comunità scientifiche: l’uso disinvolto dei dati, l’assenza di qualsiasi riferimento alla letteratura scientometrica internazionale, ripetuti errori materiali mettono in dubbio ictu oculi la stessa natura di “pubblicazione scientifica” dello scritto di Marconi che, a parere di chi scrive, rimane debole anche se giudicato con il metro più indulgente che si è soliti riservare alle pubblicazioni meramente divulgative. Mentre avremmo bisogno che in Italia si diffonda una seria cultura della valutazione, Marconi affronta, con piglio giornalistico e senza fare riferimento alla letteratura esistente, argomenti che, pur controversi, sono oggetto di studio da decenni: delle ventisette note che corredano il suo scritto, nessuna contiene riferimenti a pubblicazioni scientifiche. In compenso abbondano le citazioni da “la Repubblica”, “Il Sole-24 ore” e il “Corriere della Sera”. I capitoli dedicati alla valutazione delle scienze umane e sociali del notissimo manuale di Moed non sono neanche menzionati.[13] Che su una rivista scientifica si scriva di scientometria in modo impreciso e superficiale non aiuta certo la crescita culturale dell’accademia italiana, ma, nonostante la sua irrilevanza scientifica, lo scritto di Marconi è comunque degno di lettura come oggetto di studio, in quanto esemplifica vari aspetti dell’arretratezza culturale che regna nel nostro paese riguardo a queste materie.

Come già si è potuto riscontrare in altre occasioni, ottimi studiosi nelle loro discipline, e Marconi è indubbiamente fra questi, si sono trasformati in cattivi esperti di valutazione. È certo vero che in Italia non esiste tradizione alcuna in materia di studi scientometrici e che sono molto pochi gli studiosi italiani che se ne occupano con visibilità internazionale. A maggior ragione, chi muove i primi passi sull’insidioso terreno della valutazione non può esimersi dal confronto serrato con i dati e la letteratura, cosa che ci sforzeremo di fare lungo tutta la nostra disamina dei ragionamenti di Marconi, nella convinzione che un franco confronto possa solo portare benefici alla cultura italiana della valutazione. Solo un’ultima considerazione: chi scrive non è un filosofo e non ha alcuna pretesa di intervenire nel dibattito sollevato da Marconi sull’impatto e sull’internazionalizzazione della ricerca filosofica italiana. Affronteremo la questione secondo la più ampia prospettiva della valutazione della ricerca nelle scienze umane e sociali (d’ora in poi: HSS).

1. Le premesse fallaci non sono un buon viatico

Gli esercizi nazionali di valutazione della ricerca si affermano, com’è noto, nell’Inghilterra Tory di Margaret Thatcher, quando divenne di senso comune l’idea che l’università, finanziata dalla fiscalità generale e dunque dai taxpayers, dovesse svolgere una funzione di pubblica utilità: diffondere efficacemente formazione e assicurare ricerca negli ambiti strategicamente rilevanti per l’interesse nazionale (specialmente scienze biomediche e ingegneria).[14] L’accademia è sempre stata un luogo competitivo, i cui membri si valutano a vicenda. La novità della valutazione centralizzata della ricerca è data dal fatto che essa sfugge all’autoreferenzialità del mondo accademico, per guidare l’allocazione dei fondi da parte del decisore pubblico: il danaro deve essere indirizzato là dove assicura migliori frutti. L’esercizio di valutazione della ricerca gestito dall’ANVUR, noto come VQR (Valutazione della qualità della ricerca), nasce proprio sulla falsariga di analoghi esercizi britannici (il RAE/ REF). Un esercizio di valutazione mira a ricavare dati dal contesto e ad analizzarli per trarne un quadro utile per il decisore pubblico: si tratta dunque di un’operazione delicata, che dovrebbe essere condotta in modo freddo, scevro di pregiudizi e condizionamenti ideologici. Al di là degli errori di progettazione che la caratterizzano, il principale difetto della VQR è dato proprio dal fatto che l’esercizio è stato da molti concepito non come ausilio al decisore, ma come strumento punitivo per fare giustizia di un’università dipinta come malata e improduttiva. Lo stesso Marconi sostiene che la situazione della ricerca scientifica in Italia (e in altri paesi dell’Europa continentale) non è “felice”.[15] Come dimostra tale affermazione? Attraverso il ricorso ai ranking di atenei, in particolare quelli di Shanghai (ARWU), del “Times Higher Education” (THE) e di Quacquarelli Symonds (QS). Marconi definisce tali liste come “graduatorie di qualità” delle università.

Dunque, benché università e ricerca non siano sinonimi, Marconi trae conclusioni sulla situazione non felice della ricerca italiana sulla base di classifiche di università, che collocano gli atenei italiani in posizioni non apicali. Classifiche che egli stesso riconosce fondate su parametri talvolta “discutibili”, ma che in ogni caso fornirebbero “l’evidenza di una posizione non proprio invidiabile dell’università italiana”.[16] Al di là dell’irrisolta confusione concettuale fra università e ricerca, Marconi ignora alcuni aspetti essenziali delle classifiche che cita. In primo luogo, esse non intendono misurare la qualità della ricerca prodotta, ma sono costruite sulla base di una varietà di parametri, all’interno dei quali la ricerca ha un peso solo parziale.[17] Marconi ritiene che le critiche mosse alle classifiche di atenei derivino dall’intento di alcuni di opporsi alle manovre di una misteriosa “lobby anglofona” che le condizionerebbe. [18] Un’idea un po’ strana e forse semplicistica. In realtà, un recente documento promosso dalla Commissione europea ricorda che:

I ranking delle università ignorano la diversità delle istituzioni di istruzione superiore e della ricerca […], usano le medie degli indicatori e le unificano in un singolo numero, ignorando che sono relative a dimensioni diverse e usano talvolta scale diverse, […] sono presentati come classifiche, attribuendo a ogni istituzione, almeno quelle tra le prime 50, posizioni uniche, suggerendo che tutte le differenze negli indicatori sono valide e di peso uguale, usano dati bibliometrici, ignorando che le pubblicazioni internazionali disponibili e i database delle citazioni riguardano prevalentemente articoli scientifici soggetti a peer review, mentre quel tipo di comunicazione scientifica è prevalente solo in un ambito ristretto di discipline (in gran parte scienze della natura e alcuni settori della medicina), ma non in molti altri […]. In molti casi gli utenti non possono ottenere le informazioni necessarie per comprendere come i ranking sono stati costruiti; inoltre, soprattutto gli editori commerciali di ranking sono stati accusati di cambiare le loro metodologie per modificare le classifiche dei primi dieci posti, allo scopo di promuovere le vendite, invece di occuparsi della stabilità e della comparabilità dei ranking di anno in anno. [19]

Gli autori del rapporto U-Multirank, dopo aver ricordato puntualmente i difetti dei ranking esistenti, hanno esaminato i potenziali effetti nefasti di tali classificazioni, affermando in conclusione che

gran parte degli effetti discussi sopra sono piuttosto negativi per gli studiosi, per le istituzioni e per il settore dell’istruzione superiore in generale. Il problema non consiste tanto nell’esistenza delle classifiche in quanto tali, ma piuttosto nel fatto che quelle esistenti sono difettose e creano incentivi negativi [20]

Peraltro, non è questa la sola voce critica levatasi negli ultimi anni circa le classifiche degli atenei. Van Raan, fin dalla nascita della classifica ARWU, ne ha messo in discussione l’attendibilità sul piano bibliometrico, affermando che essa non dovrebbe essere utilizzata per la valutazione, “nemmeno ai fini di una metodologia comparativa”,[21] ed è stato seguito da molti altri;[22] recentemente Billaut, Bouyssou e Vincke si sono così espressi in merito alla classifica dell’Università di Shangai:

Una visione ottimistica delle cose vorrebbe che, dopo aver letto il nostro articolo, i responsabili della classifica decidessero di fermarsi immediatamente, scusandosi per aver prodotto tanta confusione nel mondo accademico, e che i decisori politici smettessero di usare “classifiche internazionali molto note” come strumenti per promuovere i propri obiettivi strategici.[23]

Billaut e coautori concludono il loro scritto con un monito che ci sentiamo di condividere:

Smettiamola di fare gli ingenui.

Anche il Rapporto EUA 2011 afferma che allo stato è difficile sostenere che i benefici derivanti dalle informazioni fornite dai ranking, al pari dell’aumentata trasparenza che essi comportano, siano maggiori degli effetti negativi derivanti dalle cosiddette “conseguenze perverse” dei ranking.[24]

In effetti, non è solo il ranking ARWU a essersi rivelato discutibile. La classifica del “Times Higher Education” è incorsa non molto tempo fa in un increscioso infortunio, che, se non altro, ha svelato il suo grado di affidabilità: nel 2010 l’Università di Alessandria d’Egitto si è collocata al quarto posto (sic!), preceduta solo da Caltech, MIT e Princeton per impatto scientifico (cioè per le citazioni ottenute). Peccato che lo straordinario risultato, accompagnato dalle congratulazioni degli autori della classifica, fosse dovuto all’anomala produzione scientifica di un solo ricercatore (Mohamed El Naschie), che già nel 2008 era stato segnalato da “Nature” per aver gonfiato i propri indici di impatto grazie a centinaia di pubblicazioni apparse su una rivista diretta da lui stesso.[25] Inutile dire che grazie a questo tipo di espedienti era salito anche l’impact factor della rivista, sebbene gli esperti del settore non la collocassero tra le riviste d’“eccellenza”.[26]

Non si può sostenere che la situazione della ricerca in Italia e in Europa continentale sia “infelice”, come pretende Marconi, in base a dati non affidabili e aggregati in modo discutibile. Chi ha analizzato la robustezza statistica delle classifiche internazionali degli atenei è alquanto scettico sulla loro affidabilità.[27] Come reazione alla proliferazione incontrollata delle classifiche degli atenei, l’Institute for Higher Education Policy (Washington) e l’UNESCO European Centre for Higher Education (UNESCO-CEPES) hanno fondato l’International Ranking Expert Group (IREG), che nel 2006 ha pubblicato i cosiddetti Berlin Principles, un elenco di sedici requisiti che dovrebbero essere soddisfatti da una classifica che voglia essere di qualità. Tutte le classifiche in circolazione violano in maniera più o meno estesa i Berlin Principles. Quando si è provato a valutare la soddisfazione dei Berlin Principles usando una scala da 1 (nessuna congruenza) a 5 (congruenza eccellente), su 25 classifiche ne sono state trovate 13 che non raggiungevano nemmeno il 3 (congruenza accettabile), tra cui anche la classifica THE-QS, allora ancora unificata, che otteneva un misero 2.25, molto vicino al 2 (congruenza scarsa).[28] Nel dicembre 2011, l’IREG ha reso nota la possibilità di ottenere una certificazione di qualità “IREG approved” per le classifiche che si fossero sottoposte a una procedura di audit basata sui Berlin Principles.[29] A oggi, non risulta che nessuna classifica internazionale abbia conseguito tale certificazione.[30]

In ogni caso, anche a voler prestare credito ai ranking, va tenuto presente che le classifiche elencano le prime 500 università al mondo, su un numero complessivo stimato fra gli 11.000 e i 20.000 atenei.[31] Ciò significa che il fatto stesso di entrare in classifica corrisponde a un piazzamento compreso fra il top 5% e il top 2,5%. Un’analisi dei dati disponibili per il 2009, rivela che il numero di atenei italiani che entrano in classifica oscilla fra il 18,2% (classifica THE-QS) e il 37,7% (Taiwan). Nel caso del Regno Unito, unanimemente ritenuto sede dell’eccellenza mondiale in ambito accademico, si va dal 31,6% (Taiwan) al 42,7% (THE-QS).[32] Inoltre, l’analisi delle classifiche internazionali dimostra che i punti di debolezza del sistema italiano non risiedono nella ricerca, ma in fattori fortemente influenzati dalle risorse disponibili, quali la bassa internazionalizzazione di studenti e docenti e il rapporto numerico troppo basso fra docenti e studenti.[33]

In ogni caso, l’inadeguatezza dell’uso delle classifiche degli atenei per confrontare la produttività scientifica delle nazioni era stata sottolineata già nel 2004 in un famoso articolo apparso su “Nature”.[34] Se, seguendo le raccomandazioni di David King, si adotta un metodo più scientifico, basato sui dati bibliometrici aggregati, ci si accorge che l’Italia si colloca al settimo posto al mondo per impatto citazionale (1996-2011) [35] e all’ottavo per produzione di articoli (2007).[36] Un risultato per nulla disprezzabile, soprattutto se si considera che l’Italia staziona nelle posizioni di coda nella già ricordata classifica OCSE per spesa universitaria.

Va anche detto che la premessa sulla situazione “infelice” della ricerca nell’Europa continentale da cui muovono i ragionamenti di Marconi, oltre che fondarsi su basi (le classifiche degli atenei) che una volta sottoposte ad analisi approfondita si rivelano tutt’altro che solide, soffre di un problema ancora più grave. Egli dichiara di volersi occupare di ricerca umanistica, ma né le classifiche internazionali, né le elaborazioni SCImago rendono in alcun modo conto della “qualità” della ricerca umanistica, poiché si fondano su dati bibliometrici che – com’è noto – non sono disponibili per la stragrande maggioranza delle scienze umane. È del tutto paradossale che si pretenda di ricavare informazioni da fonti che sono per loro natura mute in materia di scienze umane. Del resto, chiunque conosca anche solo superficialmente la materia sa benissimo che esistono due semplici soluzioni per scalare posizioni nelle classifiche internazionali degli atenei: in primo luogo accorpare gli atenei e creare aggregazioni (di norma, le classifiche risentono fortemente della dimensione di un ateneo) e in secondo luogo togliere risorse alle scienze umane per foraggiare discipline suscettibili di misurazioni bibliometriche.[37] Chiudere tutti i dipartimenti di filosofia d’Italia e assegnare i fondi risparmiati alle scienze biomediche consentirebbe di scalare qualche posizione nelle classifiche che sono care a Marconi. La verità, purtroppo, è che, allo stato, non è possibile esprimersi “oggettivamente” sulla qualità della ricerca umanistica italiana. Bisogna rassegnarsi a una più onesta soggettività, senza pretendere di consolidare le proprie opinioni con dati non pertinenti.

2. Soluzioni degne delle premesse

“In tutte le aree c’è ricerca migliore e ricerca peggiore”,[38] scrive Marconi, in accanita competizione con Monsieur de Lapalisse. Da questa importante premessa derivano alcuni corollari, ossia che la distribuzione delle risorse deve rispecchiare la qualità della ricerca in modo il più possibile oggettivo. Il problema, secondo Marconi, è da individuare nell’oggettività degli strumenti di valutazione, tanto più che non è possibile far ricorso, per le scienze umane e sociali, all’Impact Factor (IF).[39] È di per sé significativo che a essere citato come strumento “oggettivo”, benché disgraziatamente inutilizzabile, sia proprio il più screditato fra gli indici bibliometrici, oggetto negli ultimi anni di innumerevoli critiche per la facilità con cui può essere artificialmente gonfiato attraverso comportamenti abusivi.[40] Ed è non meno significativo che Marconi consideri come riferimento un indicatore di cui fornisce una definizione palesemente errata.[41] Comunque sia, secondo Marconi il problema delle HSS italiane è essenzialmente quello di allinearsi agli standard internazionali, ossia quelli fissati dalla “comunità scientifica egemonica”: quella anglofona.

Abbiamo qualche perplessità anche su questo punto: è ovvio che – salvo alcune eccezioni comunque rilevanti – la lingua veicolare è ovviamente l’inglese, e che una maggiore produzione in lingua inglese contribuirebbe ad accrescere l’impatto (non la qualità, sia detto per inciso) della produzione scientifica italiana di area umanistica. Quello che sfugge è quali siano questi standard egemonici, che non vengono in alcun modo definiti, se non per negazione, ossia in opposizione ai localismi italiani e a cattive pratiche di valutazione per le quali, stando a un articolo del “Sole-24 ore” ripreso verbatim da Marconi, “ricercatori pochissimo citati […] sono valutati come migliori di ricercatori noti a livello internazionale”.[42] A proposito di citazioni e di autori pochissimo citati, l’autore del pezzo sul “Sole”, e lo stesso Marconi che se ne fa megafono, probabilmente ignorano che sul database Scopus l’h-index di Charles K. Kao è pari a 1, quello di George E. Smith è pari a 5, mentre quello di Willard S. Boyle è pari a 7. Ciò significa, per esempio, che Boyle ha solo 7 articoli che hanno ricevuto 7 o più citazioni ciascuno, mentre Smith ha solo 5 articoli che hanno ricevuto 5 o più citazioni ciascuno e così via. Ebbene, questi studiosi hanno ricevuto il premio Nobel per la fisica nel 2009. Leonid Hurwicz (Nobel per l’economia 2007) ha un h-index = 7. Grigorij Perelman, che ha vinto la medaglia Fields nel 2006 per aver risolto la congettura di Poincaré, ha un h-index = 1.[43]

Non si può che essere d’accordo sul fatto che localismo e autoreferenzialità siano caratteristiche negative che l’accademia italiana dovrebbe cercare di combattere. Siamo convinti che l’adozione della lingua inglese e di sedi di pubblicazione estere potrebbe contribuire a una maggiore circolazione dei prodotti di ricerca italiani, che, anche se di buona qualità, rischierebbero altrimenti di trovarsi confinati sul suolo nazionale e di non essere conosciuti come meritano. Tutto ciò, va detto ancora una volta, prescinde da ogni considerazione sulla qualità della produzione scientifica, che può essere apprezzata solo attraverso la lettura dei pari (peer review). Non esistono metodi automatici di misurazione di qualità e non esistono lingue di qualità. Esiste un problema di impatto, questo sì, e su questo bisogna ragionare, senza mescolare indebitamente le due cose. Per molte aree disciplinari è del tutto sensato che la ricerca scientifica italiana si faccia sentire e apprezzare facendosi conoscere in altre sedi, conformandosi in questo modo alle migliori pratiche internazionali. Non sempre, però, e ancora una volta occorre mettere in guardia dagli automatismi. Fatichiamo a immaginare, per esempio, un commento in inglese alla legge Fornero. Ci sono ambiti scientifici che sono per loro natura prevalentemente locali (un fenomeno frequente in parte delle scienze giuridiche), e altri per i quali l’italiano rimane la lingua di riferimento (per esempio l’italianistica).

Torniamo però al problema della misurazione della qualità e della valutazione delle scienze umane e sociali. Con apprezzabile sincerità, Marconi si professa inesperto di bibliometria: in effetti, oltre a sbagliare la definizione dell’IF, confonde in più occasioni l’esercizio di valutazione britannico (RAE/REF) con quello australiano (ERA).[44] Ma, come nel caso dell’IF, ne subisce il fascino. Ignorando la letteratura in materia di misurazione quantitativa delle HSS[45] e più in generale la letteratura bibliometrica, Marconi finisce per produrre una serie di paralogismi. Ci pare che la sua tesi possa essere ricostruita in questo modo: la peer review resa da valutatori diviene inutile se un prodotto è stato pubblicato su una rivista “selettiva”. Basta infatti la selezione esercitata a monte dalla rivista “eccellente” per assicurare con buon margine di certezza la qualità del prodotto, mentre la peer review dei valutatori finisce per essere utile sostanzialmente solo per riesaminare prodotti collocati in sedi “mediocri o marginali”.[46] Inoltre, procede Marconi, la sede di pubblicazione deve essere tenuta in conto perché altrimenti si applicherebbe un meccanismo di valutazione “regressivo e iniquo” che non premia lo sforzo profuso dal ricercatore per pubblicare in sedi di eccellenza, per non dire le “ferite dell’io” inflitte dai revisori. Confessiamo di non capire: il lettore credeva si discutesse di qualità della ricerca, non di equità e morale. Comunque, prosegue Marconi, siccome non è possibile ricorrere su larghissima scala alla peer review, poiché essa è troppo onerosa, occorre approntare altri strumenti di valutazione. Quali? Classifiche di riviste, in primo luogo, sulla falsariga del ranking ERIH. Disgraziatamente, osserva Marconi, tali classifiche – incluse quelle proposte dall’ANVUR – hanno prodotto infinite polemiche perché, secondo lui, violano “un’etichetta accademica che vuole che le gerarchie esistano, ma non sia buona educazione renderle esplicite”.[47]

Polemiche pretestuose, insomma, liquidate sbrigativamente da Marconi senza degnarsi di citare un solo riferimento scientifico tra le centinaia disponibili in materia di ranking di riviste. Inoltre, egli continua, molti hanno difeso la reputazione delle loro riviste sostenendo di applicare rigorose procedure di peer review. Ma non basta, ammonisce Marconi: la peer review è indice di serietà, non di qualità.[48] A questo punto il lettore comincia a essere seriamente perplesso: non si era detto che era inutile valutare con peer review dei prodotti già pubblicati su sedi che svolgono accurata revisione dei prodotti sottoposti? No, non basta. E non basta neppure che una rivista sia censita in ISI: sarà seria, ma non è detto che sia buona. Qual è allora la differenza fra una rivista seria e una buona? Marconi non definisce questi “parametri”, né le loro eventuali correlazioni, e dunque è difficile rispondere. Resta l’altra questione: che cosa ha a che fare tutto questo guazzabuglio con la valutazione della ricerca? Marconi ha una risposta: si può ricavare il tasso di “bontà” di una rivista dal numero di articoli che rifiuta (il rejection rate). Un vero uovo di Colombo: se una rivista rifiuta una percentuale di contributi n volte maggiore di un’altra, significa che sarà n volte più selettiva e quindi n volte migliore. Finalmente cominciamo a capire: buono o migliore equivale a più selettivo, e non coincide necessariamente con serio. Tuttavia, si duole Marconi, non sembra facile utilizzare il rejection rate come parametro di valutazione, perché molte riviste non lo rendono noto. Vero, e c’è anche un perché. Il rejection rate o “tasso di rifiuto” è un criterio di “qualità” talmente manipolabile da essere stato impietosamente ridicolizzato: qualche buontempone si è inventato il “Journal of Universal Rejection”, che invita a inviare contributi con questa motivazione: “Potrete dire di aver sottoposto il vostro lavoro alla rivista più prestigiosa (che vi ha giudicato in base al tasso di accettazione)”.[49]

Più seriamente, è ben noto che il tasso di accettazione di una rivista è un dato poco verificabile (nessuna rivista pubblica l’elenco dei papers respinti) ed è facilmente manipolabile: basta che fra gli esiti della revisione sia inserita la voce “respinto con l’invito a sottoporlo di nuovo” per aumentare il tasso di rifiuto. A proposito di rejection rate, Macdonald e Kam hanno ironicamente affermato:

Solo i guastafeste osserveranno che quanto più i ricercatori sono invitati a sottoporre i loro articoli a riviste di qualità, tanto più alto sarà il tasso di rifiuto di queste riviste, il che porterà a un aumento della loro qualità, ma anche a un maggiore incentivo a sottoporre articoli, e quindi a un tasso ancora più alto di rifiuto, e a maggiore qualità.[50]

Al di là del tasso di rifiuto, le stesse classifiche di riviste cristallizzano la situazione di un dato momento storico, mentre i dati citazionali sono in continuo movimento, parallelamente all’evolvere dell’attività scientifica.[51] Marconi auspica anche la costruzione di classifiche su base citazionale:[52] eppure i ranking vengono rivisti a distanza di molti mesi; perché adottare uno strumento che per la sua intrinseca natura comporta un ritardo maggiore nell’aggiornamento dei dati di quello pur già rilevante, proprio dei database citazionali? Liste di riviste di questo genere non fotografano la situazione attuale, ma quella del passato.[53] Ciò nonostante esercitano un effetto performativo,[54] inducendo i ricercatori a comportamenti che confermano le liste stesse: come una macchina del tempo, le liste di riviste trasformano il passato in presente attraverso un meccanismo che si autoriproduce. Ciò significa che le liste agiscono da moltiplicatore dei ben noti difetti degli indici citazionali. In altre parole, la presenza di una lista di riviste organizzata in classifica sulla base di parametri bibliometrici indurrà i ricercatori a cercare di collocare i propri prodotti sulle riviste “top”, spingendoli a compiacere gli editor di quelle riviste con riguardo sia alla metodologia adottata, sia al filone di ricerca prescelto, con l’effetto di potenziare l’effetto San Matteo.[55] A meno di eventi straordinari le riviste “top” resteranno tali, godendo di una rendita di posizione determinata dai comportamenti degli stessi studiosi.

Ma veniamo all’analisi citazionale. Ancora una volta Marconi evita che il suo approccio amatoriale venga contaminato dalla conoscenza della letteratura scientifica: difende l’uso di Publish or Perish (basato sui dati di Google Scholar) come utile base dati, anche perché non limitata ai soli articoli su rivista, e ne raccomanda l’uso per l’analisi citazionale, purché accompagnato da opportuni “fattori di correzione” per neutralizzare le differenze disciplinari e – a suo dire – per far salva la ricerca interdisciplinare. Non intendiamo qui entrare nel merito dell’ampio dibattito – diffuso anche fra le scienze dure – intorno ai pro e contro dell’analisi citazionale per se. Ci limitiamo solo a osservare quanto segue: Marconi ha ragione quando osserva che non vi sono ostacoli di principio nell’applicazione di misurazioni bibliometriche alle scienze umane e sociali. Tutto si può misurare. Ed è anche vero che l’obiezione secondo la quale alcune aree non sarebbero sottoponibili a tali analisi a causa della forte presenza di citazioni critiche o negative, è di per sé debole. Marconi però trascura le critiche più significative e aggiunge un paralogismo. Secondo il nostro “esperto di valutazione” è del tutto naturale che l’analisi citazionale premi le pubblicazioni in determinate sedi editoriali: “L’incremento delle citazioni è un giusto premio alla pubblicazione in una sede di eccellenza”. Assistiamo così alla trasformazione dell’analisi citazionale da parametro cosiddetto “oggettivo” a “premio” per la pubblicazione in determinate sedi.

Qui emerge in realtà l’argomento centrale dell’articolo di Marconi: bisogna premiare chi pubblica in certe sedi e punire – o almeno non premiare – chi pubblica altrove. Infatti, se si pubblica su certe riviste si scrivono articoli non solo seri, ma “di qualità”. Insomma, la qualità è una caratteristica intrinseca di alcune riviste o collane, anche se non si capisce bene come esse possano essere identificate, né cosa viene prima e cosa dopo, in un circolo vizioso senza fine.[56]

In secondo luogo, va ricordato per l’ennesima volta che Google Scholar (GS) non è una base dati utilizzabile per analisi bibliometriche scientificamente valide. Infatti Google non rende noti né gli algoritmi impiegati né la copertura della banca dati.[57] Inoltre GS ha un tasso di errori estremamente elevato nella procedura di identificazione degli autori e, anche se Marconi afferma di non saperne nulla, la manipolabilità dei risultati è stata ampiamente dimostrata.[58] Basti pensare al caso segnalato da Labbé, che è riuscito a creare dal nulla una star scientifica fasulla, di nome Ike Antkare, con un h-index stellare pari a 94 (quello di Einstein sarebbe 84), ma interamente costruito su paper fasulli generati con un software automatico.

Come ha scritto Labbé, “una distorsione di questo tipo potrebbe essere ottenuta facilmente usando i nomi di persone esistenti, con il risultato di gonfiarne la produzione scientifica o di screditarle”.[59] Ancora più di recente, alcuni ricercatori spagnoli hanno potuto dimostrare nel dettaglio come sia semplice alterare i dati e gli indicatori bibliometrici di Google Scholar. Le loro conclusioni sono queste:

È così facile manipolare il calcolo delle citazioni su Google Scholar che chiunque può emulare Ike Antkare e diventare il ricercatore più produttivo e influente nella sua specialità. […] Questi prodotti liberi e accessibili non solo risvegliano il Narciso che è nei ricercatori, ma possono favorire attive pratiche allo scopo di manipolare l’orientamento e il significato dei numeri come conseguenza della pressione sempre più forte a pubblicare, alimentata dai sistemi di valutazione della ricerca adottati nei diversi paesi.[60]

In terzo luogo, è bene ricordare alcuni dati che pochi conoscono: più della metà degli articoli accademici prodotti non ricevono alcuna citazione, e la maggioranza degli accademici riceve non più di tre citazioni in tutta la loro vita.[61] Questo significa che più di metà della produzione scientifica è di scarsa o nulla qualità? O che solo articoli molto citati sono di qualità? Ovviamente non è così. Si sa bene che i dati citazionali sono grossolani: soffrono delle lacune dei database da cui sono estratti, non sono identici a seconda del database utilizzato, pongono problemi non facili di disambiguazione fra autori omonimi o anche solo parzialmente omonimi, variano in modo significativo con il passare del tempo, a seconda del settore disciplinare di appartenenza di un ricercatore e così via. Pertanto, se possono giovare, se utilizzati cum grano salis, a un esercizio di valutazione condotto su grandi numeri, il loro utilizzo per la valutazione individuale è del tutto sconsigliabile. Non è opportuno valutare singoli ricercatori in tal modo, poiché le potenziali distorsioni e inefficienze degli strumenti adoperati producono conseguenze assai più rilevanti che non sono in alcun modo smorzate dai “grandi numeri”. Inoltre, più l’adozione di tali strumenti diviene determinante per i destini dei singoli ricercatori, più si incentivano i comportamenti opportunistici, il che significa favorire una produzione scientifica più scadente – benché più “efficace” sotto il profilo bibliometrico. Il rischio, insomma, è quello di consolidare posizioni dominanti ed eventuali comportamenti abusivi, limitare la libertà, l’ampiezza e la profondità della ricerca scientifica, minare il progresso della conoscenza rendendo più difficoltoso l’avanzamento per rivoluzioni piccole o grandi che siano, che l’ha caratterizzata per secoli

Perché lavorare su un argomento non alla moda, o su un tema non condiviso da un ampio gruppo di colleghi, se ciò non comporta benefici, ma anzi svantaggi sotto il profilo bibliometrico? Peraltro, vi sono numerose discipline nelle quali è difficile che si producano fenomeni di concentrazione della ricerca intorno a filoni mainstream, oggetto di un’attenzione condivisa da parte di settori rilevanti della comunità dei ricercatori: fra queste buona parte delle discipline storiche e di quelle filologiche e letterarie. In questi ambiti, mentre le metodologie adottate dai ricercatori sono generalmente costanti e condivise, oppure evolvono solo nel lunghissimo periodo, la ricerca procede in modo atomizzato, seguendo gli interessi dei singoli ricercatori, il che ha delle conseguenze non irrilevanti circa i tempi (più lunghi) e la probabilità (più scarsa) di ottenere citazioni. È importante rilevare come in un contesto di questo genere, la misurazione dei dati citazionali rischia non solo di essere distorcente, ma di produrre risultati del tutto inutilizzabili. Di recente è stata contestata a priori l’attendibilità statistica dell’h-index,[62] ma, a prescindere da ciò, va ribadito che l’analisi citazionale richiede, per essere attendibile, che il numero delle citazioni potenziali di un determinato prodotto della ricerca sia relativamente elevato. Insomma, numeri troppo piccoli non hanno alcun significato statistico; il confronto fra un articolo oggetto di cinquanta citazioni e uno oggetto di dieci citazioni può forse dire qualcosa circa il diverso impatto dei due prodotti sulla comunità scientifica. Lo stesso non può dirsi per numeri e differenze troppo piccole: il confronto fra due articoli citati rispettivamente una e tre volte, non è significativo.

Si è pensato di ovviare alle differenze fra gli stili citazionali dei diversi settori ricorrendo a normalizzazioni per settori o aree disciplinari: il che comunque non risolve il problema.[63] Infatti, in un contesto di scarse occorrenze di citazioni reciproche fra studiosi di un dato settore, i numeri perdono di rilevanza statistica e non possono né debbono essere utilizzati per valutazioni di qualità. Inoltre, occorre aver presente il fatto che il numero di citazioni varia a seconda dei campi di ricerca, che più grandi sono, un maggior numero di citazioni producono.[64] Ciò significa che la ridotta dimensione di un settore comporta una riduzione nel numero complessivo di citazioni, un’evenienza certamente più probabile nell’ambito delle scienze umane. Tale fenomeno è ulteriormente rafforzato dal fatto che, come si diceva sopra, la ricerca in questi ambiti disciplinari è spesso condotta individualmente al di fuori di filoni d’indagine condivisi da gruppi di ricercatori di dimensioni significative. Sfidiamo chiunque a dimostrare l’utilità di ampie aggregazioni di ricercatori per la composizione di un’edizione critica di Euripide, per uno studio di filologia indo-iranica o per una ricerca di papirologia giuridica.

Vorremmo sottolineare come la questione sia particolarmente seria nel campo delle scienze umane: infatti, in un ambito accademico caratterizzato da un numero molto ampio di ricercatori e di conseguenza con una produzione scientifica molto abbondante, come spesso accade nelle scienze biomediche, vi saranno dati citazionali consistenti, il che, se non potrà annullare le distorsioni, almeno contribuirà a ridurne il peso complessivo. Al contrario, in alcuni settori delle scienze umane, dove vi sono pochi ricercatori e di conseguenza una produzione relativamente ridotta, la possibilità di alterare i dati citazionali attraverso accordi di consorterie anche di modeste dimensioni diviene molto concreta. Va ribadito, a questo proposito, che la manipolazione dei dati citazionali e di impatto è ormai un problema di primaria importanza nell’analisi bibliometrica.[65] In ogni caso, Marconi si avventura nel computo di h-index per le aree umanistiche attraverso l’uso del programma Publish or Perish con esiti che gli paiono “mediamente abbastanza convincenti”: così egli afferma, apoditticamente, e senza alcun ragionamento tecnico o scientifico che – premessa la definizione di cosa si intenda con esiti convincenti – dimostri come essi siano raggiungibili. Ma poco importa. In realtà Marconi desidera qualcosa di molto più sofisticato: una valutazione bibliometrica dei singoli ricercatori fondata sulla ponderazione del numero di citazioni con la qualità delle sedi di pubblicazione. Tralasciamo di ribadire i ben noti caveat relativi alla valutazione per via esclusivamente bibliometrica di singoli scienziati.[66] Quello che non si capisce è cosa esattamente intenda Marconi: forse una comparazione fra il numero di citazioni per pubblicazione con la media delle citazioni ricevute dagli articoli pubblicati in una data rivista? Se così fosse egli dovrebbe tenere conto del fatto che pubblicazioni con basso impatto pubblicate su riviste con basso indice di impatto restituiscono valori analoghi a quelli di pubblicazioni con elevato impatto pubblicate in sedi di elevato impatto: il che pone alcuni dubbi riguardo all’utilità di un simile indicatore.[67] Infine, l’articolo di Marconi si conclude con osservazioni sparse sull’efficacia di Publish or Perish nel dare la misura relativa delle sedi di pubblicazione: dalle tabelle da lui pubblicate si evince che “Mind” è molto più citata del “Giornale di Metafisica” e che le prime tre riviste più citate sono in lingua inglese. Era necessario ricorrere a Publish or Perish per arrivare a tanto? Sappiamo tutti che per molte aree disciplinari l’inglese è ormai la lingua dominante, e che ciò si riverbera sull’impatto e dunque sulle citazioni.

3. Un SOS per bibliometria e scientometria in Italia

Riteniamo che un pericolo debba essere evitato: che la cultura italiana della valutazione, con il concorso – probabilmente inconsapevole – di autorevoli studiosi e anche di soggetti impropriamente designati come “esperti di valutazione”, si riduca a chiacchiera provinciale, avulsa dal dibattito internazionale. È paradossale profondersi in richiami all’internazionalizzazione e alle best practices straniere, quando per primi se ne è lontani, non solo mostrando scarsa consapevolezza degli strumenti tecnici e delle problematiche bibliometriche, ma anche adottando un approccio culturale del tutto naïf, come se non esistessero innumerevoli studi e ricerche in materia e decenni di esperienza. È il suo essere emblematico dell’arretratezza italiana che rende degno di studio l’articolo di Marconi. In un paese con una radicata cultura della valutazione, l’inadeguatezza scientifica dell’articolo gli avrebbe impedito di trovare accoglienza in una rivista specialistica “di qualità” e, in assenza di questo paradosso, sarebbe venuto meno anche l’interesse a occuparsene.

Se si vuole affermare che si è scontenti del grado di internazionalizzazione della propria disciplina, che si pubblica troppo poco in lingua inglese, e che la ricerca italiana deve progredire e migliorare il proprio impatto, si è liberi di farlo, in modo chiaro e trasparente. Ammantare tali considerazioni di un velo (mal tessuto) di nozioni bibliometriche usate in modo improprio contribuisce a distruggere il futuro della scientometria e della valutazione in Italia. Gli strumenti di valutazione sono strumenti tecnici, non clave ideologiche con le quali esperti di valutazione, improvvisatisi tali dall’oggi al domani, percuotono le scuole accademiche a loro sgradite. I sistemi di valutazione sono delicati e vanno minuziosamente tarati e costantemente monitorati, così come tutta la regolazione che li riguarda: l’uso barbarico che negli ultimi mesi ne è stato fatto, anche da parte dell’ANVUR,[68] è la premessa – purtroppo – per fare inaridire da subito la cultura della valutazione in Italia. Di valutazione si può e si deve discutere; la valutazione può e deve essere utilizzata al meglio: proprio per questo l’era della valutazione fai-da-te e degli apprendisti stregoni deve tramontare. Al più presto.

Riferimenti bibliografici

ADAMS (2007): J. Adams, Bibliometrics, assessment and UK research, Serials 20(3), November 2007.

ADLER, HARZING (2009): N.J. Adler, A.W. Harzing, When knowledge wins: transcending the sense and nonsense of academic rankings, Academy of Management Learning and Education 8.1, p. 72 ss.

ARNOLD (2009): D. N. Arnold. Integrity Under Attack: The State of Scholarly Publishing, SIAM Review 42(10), Dicembre 2009, p. 1 ss.

ARNOLD FOWLER (2011): D. N. Arnold, K. K. Fowler. Nefarious Numbers, Notices of the American Mathematical Society, 58(3) Marzo 2011, p. 434 ss.

BACCINI (2010): A. Baccini, Valutare la ricerca scientifica. Uso e abuso degli indicatori bibliometrici, Bologna 2010.

BACCINI (2012): A. Baccini, Classifiche incredibili, online su https://www.roars.it/classifiche-incredibili/

BACCINI, BARABESI, MARCHESELLI, PRATELLI (2012): A. Baccini, L. Barabesi, M. Marcheselli, L. Pratelli, Statistical inference on the h-index with an application to top-scientist performance, Journal of Informetrics 6.4 2012, p. 721 ss.

BANFI (2012): A. Banfi, Salvare la valutazione dall’Agenzia di Valutazione?, Federalismi.it, Rivista di diritto pubblico italiano, comunitario e comparato, 22/2012, p. 1 ss.

BANFI (2012.1): A. Banfi, Apples and oranges? Spunti per una discussione sulla valutazione della ricerca nelle scienze umane e sociali, ASTRID Rassegna 161 (12/2012).

BANFI (2013): A. Banfi, Il resistibile fascino delle classifiche di riviste, Rassegna Italiana di Valutazione 51/2011.

BANFI, DE NICOLAO (2013): A. Banfi, G. De Nicolao, La valutazione della ricerca fra scienza e feticismo dei numeri, Il Mulino I/2013, pp. 88-95

BELLANI, COLOMBO (2009): D. Bellani, S. Colombo, Una produttività insoddisfacente?, in REGINI (2009), p. 31 ss.

BILLAUT, BOUYSSOU, VINCKE (2009): J.C. Billaut, D. Bouyssou, P. Vincke, Should you believe in the Shanghai ranking? An MCDM view, Scientometrics 84, 2009, p. 237 ss.

CASSESE (2012): S. Cassese, L’Anvur ha ucciso la valutazione. Viva la valutazione!, online su https://www.roars.it/lanvur-ha-ucciso-la-valutazione-viva-la-valutazione/

CINGANO, CIPOLLONE (2009): F. Cingano, P. Cipollone, I rendimenti dell’istruzione, Questioni di Economia e Finanza, Banca d’Italia, occasional papers 53, 2009.

CNR (2010): Scienza e Tecnologia in cifre – Statistiche sulla ricerca e sull’innovazione, a cura di CERIS-CNR, http://www.cnr.it/sitocnr/IlCNR/Datiestatistiche/ScienzaTecnologia_cifre.html

COLLINI (2012): S. Collini, What are Universities for?, London 2012.

COLQUHOUN (2003): D. Colquhoun, Challenging the tyranny of impact factors, Nature 423, maggio 2003 p. 479.

COOPER, POLETTI (2011): S. Cooper, A. Poletti, The new ERA of journal ranking. The consequences of Australia’s fraught encounter with ‘quality’, Australian Universities’ Review 53.1, 2011, p. 57 ss.

DELGADO-LÓPEZ-CÓZAR, CABEZAS-CLAVIJO (2012): Emilio Delgado-López-Cózar, Álvaro Cabezas-Clavijo, Google Scholar Metrics: an unreliable tool for assessing scientific journals, El profesional de la información, 2012, julio-agosto, v. 21, n. 4.

DELGADO-LÓPEZ-CÓZAR, ROBINSON-GARCÍA, TORRES-SALINAS (2012): E. Delgado-López-Cózar, N. Robinson-García, D. Torres-Salinas, Manipulating Google Scholar Citations and Google Scholar Metrics: simple, easy and tempting, EC3 Working Papers 6: 29 May, 2012.

DELGADO-LÓPEZ-CÓZAR, ROBINSON-GARCÍA, TORRES-SALINAS (2012): E. Delgado-López-Cózar, N. Robinson-García, D. Torres-Salinas, Manipulating Google Scholar Citations and Google Scholar Metrics: simple, easy and tempting, EC3 Working Papers 6: 29 May, 2012.

EUA (2011): EUA Report on Rankings 2011. http://www.eua.be/pubs/Global_University_Rankings_and_Their_Impact.pdf

GIMÉNEZ-TOLEDO, ROMÁN-ROMÁN (2009): E. Giménez-Toledo, A. Román-Román, Assessment of humanities and social sciences monographs through their publishers: a review and a study towards a model of evaluation, Research Evaluation, 18(3), 2009, p. 201 ss.

GRANDJEAN, ERIKSEN, ELLEGAARD, WALLIN (2011): P. Grandjean, M. L. Eriksen, O. Ellegaard, J. A. Wallin, The Matthew effect in environmental science publication: A bibliometric analysis of chemical substances in journal articles, Environmental Health, 10.96, 2011.

HUSSAIN (2010): S. Hussain, Accounting journals and the ABS quality ratings, The British Accounting Review 42, 2010, p. 1 ss.

IREG (2011): International Ranking Expert Group, IREG Ranking Audit Takes Off, online su http://www.ireg-observatory.org/

KING (2004): D. A. King, The scientific impact of nations – What different countries get for their research spending, Nature, vol. 430, Luglio 2004.

LABBÉ (2010): C. Labbé, Ike Antkare, one of the great stars in the scientific firmament, ISSI Newsletter 6,2, 2010 p. 48 ss.

LOZANO, LARIVIÈRE, GINGRAS (2012): G. A. Lozano, V. Lariviere, Y. Gingras, The weakening relationship between the Impact Factor and papers’ citations in the digital age, arXiv:1205.4328 [cs.DL].

MACDONALD, KAM (2007): S. Macdonald, J. Kam, Ring a Ring o’ Roses: Quality Journals and Gamesmanship in Management Studies, Journal of Management Studies 44.4, 2007, p. 640 ss.

MOED (2010): H.F. Moed, Citation Analysis in Research Evaluation, Dordrecht 2010.

NUSSBAUM (2010): M.C. Nussbaum, Not for Profit. Why Democracy needs the Humanities, Princeton 2010.

OCSE (2012): Education at a Glance 2012: OECD Indicators, OECD Publishing. http://dx.doi.org/10.1787/eag-2012-en

OREOPOULOS, SALVANES (2011): P. Oreopoulos, K. G. Salvanes, Priceless: the non Pecuniary Benefits of Schooling, Journal of Economic Perspectives, 25.1, 2011, p. 159 ss.

PINELLI (2012): C. Pinelli, Autonomia universitaria, libertà della scienza e valutazione dell’attività scientifica, MUNUS 3, 2012 p. 567 ss.

RADICCHI, FORTUNATO, CASTELLANO (2008): F. Radicchi, S. Fortunato, C. Castellano, Universality of citation distributions: Toward an objective measure of scientific impact, PNAS November 11, 2008 105.45, p. 17268 ss.

REGINI (2009): M. Regini (cur.), Malata e denigrata. L’università italiana a confronto con l’Europa, Roma 2009.

SAISANA D’HOMBRES (2008): M. Saisana and B. D’Hombres, Higher Education Rankings: Robustness Issues and Critical Assessment, European Commission – Joint Research Center 2008.

SCHIERMEIER (2008): Q. Schiermeier, Self-publishing editor set to retire, Nature 456, novembre 2008, p. 432.

SEGLEN (1997): Why the impact factor of journals should not be used for evaluating research, BMJ 314, 15 Febbraio 1997, p. 498 ss.

STOLZ HENDEL HORN (2010): I. Stolz, D. Hendel, D., A. Horn, A, Ranking of rankings: benchmarking twenty-five higher education ranking systems in Europe, Higher Education, Online, p. 22. Springer, Netherlands.

VAN RAAN (2005): A. F. J. Van Raan, Fatal attraction: Ranking of universities by bibliometric methods, Scientometrics 62, 2005, p. 133 ss.

VAN RAAN (2006): A. F. J. Van Raan, Comparison of the Hirsch-index with standard bibliometric indicators and with peer judgment for 147 chemistry research groups, Scientometrics, 67.3, 2006, p. 491 ss.

VAN VUGHT, ZIEGELE (2011): F. Van Vught, F. Ziegele (cur.), Design and Testing of a Multidimensional Global University Ranking, CHERPA Network.

VINKLER (2010): P. Vinkler, The Evaluation of Research by Scientometrics Indicators, Oxford 2010.

VISCO (2009): I. Visco, Investire in conoscenza. Per la crescita economica, Bologna 2009.

WALTMAN, VAN ECK (2012): L. Waltman, N. Van Eck, Source normalized indicators of citation impact: An overview of different approaches and an empirical comparison, CWTS Working Paper Series (CWTS-WP-2012-010).

WEALE (2009): A. Weale, Metrics vs peer review?, Political Studies Review 7, 2009, p. 39 ss.

WILHITE, FONG (2012): A. W. Wilhite, E. A. Fong, Supporting Online Material for Coercive Citation in Academic Publishing, , Science 335, 2012, p. 542.

WILLMOTT (2011): H. Willmott, Journal List Fetishism and the Perversion of Scholarship: Reactivity and the ABS List, Organization 18.4, 2011, p. 429 ss.

WILLMOTT, MINGERS (2012): H. Willmott, J. Mingers, Taylorizing business school research: On the “one best way” performative effects of journal ranking lists, Human Relations (in print).

WILSON, BRISCOE (2004): R. A. Wilson, G. Briscoe, The impact of human capital on economic growth: a review, Descy, P.; Tessaring, M. (eds) Impact of education and training. Third report on vocational training research in Europe: background report. Luxembourg: Office for Official Publications of the European Communities, 2004 (Cedefop Reference series, 54)