Valutazione

Diego Marconi e la valutazione della ricerca: “fascination with the unknown”?

In tutte le aree c’è ricerca migliore e ricerca peggiore”: secondo Diego Marconi, questa è la prima di cinque fondamentali tesi che costituiscono la “cultura della valutazione”. Una cultura affascinante, come solo sa esserlo l’ignoto, se si deve giudicare dal suo articolo, Sulla valutazione della ricerca in area umanistica, e in particolare in filosofia, apparso sulla rivista scientifica Iride. Marconi invoca l’uso di indicatori oggettivi, ma fornisce una definizione palesemente errata dell’Impact Factor e confonde in più occasioni l’esercizio di valutazione inglese con quello australiano. Sebbene affronti argomenti che sono oggetto di studio da decenni, nessuna delle ventisette note cita pubblicazioni scientifiche. In compenso abbondano “la Repubblica”, “Il Sole-24 ore” e il “Corriere della Sera”. Tenta anche di convincere i suoi lettori che sia in qualche misura plausibile far ereditare ai singoli articoli la qualità della sede di pubblicazione, nonostante Iride sia ritenuta una rivista di qualità buona o ottima. L’articolo di Marconi è comunque degno di lettura come oggetto di studio, in quanto emblematico dell’arretratezza culturale che regna nel nostro paese riguardo a questa materia.


La rivista Aut Aut dedica il fascicolo 360 (dicembre 2013) alla critica della cultura della valutazione. Di seguito riportiamo l’indice dei contributi.

All’indice. Critica della cultura della valutazione

a cura di Alessandro Dal Lago

  • Alessandro Dal Lago Premessa. La (s)valutazione della ricerca
  • Valeria Pinto La valutazione come strumento di intelligence e tecnologia di governo
  • Antonio Banfi, Giuseppe De Nicolao Valutare senza sapere. Come salvare la valutazione della ricerca in Italia da chi pretende di usarla senza conoscerla
  • Claudio La Rocca Commisurare la ricerca. Piccola teleologia della neovalutazione
  • Francesca Coin La valutazione dell’utilità e l’utilità della valutazione
  • Francesco Sylos Labini Una nota su valutazione e conformismo
  • Roberto Ciccarelli La bolla formativa è esplosa. Educazione, disciplinamento e crisi del soggetto imprenditore
  • Massimiliano Nicoli Come le falene. Precarietà e pratica della filosofia

Per gentile concessione della rivista, in questo post riproduciamo  il contributo di Antonio Banfi e Giuseppe De Nicolao.


Valutare senza sapere.

Come salvare la valutazione della ricerca in Italia da chi pretende di usarla senza conoscerla

Università e ricerca pubblica (ma anche privata) sono considerate da molti come un elemento chiave nello sviluppo economico e civile di un paese. Da un canto, paesi che non sono più in grado di competere in termini di semplice forza-lavoro a basso costo necessitano di riorientarsi verso produzioni ad alto contenuto tecnologico e occupazioni altamente qualificate.[1] Dall’altro, vi è un certo consenso – e a chi scrive l’ipotesi pare del tutto ragionevole – intorno all’idea che la disseminazione di conoscenza produca benefici non immediatamente quantificabili dal punto di vista economico, ma comunque rilevanti per quanto riguarda il benessere complessivo della società, non esclusa la solidità dell’organizzazione politica, la coesione sociale, i fondamenti democratici dell’ordinamento.[2] Da questo punto di vista, l’Italia si sta purtroppo muovendo in controtendenza: le politiche pubbliche degli ultimi anni paiono orientate verso il disinvestimento dal settore della formazione (non solo terziaria) e della ricerca. Basti pensare che fra il 2008 e il 2009, quando già la crisi finanziaria tuttora in corso faceva sentire i suoi effetti, di 31 nazioni monitorate dall’OCSE, 24 provvedevano a incrementare la spesa per la formazione, mentre l’Italia la riduceva, risultando la nazione che esercitava maggiori tagli dopo l’Estonia.[3] Sono sempre le statistiche OCSE [4] a dirci che su 37 paesi esaminati ci collochiamo al trentaduesimo posto quanto a spesa per l’università in percentuale sul PIL. In realtà il disinvestimento (o il mancato investimento) non riguarda solo il settore pubblico, ma coinvolge anche quello privato. Infatti, ancora i dati OCSE [5] ci informano che siamo ultimi (su 22) quanto a spesa per ricerca e sviluppo da parte delle imprese in percentuale sul PIL e ultimi (su 20) quanto a numero di ricercatori nelle imprese rispetto al numero totale degli occupati.

Sui motivi di questo comportamento tutto sommato anomalo ci sarebbe molto da dire, ma non rientra nello scopo di queste pagine investigare un tema tanto complesso. È ragionevole supporre che alcune campagne di stampa che hanno dipinto l’università italiana come un’improduttiva sentina di corruttele, la diffusione di dati non corretti o incompleti da parte di alcuni accademici italiani non sempre disinteressati e la miopia della cosiddetta classe politica non abbiano aiutato a porre rimedio a un macroscopico sottofinanziamento. Il quadro di sistematica denigrazione del sistema italiano dell’università e della ricerca [6] merita di essere ricordato, perché contribuisce a spiegare molte delle difficoltà che sta incontrando l’introduzione nel nostro paese della cosiddetta “cultura della valutazione”. Infatti, nonostante i dati a disposizione indichino un piazzamento tutt’altro che indecoroso dell’università italiana nella competizione globale per la ricerca,[7] la messa in opera dell’Agenzia nazionale di valutazione (ANVUR) con la legge 240/2010 è avvenuta in un clima punitivo che ha contribuito sia a distorcere l’azione dell’Agenzia – che già nasceva male, a causa di errori di progettazione e della sua mancata indipendenza dal potere esecutivo [8] –, sia a suscitare fortissime polemiche sul suo a dir poco discutibile operato.

Più in generale, si può dire che in Italia la scelta del legislatore di adottare pervasivi sistemi di valutazione (della didattica, della ricerca ecc.) e l’attuazione delle relative disposizioni previste dalla legge 240/2010, è avvenuta in un clima di scontro ideologico, aggravato dalla profonda ignoranza – persino da parte dell’Agenzia e di larga parte dei suoi collaboratori – della letteratura scientifica in materia e dei dati scientometrici disponibili.[9] Chi scrive è convinto che abbia ogni ragione Sabino Cassese nel rilevare i difetti strutturali del sistema che si è venuto sin qui costruendo: non solo perché fragile e frutto di cattiva regolazione, ma anche perché potenzialmente nocivo per lo sviluppo della ricerca scientifica nel paese.[10] Se si vuole rendere efficaci i meccanismi di valutazione, è urgente ripristinare un autentico dibattito scientifico su questi temi, depurato dagli slogan giornalistici e dalle semplificazioni che ci hanno afflitto negli ultimi anni. Vogliamo parlare di “cultura della valutazione”? E allora che cultura sia.

Tutto ciò premesso, pare degno di nota l’articolo di Diego Marconi recentemente pubblicato su “Iride” intitolato Sulla valutazione della ricerca in area umanistica, e in particolare in filosofia,[11] e ciò per due ragioni. In primo luogo, perché Marconi, che pure non lo rivela (come sarebbe stato opportuno), è un cosiddetto “esperto di valutazione”,[12] ossia un collaboratore dell’ANVUR: è lecito dunque supporre che le tesi espresse da Marconi riflettano almeno in parte gli orientamenti dell’Agenzia stessa. In secondo luogo, perché tali tesi e il modo in cui sono espresse dovrebbero costituire fondato motivo di allarme per le comunità scientifiche: l’uso disinvolto dei dati, l’assenza di qualsiasi riferimento alla letteratura scientometrica internazionale, ripetuti errori materiali mettono in dubbio ictu oculi la stessa natura di “pubblicazione scientifica” dello scritto di Marconi che, a parere di chi scrive, rimane debole anche se giudicato con il metro più indulgente che si è soliti riservare alle pubblicazioni meramente divulgative. Mentre avremmo bisogno che in Italia si diffonda una seria cultura della valutazione, Marconi affronta, con piglio giornalistico e senza fare riferimento alla letteratura esistente, argomenti che, pur controversi, sono oggetto di studio da decenni: delle ventisette note che corredano il suo scritto, nessuna contiene riferimenti a pubblicazioni scientifiche. In compenso abbondano le citazioni da “la Repubblica”, “Il Sole-24 ore” e il “Corriere della Sera”. I capitoli dedicati alla valutazione delle scienze umane e sociali del notissimo manuale di Moed non sono neanche menzionati.[13] Che su una rivista scientifica si scriva di scientometria in modo impreciso e superficiale non aiuta certo la crescita culturale dell’accademia italiana, ma, nonostante la sua irrilevanza scientifica, lo scritto di Marconi è comunque degno di lettura come oggetto di studio, in quanto esemplifica vari aspetti dell’arretratezza culturale che regna nel nostro paese riguardo a queste materie.

Come già si è potuto riscontrare in altre occasioni, ottimi studiosi nelle loro discipline, e Marconi è indubbiamente fra questi, si sono trasformati in cattivi esperti di valutazione. È certo vero che in Italia non esiste tradizione alcuna in materia di studi scientometrici e che sono molto pochi gli studiosi italiani che se ne occupano con visibilità internazionale. A maggior ragione, chi muove i primi passi sull’insidioso terreno della valutazione non può esimersi dal confronto serrato con i dati e la letteratura, cosa che ci sforzeremo di fare lungo tutta la nostra disamina dei ragionamenti di Marconi, nella convinzione che un franco confronto possa solo portare benefici alla cultura italiana della valutazione. Solo un’ultima considerazione: chi scrive non è un filosofo e non ha alcuna pretesa di intervenire nel dibattito sollevato da Marconi sull’impatto e sull’internazionalizzazione della ricerca filosofica italiana. Affronteremo la questione secondo la più ampia prospettiva della valutazione della ricerca nelle scienze umane e sociali (d’ora in poi: HSS).

1. Le premesse fallaci non sono un buon viatico

Gli esercizi nazionali di valutazione della ricerca si affermano, com’è noto, nell’Inghilterra Tory di Margaret Thatcher, quando divenne di senso comune l’idea che l’università, finanziata dalla fiscalità generale e dunque dai taxpayers, dovesse svolgere una funzione di pubblica utilità: diffondere efficacemente formazione e assicurare ricerca negli ambiti strategicamente rilevanti per l’interesse nazionale (specialmente scienze biomediche e ingegneria).[14] L’accademia è sempre stata un luogo competitivo, i cui membri si valutano a vicenda. La novità della valutazione centralizzata della ricerca è data dal fatto che essa sfugge all’autoreferenzialità del mondo accademico, per guidare l’allocazione dei fondi da parte del decisore pubblico: il danaro deve essere indirizzato là dove assicura migliori frutti. L’esercizio di valutazione della ricerca gestito dall’ANVUR, noto come VQR (Valutazione della qualità della ricerca), nasce proprio sulla falsariga di analoghi esercizi britannici (il RAE/ REF). Un esercizio di valutazione mira a ricavare dati dal contesto e ad analizzarli per trarne un quadro utile per il decisore pubblico: si tratta dunque di un’operazione delicata, che dovrebbe essere condotta in modo freddo, scevro di pregiudizi e condizionamenti ideologici. Al di là degli errori di progettazione che la caratterizzano, il principale difetto della VQR è dato proprio dal fatto che l’esercizio è stato da molti concepito non come ausilio al decisore, ma come strumento punitivo per fare giustizia di un’università dipinta come malata e improduttiva. Lo stesso Marconi sostiene che la situazione della ricerca scientifica in Italia (e in altri paesi dell’Europa continentale) non è “felice”.[15] Come dimostra tale affermazione? Attraverso il ricorso ai ranking di atenei, in particolare quelli di Shanghai (ARWU), del “Times Higher Education” (THE) e di Quacquarelli Symonds (QS). Marconi definisce tali liste come “graduatorie di qualità” delle università.

Dunque, benché università e ricerca non siano sinonimi, Marconi trae conclusioni sulla situazione non felice della ricerca italiana sulla base di classifiche di università, che collocano gli atenei italiani in posizioni non apicali. Classifiche che egli stesso riconosce fondate su parametri talvolta “discutibili”, ma che in ogni caso fornirebbero “l’evidenza di una posizione non proprio invidiabile dell’università italiana”.[16] Al di là dell’irrisolta confusione concettuale fra università e ricerca, Marconi ignora alcuni aspetti essenziali delle classifiche che cita. In primo luogo, esse non intendono misurare la qualità della ricerca prodotta, ma sono costruite sulla base di una varietà di parametri, all’interno dei quali la ricerca ha un peso solo parziale.[17] Marconi ritiene che le critiche mosse alle classifiche di atenei derivino dall’intento di alcuni di opporsi alle manovre di una misteriosa “lobby anglofona” che le condizionerebbe. [18] Un’idea un po’ strana e forse semplicistica. In realtà, un recente documento promosso dalla Commissione europea ricorda che:

I ranking delle università ignorano la diversità delle istituzioni di istruzione superiore e della ricerca […], usano le medie degli indicatori e le unificano in un singolo numero, ignorando che sono relative a dimensioni diverse e usano talvolta scale diverse, […] sono presentati come classifiche, attribuendo a ogni istituzione, almeno quelle tra le prime 50, posizioni uniche, suggerendo che tutte le differenze negli indicatori sono valide e di peso uguale, usano dati bibliometrici, ignorando che le pubblicazioni internazionali disponibili e i database delle citazioni riguardano prevalentemente articoli scientifici soggetti a peer review, mentre quel tipo di comunicazione scientifica è prevalente solo in un ambito ristretto di discipline (in gran parte scienze della natura e alcuni settori della medicina), ma non in molti altri […]. In molti casi gli utenti non possono ottenere le informazioni necessarie per comprendere come i ranking sono stati costruiti; inoltre, soprattutto gli editori commerciali di ranking sono stati accusati di cambiare le loro metodologie per modificare le classifiche dei primi dieci posti, allo scopo di promuovere le vendite, invece di occuparsi della stabilità e della comparabilità dei ranking di anno in anno. [19]

Gli autori del rapporto U-Multirank, dopo aver ricordato puntualmente i difetti dei ranking esistenti, hanno esaminato i potenziali effetti nefasti di tali classificazioni, affermando in conclusione che

gran parte degli effetti discussi sopra sono piuttosto negativi per gli studiosi, per le istituzioni e per il settore dell’istruzione superiore in generale. Il problema non consiste tanto nell’esistenza delle classifiche in quanto tali, ma piuttosto nel fatto che quelle esistenti sono difettose e creano incentivi negativi [20]

Peraltro, non è questa la sola voce critica levatasi negli ultimi anni circa le classifiche degli atenei. Van Raan, fin dalla nascita della classifica ARWU, ne ha messo in discussione l’attendibilità sul piano bibliometrico, affermando che essa non dovrebbe essere utilizzata per la valutazione, “nemmeno ai fini di una metodologia comparativa”,[21] ed è stato seguito da molti altri;[22] recentemente Billaut, Bouyssou e Vincke si sono così espressi in merito alla classifica dell’Università di Shangai:

Una visione ottimistica delle cose vorrebbe che, dopo aver letto il nostro articolo, i responsabili della classifica decidessero di fermarsi immediatamente, scusandosi per aver prodotto tanta confusione nel mondo accademico, e che i decisori politici smettessero di usare “classifiche internazionali molto note” come strumenti per promuovere i propri obiettivi strategici.[23]

Billaut e coautori concludono il loro scritto con un monito che ci sentiamo di condividere:

Smettiamola di fare gli ingenui.

Anche il Rapporto EUA 2011 afferma che allo stato è difficile sostenere che i benefici derivanti dalle informazioni fornite dai ranking, al pari dell’aumentata trasparenza che essi comportano, siano maggiori degli effetti negativi derivanti dalle cosiddette “conseguenze perverse” dei ranking.[24]

In effetti, non è solo il ranking ARWU a essersi rivelato discutibile. La classifica del “Times Higher Education” è incorsa non molto tempo fa in un increscioso infortunio, che, se non altro, ha svelato il suo grado di affidabilità: nel 2010 l’Università di Alessandria d’Egitto si è collocata al quarto posto (sic!), preceduta solo da Caltech, MIT e Princeton per impatto scientifico (cioè per le citazioni ottenute). Peccato che lo straordinario risultato, accompagnato dalle congratulazioni degli autori della classifica, fosse dovuto all’anomala produzione scientifica di un solo ricercatore (Mohamed El Naschie), che già nel 2008 era stato segnalato da “Nature” per aver gonfiato i propri indici di impatto grazie a centinaia di pubblicazioni apparse su una rivista diretta da lui stesso.[25] Inutile dire che grazie a questo tipo di espedienti era salito anche l’impact factor della rivista, sebbene gli esperti del settore non la collocassero tra le riviste d’“eccellenza”.[26]

Non si può sostenere che la situazione della ricerca in Italia e in Europa continentale sia “infelice”, come pretende Marconi, in base a dati non affidabili e aggregati in modo discutibile. Chi ha analizzato la robustezza statistica delle classifiche internazionali degli atenei è alquanto scettico sulla loro affidabilità.[27] Come reazione alla proliferazione incontrollata delle classifiche degli atenei, l’Institute for Higher Education Policy (Washington) e l’UNESCO European Centre for Higher Education (UNESCO-CEPES) hanno fondato l’International Ranking Expert Group (IREG), che nel 2006 ha pubblicato i cosiddetti Berlin Principles, un elenco di sedici requisiti che dovrebbero essere soddisfatti da una classifica che voglia essere di qualità. Tutte le classifiche in circolazione violano in maniera più o meno estesa i Berlin Principles. Quando si è provato a valutare la soddisfazione dei Berlin Principles usando una scala da 1 (nessuna congruenza) a 5 (congruenza eccellente), su 25 classifiche ne sono state trovate 13 che non raggiungevano nemmeno il 3 (congruenza accettabile), tra cui anche la classifica THE-QS, allora ancora unificata, che otteneva un misero 2.25, molto vicino al 2 (congruenza scarsa).[28] Nel dicembre 2011, l’IREG ha reso nota la possibilità di ottenere una certificazione di qualità “IREG approved” per le classifiche che si fossero sottoposte a una procedura di audit basata sui Berlin Principles.[29] A oggi, non risulta che nessuna classifica internazionale abbia conseguito tale certificazione.[30]

In ogni caso, anche a voler prestare credito ai ranking, va tenuto presente che le classifiche elencano le prime 500 università al mondo, su un numero complessivo stimato fra gli 11.000 e i 20.000 atenei.[31] Ciò significa che il fatto stesso di entrare in classifica corrisponde a un piazzamento compreso fra il top 5% e il top 2,5%. Un’analisi dei dati disponibili per il 2009, rivela che il numero di atenei italiani che entrano in classifica oscilla fra il 18,2% (classifica THE-QS) e il 37,7% (Taiwan). Nel caso del Regno Unito, unanimemente ritenuto sede dell’eccellenza mondiale in ambito accademico, si va dal 31,6% (Taiwan) al 42,7% (THE-QS).[32] Inoltre, l’analisi delle classifiche internazionali dimostra che i punti di debolezza del sistema italiano non risiedono nella ricerca, ma in fattori fortemente influenzati dalle risorse disponibili, quali la bassa internazionalizzazione di studenti e docenti e il rapporto numerico troppo basso fra docenti e studenti.[33]

In ogni caso, l’inadeguatezza dell’uso delle classifiche degli atenei per confrontare la produttività scientifica delle nazioni era stata sottolineata già nel 2004 in un famoso articolo apparso su “Nature”.[34] Se, seguendo le raccomandazioni di David King, si adotta un metodo più scientifico, basato sui dati bibliometrici aggregati, ci si accorge che l’Italia si colloca al settimo posto al mondo per impatto citazionale (1996-2011) [35] e all’ottavo per produzione di articoli (2007).[36] Un risultato per nulla disprezzabile, soprattutto se si considera che l’Italia staziona nelle posizioni di coda nella già ricordata classifica OCSE per spesa universitaria.

Va anche detto che la premessa sulla situazione “infelice” della ricerca nell’Europa continentale da cui muovono i ragionamenti di Marconi, oltre che fondarsi su basi (le classifiche degli atenei) che una volta sottoposte ad analisi approfondita si rivelano tutt’altro che solide, soffre di un problema ancora più grave. Egli dichiara di volersi occupare di ricerca umanistica, ma né le classifiche internazionali, né le elaborazioni SCImago rendono in alcun modo conto della “qualità” della ricerca umanistica, poiché si fondano su dati bibliometrici che – com’è noto – non sono disponibili per la stragrande maggioranza delle scienze umane. È del tutto paradossale che si pretenda di ricavare informazioni da fonti che sono per loro natura mute in materia di scienze umane. Del resto, chiunque conosca anche solo superficialmente la materia sa benissimo che esistono due semplici soluzioni per scalare posizioni nelle classifiche internazionali degli atenei: in primo luogo accorpare gli atenei e creare aggregazioni (di norma, le classifiche risentono fortemente della dimensione di un ateneo) e in secondo luogo togliere risorse alle scienze umane per foraggiare discipline suscettibili di misurazioni bibliometriche.[37] Chiudere tutti i dipartimenti di filosofia d’Italia e assegnare i fondi risparmiati alle scienze biomediche consentirebbe di scalare qualche posizione nelle classifiche che sono care a Marconi. La verità, purtroppo, è che, allo stato, non è possibile esprimersi “oggettivamente” sulla qualità della ricerca umanistica italiana. Bisogna rassegnarsi a una più onesta soggettività, senza pretendere di consolidare le proprie opinioni con dati non pertinenti.

2. Soluzioni degne delle premesse

In tutte le aree c’è ricerca migliore e ricerca peggiore”,[38] scrive Marconi, in accanita competizione con Monsieur de Lapalisse. Da questa importante premessa derivano alcuni corollari, ossia che la distribuzione delle risorse deve rispecchiare la qualità della ricerca in modo il più possibile oggettivo. Il problema, secondo Marconi, è da individuare nell’oggettività degli strumenti di valutazione, tanto più che non è possibile far ricorso, per le scienze umane e sociali, all’Impact Factor (IF).[39] È di per sé significativo che a essere citato come strumento “oggettivo”, benché disgraziatamente inutilizzabile, sia proprio il più screditato fra gli indici bibliometrici, oggetto negli ultimi anni di innumerevoli critiche per la facilità con cui può essere artificialmente gonfiato attraverso comportamenti abusivi.[40] Ed è non meno significativo che Marconi consideri come riferimento un indicatore di cui fornisce una definizione palesemente errata.[41] Comunque sia, secondo Marconi il problema delle HSS italiane è essenzialmente quello di allinearsi agli standard internazionali, ossia quelli fissati dalla “comunità scientifica egemonica”: quella anglofona.

Abbiamo qualche perplessità anche su questo punto: è ovvio che – salvo alcune eccezioni comunque rilevanti – la lingua veicolare è ovviamente l’inglese, e che una maggiore produzione in lingua inglese contribuirebbe ad accrescere l’impatto (non la qualità, sia detto per inciso) della produzione scientifica italiana di area umanistica. Quello che sfugge è quali siano questi standard egemonici, che non vengono in alcun modo definiti, se non per negazione, ossia in opposizione ai localismi italiani e a cattive pratiche di valutazione per le quali, stando a un articolo del “Sole-24 ore” ripreso verbatim da Marconi, “ricercatori pochissimo citati […] sono valutati come migliori di ricercatori noti a livello internazionale”.[42] A proposito di citazioni e di autori pochissimo citati, l’autore del pezzo sul “Sole”, e lo stesso Marconi che se ne fa megafono, probabilmente ignorano che sul database Scopus l’h-index di Charles K. Kao è pari a 1, quello di George E. Smith è pari a 5, mentre quello di Willard S. Boyle è pari a 7. Ciò significa, per esempio, che Boyle ha solo 7 articoli che hanno ricevuto 7 o più citazioni ciascuno, mentre Smith ha solo 5 articoli che hanno ricevuto 5 o più citazioni ciascuno e così via. Ebbene, questi studiosi hanno ricevuto il premio Nobel per la fisica nel 2009. Leonid Hurwicz (Nobel per l’economia 2007) ha un h-index = 7. Grigorij Perelman, che ha vinto la medaglia Fields nel 2006 per aver risolto la congettura di Poincaré, ha un h-index = 1.[43]

Non si può che essere d’accordo sul fatto che localismo e autoreferenzialità siano caratteristiche negative che l’accademia italiana dovrebbe cercare di combattere. Siamo convinti che l’adozione della lingua inglese e di sedi di pubblicazione estere potrebbe contribuire a una maggiore circolazione dei prodotti di ricerca italiani, che, anche se di buona qualità, rischierebbero altrimenti di trovarsi confinati sul suolo nazionale e di non essere conosciuti come meritano. Tutto ciò, va detto ancora una volta, prescinde da ogni considerazione sulla qualità della produzione scientifica, che può essere apprezzata solo attraverso la lettura dei pari (peer review). Non esistono metodi automatici di misurazione di qualità e non esistono lingue di qualità. Esiste un problema di impatto, questo sì, e su questo bisogna ragionare, senza mescolare indebitamente le due cose. Per molte aree disciplinari è del tutto sensato che la ricerca scientifica italiana si faccia sentire e apprezzare facendosi conoscere in altre sedi, conformandosi in questo modo alle migliori pratiche internazionali. Non sempre, però, e ancora una volta occorre mettere in guardia dagli automatismi. Fatichiamo a immaginare, per esempio, un commento in inglese alla legge Fornero. Ci sono ambiti scientifici che sono per loro natura prevalentemente locali (un fenomeno frequente in parte delle scienze giuridiche), e altri per i quali l’italiano rimane la lingua di riferimento (per esempio l’italianistica).

Torniamo però al problema della misurazione della qualità e della valutazione delle scienze umane e sociali. Con apprezzabile sincerità, Marconi si professa inesperto di bibliometria: in effetti, oltre a sbagliare la definizione dell’IF, confonde in più occasioni l’esercizio di valutazione britannico (RAE/REF) con quello australiano (ERA).[44] Ma, come nel caso dell’IF, ne subisce il fascino. Ignorando la letteratura in materia di misurazione quantitativa delle HSS[45] e più in generale la letteratura bibliometrica, Marconi finisce per produrre una serie di paralogismi. Ci pare che la sua tesi possa essere ricostruita in questo modo: la peer review resa da valutatori diviene inutile se un prodotto è stato pubblicato su una rivista “selettiva”. Basta infatti la selezione esercitata a monte dalla rivista “eccellente” per assicurare con buon margine di certezza la qualità del prodotto, mentre la peer review dei valutatori finisce per essere utile sostanzialmente solo per riesaminare prodotti collocati in sedi “mediocri o marginali”.[46] Inoltre, procede Marconi, la sede di pubblicazione deve essere tenuta in conto perché altrimenti si applicherebbe un meccanismo di valutazione “regressivo e iniquo” che non premia lo sforzo profuso dal ricercatore per pubblicare in sedi di eccellenza, per non dire le “ferite dell’io” inflitte dai revisori. Confessiamo di non capire: il lettore credeva si discutesse di qualità della ricerca, non di equità e morale. Comunque, prosegue Marconi, siccome non è possibile ricorrere su larghissima scala alla peer review, poiché essa è troppo onerosa, occorre approntare altri strumenti di valutazione. Quali? Classifiche di riviste, in primo luogo, sulla falsariga del ranking ERIH. Disgraziatamente, osserva Marconi, tali classifiche – incluse quelle proposte dall’ANVUR – hanno prodotto infinite polemiche perché, secondo lui, violano “un’etichetta accademica che vuole che le gerarchie esistano, ma non sia buona educazione renderle esplicite”.[47]

Polemiche pretestuose, insomma, liquidate sbrigativamente da Marconi senza degnarsi di citare un solo riferimento scientifico tra le centinaia disponibili in materia di ranking di riviste. Inoltre, egli continua, molti hanno difeso la reputazione delle loro riviste sostenendo di applicare rigorose procedure di peer review. Ma non basta, ammonisce Marconi: la peer review è indice di serietà, non di qualità.[48] A questo punto il lettore comincia a essere seriamente perplesso: non si era detto che era inutile valutare con peer review dei prodotti già pubblicati su sedi che svolgono accurata revisione dei prodotti sottoposti? No, non basta. E non basta neppure che una rivista sia censita in ISI: sarà seria, ma non è detto che sia buona. Qual è allora la differenza fra una rivista seria e una buona? Marconi non definisce questi “parametri”, né le loro eventuali correlazioni, e dunque è difficile rispondere. Resta l’altra questione: che cosa ha a che fare tutto questo guazzabuglio con la valutazione della ricerca? Marconi ha una risposta: si può ricavare il tasso di “bontà” di una rivista dal numero di articoli che rifiuta (il rejection rate). Un vero uovo di Colombo: se una rivista rifiuta una percentuale di contributi n volte maggiore di un’altra, significa che sarà n volte più selettiva e quindi n volte migliore. Finalmente cominciamo a capire: buono o migliore equivale a più selettivo, e non coincide necessariamente con serio. Tuttavia, si duole Marconi, non sembra facile utilizzare il rejection rate come parametro di valutazione, perché molte riviste non lo rendono noto. Vero, e c’è anche un perché. Il rejection rate o “tasso di rifiuto” è un criterio di “qualità” talmente manipolabile da essere stato impietosamente ridicolizzato: qualche buontempone si è inventato il “Journal of Universal Rejection”, che invita a inviare contributi con questa motivazione: “Potrete dire di aver sottoposto il vostro lavoro alla rivista più prestigiosa (che vi ha giudicato in base al tasso di accettazione)”.[49]

Più seriamente, è ben noto che il tasso di accettazione di una rivista è un dato poco verificabile (nessuna rivista pubblica l’elenco dei papers respinti) ed è facilmente manipolabile: basta che fra gli esiti della revisione sia inserita la voce “respinto con l’invito a sottoporlo di nuovo” per aumentare il tasso di rifiuto. A proposito di rejection rate, Macdonald e Kam hanno ironicamente affermato:

Solo i guastafeste osserveranno che quanto più i ricercatori sono invitati a sottoporre i loro articoli a riviste di qualità, tanto più alto sarà il tasso di rifiuto di queste riviste, il che porterà a un aumento della loro qualità, ma anche a un maggiore incentivo a sottoporre articoli, e quindi a un tasso ancora più alto di rifiuto, e a maggiore qualità.[50]

Al di là del tasso di rifiuto, le stesse classifiche di riviste cristallizzano la situazione di un dato momento storico, mentre i dati citazionali sono in continuo movimento, parallelamente all’evolvere dell’attività scientifica.[51] Marconi auspica anche la costruzione di classifiche su base citazionale:[52] eppure i ranking vengono rivisti a distanza di molti mesi; perché adottare uno strumento che per la sua intrinseca natura comporta un ritardo maggiore nell’aggiornamento dei dati di quello pur già rilevante, proprio dei database citazionali? Liste di riviste di questo genere non fotografano la situazione attuale, ma quella del passato.[53] Ciò nonostante esercitano un effetto performativo,[54] inducendo i ricercatori a comportamenti che confermano le liste stesse: come una macchina del tempo, le liste di riviste trasformano il passato in presente attraverso un meccanismo che si autoriproduce. Ciò significa che le liste agiscono da moltiplicatore dei ben noti difetti degli indici citazionali. In altre parole, la presenza di una lista di riviste organizzata in classifica sulla base di parametri bibliometrici indurrà i ricercatori a cercare di collocare i propri prodotti sulle riviste “top”, spingendoli a compiacere gli editor di quelle riviste con riguardo sia alla metodologia adottata, sia al filone di ricerca prescelto, con l’effetto di potenziare l’effetto San Matteo.[55] A meno di eventi straordinari le riviste “top” resteranno tali, godendo di una rendita di posizione determinata dai comportamenti degli stessi studiosi.

Ma veniamo all’analisi citazionale. Ancora una volta Marconi evita che il suo approccio amatoriale venga contaminato dalla conoscenza della letteratura scientifica: difende l’uso di Publish or Perish (basato sui dati di Google Scholar) come utile base dati, anche perché non limitata ai soli articoli su rivista, e ne raccomanda l’uso per l’analisi citazionale, purché accompagnato da opportuni “fattori di correzione” per neutralizzare le differenze disciplinari e – a suo dire – per far salva la ricerca interdisciplinare. Non intendiamo qui entrare nel merito dell’ampio dibattito – diffuso anche fra le scienze dure – intorno ai pro e contro dell’analisi citazionale per se. Ci limitiamo solo a osservare quanto segue: Marconi ha ragione quando osserva che non vi sono ostacoli di principio nell’applicazione di misurazioni bibliometriche alle scienze umane e sociali. Tutto si può misurare. Ed è anche vero che l’obiezione secondo la quale alcune aree non sarebbero sottoponibili a tali analisi a causa della forte presenza di citazioni critiche o negative, è di per sé debole. Marconi però trascura le critiche più significative e aggiunge un paralogismo. Secondo il nostro “esperto di valutazione” è del tutto naturale che l’analisi citazionale premi le pubblicazioni in determinate sedi editoriali: “L’incremento delle citazioni è un giusto premio alla pubblicazione in una sede di eccellenza”. Assistiamo così alla trasformazione dell’analisi citazionale da parametro cosiddetto “oggettivo” a “premio” per la pubblicazione in determinate sedi.

Qui emerge in realtà l’argomento centrale dell’articolo di Marconi: bisogna premiare chi pubblica in certe sedi e punire – o almeno non premiare – chi pubblica altrove. Infatti, se si pubblica su certe riviste si scrivono articoli non solo seri, ma “di qualità”. Insomma, la qualità è una caratteristica intrinseca di alcune riviste o collane, anche se non si capisce bene come esse possano essere identificate, né cosa viene prima e cosa dopo, in un circolo vizioso senza fine.[56]

In secondo luogo, va ricordato per l’ennesima volta che Google Scholar (GS) non è una base dati utilizzabile per analisi bibliometriche scientificamente valide. Infatti Google non rende noti né gli algoritmi impiegati né la copertura della banca dati.[57] Inoltre GS ha un tasso di errori estremamente elevato nella procedura di identificazione degli autori e, anche se Marconi afferma di non saperne nulla, la manipolabilità dei risultati è stata ampiamente dimostrata.[58] Basti pensare al caso segnalato da Labbé, che è riuscito a creare dal nulla una star scientifica fasulla, di nome Ike Antkare, con un h-index stellare pari a 94 (quello di Einstein sarebbe 84), ma interamente costruito su paper fasulli generati con un software automatico.

Come ha scritto Labbé, “una distorsione di questo tipo potrebbe essere ottenuta facilmente usando i nomi di persone esistenti, con il risultato di gonfiarne la produzione scientifica o di screditarle”.[59] Ancora più di recente, alcuni ricercatori spagnoli hanno potuto dimostrare nel dettaglio come sia semplice alterare i dati e gli indicatori bibliometrici di Google Scholar. Le loro conclusioni sono queste:

È così facile manipolare il calcolo delle citazioni su Google Scholar che chiunque può emulare Ike Antkare e diventare il ricercatore più produttivo e influente nella sua specialità. […] Questi prodotti liberi e accessibili non solo risvegliano il Narciso che è nei ricercatori, ma possono favorire attive pratiche allo scopo di manipolare l’orientamento e il significato dei numeri come conseguenza della pressione sempre più forte a pubblicare, alimentata dai sistemi di valutazione della ricerca adottati nei diversi paesi.[60]

In terzo luogo, è bene ricordare alcuni dati che pochi conoscono: più della metà degli articoli accademici prodotti non ricevono alcuna citazione, e la maggioranza degli accademici riceve non più di tre citazioni in tutta la loro vita.[61] Questo significa che più di metà della produzione scientifica è di scarsa o nulla qualità? O che solo articoli molto citati sono di qualità? Ovviamente non è così. Si sa bene che i dati citazionali sono grossolani: soffrono delle lacune dei database da cui sono estratti, non sono identici a seconda del database utilizzato, pongono problemi non facili di disambiguazione fra autori omonimi o anche solo parzialmente omonimi, variano in modo significativo con il passare del tempo, a seconda del settore disciplinare di appartenenza di un ricercatore e così via. Pertanto, se possono giovare, se utilizzati cum grano salis, a un esercizio di valutazione condotto su grandi numeri, il loro utilizzo per la valutazione individuale è del tutto sconsigliabile. Non è opportuno valutare singoli ricercatori in tal modo, poiché le potenziali distorsioni e inefficienze degli strumenti adoperati producono conseguenze assai più rilevanti che non sono in alcun modo smorzate dai “grandi numeri”. Inoltre, più l’adozione di tali strumenti diviene determinante per i destini dei singoli ricercatori, più si incentivano i comportamenti opportunistici, il che significa favorire una produzione scientifica più scadente – benché più “efficace” sotto il profilo bibliometrico. Il rischio, insomma, è quello di consolidare posizioni dominanti ed eventuali comportamenti abusivi, limitare la libertà, l’ampiezza e la profondità della ricerca scientifica, minare il progresso della conoscenza rendendo più difficoltoso l’avanzamento per rivoluzioni piccole o grandi che siano, che l’ha caratterizzata per secoli

Perché lavorare su un argomento non alla moda, o su un tema non condiviso da un ampio gruppo di colleghi, se ciò non comporta benefici, ma anzi svantaggi sotto il profilo bibliometrico? Peraltro, vi sono numerose discipline nelle quali è difficile che si producano fenomeni di concentrazione della ricerca intorno a filoni mainstream, oggetto di un’attenzione condivisa da parte di settori rilevanti della comunità dei ricercatori: fra queste buona parte delle discipline storiche e di quelle filologiche e letterarie. In questi ambiti, mentre le metodologie adottate dai ricercatori sono generalmente costanti e condivise, oppure evolvono solo nel lunghissimo periodo, la ricerca procede in modo atomizzato, seguendo gli interessi dei singoli ricercatori, il che ha delle conseguenze non irrilevanti circa i tempi (più lunghi) e la probabilità (più scarsa) di ottenere citazioni. È importante rilevare come in un contesto di questo genere, la misurazione dei dati citazionali rischia non solo di essere distorcente, ma di produrre risultati del tutto inutilizzabili. Di recente è stata contestata a priori l’attendibilità statistica dell’h-index,[62] ma, a prescindere da ciò, va ribadito che l’analisi citazionale richiede, per essere attendibile, che il numero delle citazioni potenziali di un determinato prodotto della ricerca sia relativamente elevato. Insomma, numeri troppo piccoli non hanno alcun significato statistico; il confronto fra un articolo oggetto di cinquanta citazioni e uno oggetto di dieci citazioni può forse dire qualcosa circa il diverso impatto dei due prodotti sulla comunità scientifica. Lo stesso non può dirsi per numeri e differenze troppo piccole: il confronto fra due articoli citati rispettivamente una e tre volte, non è significativo.

Si è pensato di ovviare alle differenze fra gli stili citazionali dei diversi settori ricorrendo a normalizzazioni per settori o aree disciplinari: il che comunque non risolve il problema.[63] Infatti, in un contesto di scarse occorrenze di citazioni reciproche fra studiosi di un dato settore, i numeri perdono di rilevanza statistica e non possono né debbono essere utilizzati per valutazioni di qualità. Inoltre, occorre aver presente il fatto che il numero di citazioni varia a seconda dei campi di ricerca, che più grandi sono, un maggior numero di citazioni producono.[64] Ciò significa che la ridotta dimensione di un settore comporta una riduzione nel numero complessivo di citazioni, un’evenienza certamente più probabile nell’ambito delle scienze umane. Tale fenomeno è ulteriormente rafforzato dal fatto che, come si diceva sopra, la ricerca in questi ambiti disciplinari è spesso condotta individualmente al di fuori di filoni d’indagine condivisi da gruppi di ricercatori di dimensioni significative. Sfidiamo chiunque a dimostrare l’utilità di ampie aggregazioni di ricercatori per la composizione di un’edizione critica di Euripide, per uno studio di filologia indo-iranica o per una ricerca di papirologia giuridica.

Vorremmo sottolineare come la questione sia particolarmente seria nel campo delle scienze umane: infatti, in un ambito accademico caratterizzato da un numero molto ampio di ricercatori e di conseguenza con una produzione scientifica molto abbondante, come spesso accade nelle scienze biomediche, vi saranno dati citazionali consistenti, il che, se non potrà annullare le distorsioni, almeno contribuirà a ridurne il peso complessivo. Al contrario, in alcuni settori delle scienze umane, dove vi sono pochi ricercatori e di conseguenza una produzione relativamente ridotta, la possibilità di alterare i dati citazionali attraverso accordi di consorterie anche di modeste dimensioni diviene molto concreta. Va ribadito, a questo proposito, che la manipolazione dei dati citazionali e di impatto è ormai un problema di primaria importanza nell’analisi bibliometrica.[65] In ogni caso, Marconi si avventura nel computo di h-index per le aree umanistiche attraverso l’uso del programma Publish or Perish con esiti che gli paiono “mediamente abbastanza convincenti”: così egli afferma, apoditticamente, e senza alcun ragionamento tecnico o scientifico che – premessa la definizione di cosa si intenda con esiti convincenti – dimostri come essi siano raggiungibili. Ma poco importa. In realtà Marconi desidera qualcosa di molto più sofisticato: una valutazione bibliometrica dei singoli ricercatori fondata sulla ponderazione del numero di citazioni con la qualità delle sedi di pubblicazione. Tralasciamo di ribadire i ben noti caveat relativi alla valutazione per via esclusivamente bibliometrica di singoli scienziati.[66] Quello che non si capisce è cosa esattamente intenda Marconi: forse una comparazione fra il numero di citazioni per pubblicazione con la media delle citazioni ricevute dagli articoli pubblicati in una data rivista? Se così fosse egli dovrebbe tenere conto del fatto che pubblicazioni con basso impatto pubblicate su riviste con basso indice di impatto restituiscono valori analoghi a quelli di pubblicazioni con elevato impatto pubblicate in sedi di elevato impatto: il che pone alcuni dubbi riguardo all’utilità di un simile indicatore.[67] Infine, l’articolo di Marconi si conclude con osservazioni sparse sull’efficacia di Publish or Perish nel dare la misura relativa delle sedi di pubblicazione: dalle tabelle da lui pubblicate si evince che “Mind” è molto più citata del “Giornale di Metafisica” e che le prime tre riviste più citate sono in lingua inglese. Era necessario ricorrere a Publish or Perish per arrivare a tanto? Sappiamo tutti che per molte aree disciplinari l’inglese è ormai la lingua dominante, e che ciò si riverbera sull’impatto e dunque sulle citazioni.

3. Un SOS per bibliometria e scientometria in Italia

Riteniamo che un pericolo debba essere evitato: che la cultura italiana della valutazione, con il concorso – probabilmente inconsapevole – di autorevoli studiosi e anche di soggetti impropriamente designati come “esperti di valutazione”, si riduca a chiacchiera provinciale, avulsa dal dibattito internazionale. È paradossale profondersi in richiami all’internazionalizzazione e alle best practices straniere, quando per primi se ne è lontani, non solo mostrando scarsa consapevolezza degli strumenti tecnici e delle problematiche bibliometriche, ma anche adottando un approccio culturale del tutto naïf, come se non esistessero innumerevoli studi e ricerche in materia e decenni di esperienza. È il suo essere emblematico dell’arretratezza italiana che rende degno di studio l’articolo di Marconi. In un paese con una radicata cultura della valutazione, l’inadeguatezza scientifica dell’articolo gli avrebbe impedito di trovare accoglienza in una rivista specialistica “di qualità” e, in assenza di questo paradosso, sarebbe venuto meno anche l’interesse a occuparsene.

Se si vuole affermare che si è scontenti del grado di internazionalizzazione della propria disciplina, che si pubblica troppo poco in lingua inglese, e che la ricerca italiana deve progredire e migliorare il proprio impatto, si è liberi di farlo, in modo chiaro e trasparente. Ammantare tali considerazioni di un velo (mal tessuto) di nozioni bibliometriche usate in modo improprio contribuisce a distruggere il futuro della scientometria e della valutazione in Italia. Gli strumenti di valutazione sono strumenti tecnici, non clave ideologiche con le quali esperti di valutazione, improvvisatisi tali dall’oggi al domani, percuotono le scuole accademiche a loro sgradite. I sistemi di valutazione sono delicati e vanno minuziosamente tarati e costantemente monitorati, così come tutta la regolazione che li riguarda: l’uso barbarico che negli ultimi mesi ne è stato fatto, anche da parte dell’ANVUR,[68] è la premessa – purtroppo – per fare inaridire da subito la cultura della valutazione in Italia. Di valutazione si può e si deve discutere; la valutazione può e deve essere utilizzata al meglio: proprio per questo l’era della valutazione fai-da-te e degli apprendisti stregoni deve tramontare. Al più presto.

 

Riferimenti bibliografici

ADAMS (2007): J. Adams, Bibliometrics, assessment and UK research, Serials 20(3), November 2007.

ADLER, HARZING (2009): N.J. Adler, A.W. Harzing, When knowledge wins: transcending the sense and nonsense of academic rankings, Academy of Management Learning and Education 8.1, p. 72 ss.

ARNOLD (2009): D. N. Arnold. Integrity Under Attack: The State of Scholarly Publishing, SIAM Review 42(10), Dicembre 2009, p. 1 ss.

ARNOLD FOWLER (2011): D. N. Arnold, K. K. Fowler. Nefarious Numbers, Notices of the American Mathematical Society, 58(3) Marzo 2011, p. 434 ss.

BACCINI (2010): A. Baccini, Valutare la ricerca scientifica. Uso e abuso degli indicatori bibliometrici, Bologna 2010.

BACCINI (2012): A. Baccini, Classifiche incredibili, online su http://www.roars.it/online/classifiche-incredibili/

BACCINI, BARABESI, MARCHESELLI, PRATELLI (2012): A. Baccini, L. Barabesi, M. Marcheselli, L. Pratelli, Statistical inference on the h-index with an application to top-scientist performance, Journal of Informetrics 6.4 2012, p. 721 ss.

BANFI (2012): A. Banfi, Salvare la valutazione dall’Agenzia di Valutazione?, Federalismi.it, Rivista di diritto pubblico italiano, comunitario e comparato, 22/2012, p. 1 ss.

BANFI (2012.1): A. Banfi, Apples and oranges? Spunti per una discussione sulla valutazione della ricerca nelle scienze umane e sociali, ASTRID Rassegna 161 (12/2012).

BANFI (2013): A. Banfi, Il resistibile fascino delle classifiche di riviste, Rassegna Italiana di Valutazione 51/2011.

BANFI, DE NICOLAO (2013): A. Banfi, G. De Nicolao, La valutazione della ricerca fra scienza e feticismo dei numeri, Il Mulino I/2013, pp. 88-95

BELLANI, COLOMBO (2009): D. Bellani, S. Colombo, Una produttività insoddisfacente?, in REGINI (2009), p. 31 ss.

BILLAUT, BOUYSSOU, VINCKE (2009): J.C. Billaut, D. Bouyssou, P. Vincke, Should you believe in the Shanghai ranking? An MCDM view, Scientometrics 84, 2009, p. 237 ss.

CASSESE (2012): S. Cassese, L’Anvur ha ucciso la valutazione. Viva la valutazione!, online su http://www.roars.it/online/lanvur-ha-ucciso-la-valutazione-viva-la-valutazione/

CINGANO, CIPOLLONE (2009): F. Cingano, P. Cipollone, I rendimenti dell’istruzione, Questioni di Economia e Finanza, Banca d’Italia, occasional papers 53, 2009.

CNR (2010): Scienza e Tecnologia in cifre – Statistiche sulla ricerca e sull’innovazione, a cura di CERIS-CNR, http://www.cnr.it/sitocnr/IlCNR/Datiestatistiche/ScienzaTecnologia_cifre.html

COLLINI (2012): S. Collini, What are Universities for?, London 2012.

COLQUHOUN (2003): D. Colquhoun, Challenging the tyranny of impact factors, Nature 423, maggio 2003 p. 479.

COOPER, POLETTI (2011): S. Cooper, A. Poletti, The new ERA of journal ranking. The consequences of Australia’s fraught encounter with ‘quality’, Australian Universities’ Review 53.1, 2011, p. 57 ss.

DELGADO-LÓPEZ-CÓZAR, CABEZAS-CLAVIJO (2012): Emilio Delgado-López-Cózar, Álvaro Cabezas-Clavijo, Google Scholar Metrics: an unreliable tool for assessing scientific journals, El profesional de la información, 2012, julio-agosto, v. 21, n. 4.

DELGADO-LÓPEZ-CÓZAR, ROBINSON-GARCÍA, TORRES-SALINAS (2012): E. Delgado-López-Cózar, N. Robinson-García, D. Torres-Salinas, Manipulating Google Scholar Citations and Google Scholar Metrics: simple, easy and tempting, EC3 Working Papers 6: 29 May, 2012.

DELGADO-LÓPEZ-CÓZAR, ROBINSON-GARCÍA, TORRES-SALINAS (2012): E. Delgado-López-Cózar, N. Robinson-García, D. Torres-Salinas, Manipulating Google Scholar Citations and Google Scholar Metrics: simple, easy and tempting, EC3 Working Papers 6: 29 May, 2012.

EUA (2011): EUA Report on Rankings 2011. http://www.eua.be/pubs/Global_University_Rankings_and_Their_Impact.pdf

GIMÉNEZ-TOLEDO, ROMÁN-ROMÁN (2009): E. Giménez-Toledo, A. Román-Román, Assessment of humanities and social sciences monographs through their publishers: a review and a study towards a model of evaluation, Research Evaluation, 18(3), 2009, p. 201 ss.

GRANDJEAN, ERIKSEN, ELLEGAARD, WALLIN (2011): P. Grandjean, M. L. Eriksen, O. Ellegaard, J. A. Wallin, The Matthew effect in environmental science publication: A bibliometric analysis of chemical substances in journal articles, Environmental Health, 10.96, 2011.

HUSSAIN (2010): S. Hussain, Accounting journals and the ABS quality ratings, The British Accounting Review 42, 2010, p. 1 ss.

IREG (2011): International Ranking Expert Group, IREG Ranking Audit Takes Off, online su http://www.ireg-observatory.org/

KING (2004): D. A. King, The scientific impact of nations – What different countries get for their research spending, Nature, vol. 430, Luglio 2004.

LABBÉ (2010): C. Labbé, Ike Antkare, one of the great stars in the scientific firmament, ISSI Newsletter 6,2, 2010 p. 48 ss.

LOZANO, LARIVIÈRE, GINGRAS (2012): G. A. Lozano, V. Lariviere, Y. Gingras, The weakening relationship between the Impact Factor and papers’ citations in the digital age, arXiv:1205.4328 [cs.DL].

MACDONALD, KAM (2007): S. Macdonald, J. Kam, Ring a Ring o’ Roses: Quality Journals and Gamesmanship in Management Studies, Journal of Management Studies 44.4, 2007, p. 640 ss.

MOED (2010): H.F. Moed, Citation Analysis in Research Evaluation, Dordrecht 2010.

NUSSBAUM (2010): M.C. Nussbaum, Not for Profit. Why Democracy needs the Humanities, Princeton 2010.

OCSE (2012): Education at a Glance 2012: OECD Indicators, OECD Publishing. http://dx.doi.org/10.1787/eag-2012-en

OREOPOULOS, SALVANES (2011): P. Oreopoulos, K. G. Salvanes, Priceless: the non Pecuniary Benefits of Schooling, Journal of Economic Perspectives, 25.1, 2011, p. 159 ss.

PINELLI (2012): C. Pinelli, Autonomia universitaria, libertà della scienza e valutazione dell’attività scientifica, MUNUS 3, 2012 p. 567 ss.

RADICCHI, FORTUNATO, CASTELLANO (2008): F. Radicchi, S. Fortunato, C. Castellano, Universality of citation distributions: Toward an objective measure of scientific impact, PNAS November 11, 2008 105.45, p. 17268 ss.

REGINI (2009): M. Regini (cur.), Malata e denigrata. L’università italiana a confronto con l’Europa, Roma 2009.

SAISANA D’HOMBRES (2008): M. Saisana and B. D’Hombres, Higher Education Rankings: Robustness Issues and Critical Assessment, European Commission – Joint Research Center 2008.

SCHIERMEIER (2008): Q. Schiermeier, Self-publishing editor set to retire, Nature 456, novembre 2008, p. 432.

SEGLEN (1997): Why the impact factor of journals should not be used for evaluating research, BMJ 314, 15 Febbraio 1997, p. 498 ss.

STOLZ HENDEL HORN (2010): I. Stolz, D. Hendel, D., A. Horn, A, Ranking of rankings: benchmarking twenty-five higher education ranking systems in Europe, Higher Education, Online, p. 22. Springer, Netherlands.

VAN RAAN (2005): A. F. J. Van Raan, Fatal attraction: Ranking of universities by bibliometric methods, Scientometrics 62, 2005, p. 133 ss.

VAN RAAN (2006): A. F. J. Van Raan, Comparison of the Hirsch-index with standard bibliometric indicators and with peer judgment for 147 chemistry research groups, Scientometrics, 67.3, 2006, p. 491 ss.

VAN VUGHT, ZIEGELE (2011): F. Van Vught, F. Ziegele (cur.), Design and Testing of a Multidimensional Global University Ranking, CHERPA Network.

VINKLER (2010): P. Vinkler, The Evaluation of Research by Scientometrics Indicators, Oxford 2010.

VISCO (2009): I. Visco, Investire in conoscenza. Per la crescita economica, Bologna 2009.

WALTMAN, VAN ECK (2012): L. Waltman, N. Van Eck, Source normalized indicators of citation impact: An overview of different approaches and an empirical comparison, CWTS Working Paper Series (CWTS-WP-2012-010).

WEALE (2009): A. Weale, Metrics vs peer review?, Political Studies Review 7, 2009, p. 39 ss.

WILHITE, FONG (2012): A. W. Wilhite, E. A. Fong, Supporting Online Material for Coercive Citation in Academic Publishing, , Science 335, 2012, p. 542.

WILLMOTT (2011): H. Willmott, Journal List Fetishism and the Perversion of Scholarship: Reactivity and the ABS List, Organization 18.4, 2011, p. 429 ss.

WILLMOTT, MINGERS (2012): H. Willmott, J. Mingers, Taylorizing business school research: On the “one best way” performative effects of journal ranking lists, Human Relations (in print).

WILSON, BRISCOE (2004): R. A. Wilson, G. Briscoe, The impact of human capital on economic growth: a review, Descy, P.; Tessaring, M. (eds) Impact of education and training. Third report on vocational training research in Europe: background report. Luxembourg: Office for Official Publications of the European Communities, 2004 (Cedefop Reference series, 54)


[1] Cfr. fra i tanti VISCO (2009) p. 29 ss.; WILSON, BRISCOE (2004), p. 37 ss.; CINGANO, CIPOLLONE (2009), p. 11 ss.

 

[2] Cfr. ad es. NUSSBAUM (2010) p. 13 ss.; OREOPOULOS, SALVANES (2011), p. 165 ss.

 

[3] OCSE (2012), p. 241.

 

[4] Ibidem, p. 240.

 

[5] CNR (2010), p. 79 e p. 81.

 

[6] Su cui si veda REGINI (2009).

 

[7] Vedi infra.

 

[8] Sul punto si vedano, fra gli altri, CASSESE (2012), PINELLI (2012), BANFI (2012).

 

[9] Cfr. in proposito BANFI, DE NICOLAO (2013).

 

[10] CASSESE (2012).

 

[11] MARCONI (2012)

 

[12] Marconi è membro del Gruppo di Esperti della Valutazione dell’Area 11 – Scienze storiche, filosofiche, pedagogiche e psicologiche: http://www.anvur.org/?q=it/content/area-11-scienze-storiche-filosofiche-pedagogiche-e-psicologiche

 

[13] MOED (2010), p. 147 ss.

 

[14] Cfr. in proposito COLLINI (2012), passim.

 

[15] MARCONI (2012), pp. 452-453.

 

[16] MARCONI (2012), p. 453.

 

[17] VAN VUGHT, ZIEGELE (2011), p. 30.

 

[18] MARCONI (2012), p. 453.

 

[19] VAN VUGHT, ZIEGELE (2011), p. 27 sgg.

 

[20] VAN VUGHT, ZIEGELE (2011), p. 34.

 

[21] VAN RAAN (2005), p. 140.

 

[22] Ampia bibliografia in BILLAUT, BOUYSSOU, VINCKE (2009), p. 238.

 

[23] BILLAUT, BOUYSSOU, VINCKE (2009), p. 258.

 

[24] EUA (2011), p. 68.

 

[25] L’eco del clamoroso infortunio della classifica del THE è giunto fino alle pagine del “New York Times” che vi ha dedicato un intero articolo dal significativo titolo Questionable Science Behind Academic Rankings (“New York Times”, 10 novembre 2010). Riguardo al caso El Naschie, D.A. Arnold scrive: “Cinque dei 36 articoli nel numero di dicembre di ‘Chaos, Solitons, and Fractals’ sono stati scritti dal suo redattore capo, Mohamed El Naschie. E l’anno in questione ha visto quasi 60 articoli dello stesso autore apparire nella rivista. Di fatto, dei 400 articoli di El Naschie elencati dal Web of Science, 307 erano stati pubblicati in ‘Chaos, Solitons, and Fractals’, mentre egli era redattore capo” (Arnold 2009).

 

[26] “Questo tasso estremamente alto di autocitazioni del redattore capo ha avuto un vasto effetto sull’impact factor della rivista” (Arnold 2009). Per le travagliate vicende della rivista “Chaos, Solitons, and Fractals”, edita da Elsevier, si veda anche Schiermeier (2008): “Nel 2007 la rivista ha l’impact factor relativamente alto di 3.025. Ma questo può essere ‘effetto di un alto tasso di autocitazioni’, dice Zoran Škoda, un fisico teorico del Rud ̄er Boškovic ́ Institute di Zagabria, Croazia”.

 

[27] SAISANA D’HOMBRES (2008).

 

[28] STOLZ HENDEL HORN (2010).

 

[29] IREG (2011).

 

[30] Nel maggio 2013, dopo la consegna del presente articolo, la certificazione “IREG approved” è stata concessa a Perspektywy University Ranking (Polonia) e a QS World University Rankings.

 

[31] Non è facile determinare quante università ci siano nel mondo. C’è chi elenca 20.000 atenei (http://www.webometrics.info/en/node/36), ma anche chi è più selettivo contandone 17.000 (http://www.whed-online.com/) oppure solo 11.000 (http://www.4icu.org/).

 

[32] BELLANI, COLOMBO (2009), p. 45.

 

[33] BELLANI, COLOMBO (2009), p. 44 ss.

 

[34] “The Shanghai Institute of Education has recently published a list of the top 500 world universities. The order is based on the number of Nobel laureates from 1911 to 2002, highly cited researchers, articles published in Science and Nature, the number of papers published and an average of these four criteria compared with the number of full-time faculty members in each institution. I believe none of these criteria are as reliable as citations.” KING (2004).

 

[35] Elaborazione SCImago su dati Scopus (http://www.scimagojr.com/).

 

[36] National Science Board 2010, Science and engineering indicators 2010.

 

[37] “Suppose that you manage a university and that you want to increase your position in the ranking. This is simple enough. There are vast areas in your university that do not contribute to your position in the ranking. We can think here of Law, Humanities and most Social Sciences. Drop all these fields. You will surely save much money. Use this money to buy up research groups that will contribute to your position in the ranking.” BILLAUT, BOUYSSOU, VINCKE (2009).

 

[38] MARCONI (2012), p. 455.

 

[39] MARCONI (2012), p. 454.

 

[40] Cfr. ad es. LOZANO, LARIVIÈRE, GINGRAS (2012); BACCINI (2010), p. 173 ss.; COLQUHOUN (2003); SEGLEN (1997).

 

[41] MARCONI (2012), p. 455 nota 7 “l’IF in un dato anno è basato sulle citazioni ricevute da un articolo nei due anni precedenti”. L’IF non è riferibile a singoli articoli ma a riviste. The IF of a journal J in year T is defined as follows: the number of citations received in year T by all documents published in J in the years T-1 and T-2 / the number of citable documents published in J in the years T-1 and T-2. MOED (2010), p. 92.

 

[42] MARCONI (2012), p. 457.

 

[43] BACCINI (2012). Dati rilevati nel giugno 2012.

 

[44] cfr. MARCONI (2012), p. 460 e 463.

 

[45] Su cui rimando al manuale di MOED (2010), pp. 145 ss., oltre che al mio BANFI (2012.1).

 

[46] MARCONI (2012), p. 461.

 

[47] p. 464.

 

[48] p. 465.

 

[50] MACDONALD, KAM (2007), p. 642.

 

[51] BANFI (2013).

 

[52] MARCONI (2012), p. 469.

 

[53] WEALE (2009); HUSSAIN (2010).

 

[54] ADLER, HARZING (2009); COOPER, POLETTI (2011); WILLMOTT (2011); WILLMOTT, MINGERS (2012).

 

[55] Esso prende il nome da un versetto del Vangelo di Matteo (25. 29: “Perché a chiunque ha sarà dato e sarà nell’abbondanza; ma a chi non ha sarà tolto anche quello che ha”) e descrive il fenomeno per cui l’analisi quantitativa può rafforzare la tendenza della scienza a organizzarsi secondo filoni di ricerca omogenei scoraggiando di fatto l’innovazione e lo sviluppo stesso della ricerca scientifica verso nuove vie inesplorate. Continuare a studiare su temi già noti e ampiamente discussi nella comunità scientifica, assicura infatti una buona “resa” bibliometrica, ma al contempo impoverisce la ricerca e la irrigidisce caratterizzandola per un comportamento inerziale. Per un esempio: GRANDJEAN, ERIKSEN, ELLEGAARD, WALLIN (2011); cfr. anche VINKLER (2010), p. 99 ss.

 

[56] Un fenomeno già descritto in letteratura: MACDONALD, KAM (2007).

 

[57] DELGADO-LÓPEZ-CÓZAR, CABEZAS-CLAVIJO (2012).

 

[58] MARCONI (2012),  p. 470 n. 23.

 

[59] Cfr. LABBÉ (2010).

 

[60] DELGADO-LÓPEZ-CÓZAR, ROBINSON-GARCÍA, TORRES-SALINAS (2012), p. 8.

 

[61] MACDONALD, KAM (2007), p. 649.

 

[62] BACCINI, BARABESI, MARCHESELLI, PRATELLI (2012).

 

[63] Cfr. su questo punto WALTMAN, VAN ECK (2012).

 

[64] Cfr. ADAMS 2007; RADICCHI, FORTUNATO, CASTELLANO (2008).

 

[65] Cfr. per esempio VAN RAAN (2006); WILHITE, FONG (2012).

 

[66] Fra i tanti: MOED (2010), p. 224-5.

 

[67] BACCINI (2010), p. 162.

 

[68] Ampia documentazione può essere rintracciata su www.roars.it.

 

 

Send to Kindle
Tag: , , , , , , , , , , , , , ,

24 Comments

  1. C’è almeno una misera possibilità che Marconi risponda? o.O

  2. Per prima cosa i piu’ sinceri complimenti ad Antonio Banfi ed a Giuseppe De Nicolao per questa analisi approfondita, documentata e di straordinaria completezza.
    Sono un docente di area medica e frequentemente mi confronto con il tema della valutazione e con le problematiche legate alla pubblicazione di ricerche su riviste scientifiche. Conosco le difficolta’ che si possono incontrare per pubblicare su riviste prestigiose e le problematiche legate alle peer review. Altrettanto sono consapevole delle modalità illecite con le quali alcuni spregiudicati editori hanno alzato l’I.F. Delle loro riviste e di quelle con le quali cordate di ricercatori in base a preordinati accordi hanno disinvoltamente alzato i propri H index sulla base di accordi di auto citazione.
    Fatte queste premesse sono anche convinto che il mondo accademico sia, così come gli altri, estremamente eterogeneo nella propria composizione e che accanto a docenti e ricercatori impegnati ed appassionati ci sia una quota di diciamo Colleghi ‘poco appassionati” .
    Credo nel merito e credo nella valorizzazione del merito delle persone. Quale puo’ essere a giudizio degli autori di questo post un metodo maggiormente appropriato, trasparente e democratico, in particolar modo nelle scienze dure, per far si’ che l’impegno venga riconosciuto e premiato. Quale può essere a vostro avviso una proposta diversa da quella di ANVUR per una valutazione più corretta e meno soggetta a tutti gli errori e le problematiche che sono ormai evidenti nel processo valutativo di ANVUR?

    • Giuseppe De Nicolao says:

      Se consideriamo la valutazione individuale, rimanderei agli articoli di Roars che commentano due recenti pronunciamenti:
      1. La San Francisco Declaration on Research Assessment (è stata sottoscritta da più di 400 organizzazioni, comprese riviste come Science, Plos e PNAS, e più di 9.000 individui)
      https://www.roars.it/online/dora/
      2. IEEE Board of Directors: Position Statement on “Appropriate Use of Bibliometric Indicators for the Assessment of Journals, Research Proposals, and Individuals”. La IEEE si autodefinisce “the world’s largest professional association dedicated to advancing technological innovation and excellence for the benefit of humanity“.
      https://www.roars.it/online/anche-lieee-contro-luso-di-indici-bibliometrici-per-la-valutazione-individuale/
      ________________________
      Se consideriamo la valutazione della qualità della ricerca delle strutture, la VQR 2004-2010, bisogna essere consapevoli che essa è ispirata al modello inglese ed ha punti di contatto con la valutazione australiana ERA 2010. Tuttavia, se ne discosta su alcuni importanti aspetti tecnici che finiscono per comprometterne la solidità metodologica. Per saperne di più:
      https://www.roars.it/online/i-numeri-tossici-che-minacciano-la-scienza/
      https://www.roars.it/online/no-bibliometrics-please-were-british/

    • Caro Collega,
      avrei una risposta per le scienze “soft”: molto in sintesi un mix ben combinato di indicatori diversi per le valutazioni di ateneo e di struttura, che debbono essere fatte in modo “leggero” e senza un eccessivo spreco di risorse; una informed peer review per le valutazioni individuali. Le scienze dure non sono il mio campo e lascio la parola a De Nicolao.
      Solo una postilla: credo che trasparenza e rendicontabilità rimangano elementi dai quali non possiamo prescindere. Una sana cultura della valutazione presuppone un sano controllo reciproco entro le comunità scientifiche. Senza di questo, non andremo da nessuna parte.

  3. Gentilissimi,
    avrei una domanda terra terra per tutti voi. Infatti, si parla e riparla della pachidermica VQR, e dei meccanismi vari di valutazione della ricerca. Io ho fatto il valutatore della ricerca per la VQR, finendo io mio lavoro nel gennaio 2013, e non ho visto ancora una lira -o un euro, come preferite.
    In compenso, l’estate scorsa mi è arrivata una mail del Presidente dell’ANVUUR/VQR dove si comunicava a tutti i valutatori italiani che si era data la precedenza, nei pagamenti, ai valutatori stranieri -dunque, l’italiano è sempre meno uguale di un non-italiano, del resto abbiamo bisogno degli stranieri per capire chi va bene e chi no come professore per le università italiane, vedi meccanismo ASN e meccanismo di chiamata locale.
    Il Presidente scriveva che sicuramente avremmo convenuto con lui sull’opportunità di dare la priorità ai valutatori non-italiani per il pagamento dell’attività svolta.
    Ora, a parte il fatto che io non convengo proprio per niente che i non-italiani debbano avere la precedenza sugli italiani, rimane anche il fatto che io non ho ricevuto ancora nulla per la mia attività di valutatore.
    Qualcuno di voi è stato pagato?
    Perché questo grande ritardo? AL ministero devono forse valutare se introdurre una valutazione su come definire le priorità di pagamento? Che so, lettera dell’alfabeto del cognome, data di nascita, luogo di nascita; oppure vogliono introdurre anche qui, un bel sorteggio?
    grazie per quanto riuscirete a farmi sapere

  4. Giovanni Salmeri says:

    «Allinearsi agli standard internazionali, ossia quelli fissati dalla “comunità scientifica egemonica”: quella anglofona». La maggior parte degli studiosi di filosofia in Italia non sarebbe d’accordo, e neppure sarebbe d’accordo nel considerare l’inglese «lingua veicolare». Penso che sia abbastanza noto anche a chi si occupa d’altro che nella maggior parte dei settori della filosofia (più o meno gran parte della filosofia teoretica, ermeneutica, fenomenologia, filosofia morale, antropologia filosofica, estetica, buona parte della storia della filosofia) l’inglese non è affatto la lingua dominante e di scambio. Nei convegni che si occupano di queste cose, in genere ognuno parla la propria lingua, tutti gli altri capiscono. Non mi pare che questa sia una prassi provinciale. Considerare «comunità scientifica dominante» quella anglofona significherebbe invece solo dare un immediato e debordante privilegio alla filosofia di indirizzo analitico, e quindi premiare *non* l’internazionalizzazione, ma semplicemente una determinata linea di ricerca (importante, degnissima: ma una tra tante). Sto semplificando enormemente un tema molto più complesso (tra l’altro, non credo affatto ad una separazione impermeabile tra filosofia «analitica» e «continentale»): ma volevo solo notare che dietro certe opzioni di metodo nella valutazione vi possono essere anche pesanti ricadute di contenuto.

    • Mario Ricciardi says:

      Caro Giovanni,

      forse non frequentiamo gli stessi convegni, ma la mia esperienza è piuttosto diversa. Le uniche occasioni in cui mi è capitato che ciascuno parlasse la propria lingua e tutti si capissero sono state incontri in cui – oltre agli italiani – erano presenti esclusivamente colleghi spagnoli o (in qualche occasione) francesi. Negli altri casi, la regola era che si parlava inglese. Aggiungerei che la mia valutazione di alcune delle discipline che hai menzionato è molto diversa dalla tua. A me pare che buona parte del dibattito internazionale – e delle cose che vale la pena di leggere – in filosofia morale sia in inglese. Ciò detto, questo non esclude che ci siano settori disciplinari, o tradizioni di ricerca, dove le cose vanno in modo diverso. Comunque, anche se tutta la migliore filosofia del mondo fosse in inglese, questa non sarebbe una buona ragione per disegnare – come alcuni vorrebbero fare – un sistema di incentivi il cui scopo è cancellare le comunità filosofiche che si esprimono nelle lingue nazionali. Francamente non capisco quale beneficio questa cosa porterebbe alla filosofia o al nostro paese.

      Cordialmente,

      Mario

    • Giovanni Salmeri says:

      Caro Mario,
      rileggendo ciò che ho scritto mi accorgo di aver lasciato nella penna qualche specificazione necessaria. In sostanza intendevo dire esattamente ciò che più precisamente hai scritto tu: «ci [sono] settori disciplinari, o tradizioni di ricerca, dove le cose vanno in modo diverso». Dove le cose vanno in modo diverso, è ovvio che anche i convegni si svolgano in maniera diversa: tra qualche settimana si svolgerà a Roma uno dei più celebri colloqui di Filosofia della religione, e nel programma vi sono 7 relazioni in francese, 4 in tedesco, 4 in inglese, una in italiano (in realtà gli italiani a parlare sono due, ma uno ha preferito parlare in inglese). Ovviamente nessuna traduzione simultanea, al massimo il testo scritto in mano per seguire con più facilità. Questa pluralità linguistica mi pare una ricchezza e mi pare molto discutibile la tendenza a considerare le scienze umane «arretrate» nella misura in cui ancora non si sono arrese al predominio dell’inglese.

  5. Marinella Lorinczi says:

    E’ encomiabile la vostra pazienza e la vostra perizia nell’analizzare e smontare l’articolo recensito. Nelle vostre pagine abbiamo avuto modo, del resto, di seguire numerose volte la discussione intorno alla valutazione della ricerca, italica VQR compresa. Tuttavia io non credo nella schizofrenia metodologica di una persona capace di intendere e di volere. In punto è cosa intende e cosa vuole. Le modalità di affrontare un argomento in quanto studioso e non in quanto conversante salottiero dovrebbero essere simili, della stessa accuratezza, in qualsiasi circostanza, a maggior ragione se si pubblica in una rivista della cosiddetta fascia A e se si è un valutatore (ancorché non dichiarato). Sarà stato, l’articolo rispettivo, peer-reviewed? Ma a prescindere da questo dettaglio, che però dovrebbe far parte integrante dell’argomento trattato (la valutazione della ricerca; e inoltre, chi valuta è al di sopra della valutazione?), mi fanno senso due aspetti emersi durante l’analisi e la discussione. Il primo è, appunto, la disinvoltura nella superficialità (ma poiché non è obbligatorio essere esperti in scientometria, uno può benissimo non praticarla, oppure se vuole farla, si fa anzitutto l’apprendistato bibliografico; diversamente incassa il dovuto). Il secondo riguarda i compensi: cara collega Simonetta, campa cavallo, a mio modesto parere. Ce ne sono già le avvisaglie. Sarei proprio curiosa di apprendere da dove il MIUR attinge(rà) i fondi, in un momento di crisi profonda quando si devono ridurre le spese pubbliche, per Anvur, Vqr, Asn, Invalsi, test generalistici universitari e quant’altro, tutt’insieme; dimenticavo: Ava. O si deve fare volontariato, come del resto facciamo già con tutte le incombenze burocratiche che si stanno sviluppando metastaticamente?

  6. Michele Costa says:

    Nessuno parla di come si valuta la ricerca negli USA, che pure sono al top di tutte le classifiche (qualunque congruenza abbiano). Come fanno lì?

    • Negli Stati Uniti non esiste una valutazione centralizzata del sistema dell’università e ricerca. Gli atenei hanno i propri meccanismi di valutazione. Altro discorso per quanto riguarda i grants, su cui ci si può documentare qui: http://www.nsf.gov/

  7. Simonetta
    valutatore, trova che la cosa più scandalosa di tutta la procedura sia il suo ritardato pagamento. dà fastidio, neh, anche a piccole dosi? pensi una vita di precariato. precariato? what is precariato?
    Marinella Lorinczi
    di ruolo da trent’anni, ogni mese che Dio manda in terra il santo stipendio in saccoccia, 13sima, ferie, malattia eccetera, crede di fare “volontariato”.

    Due commenti che valgono più di mille post.
    Qu’ils mangent de la brioches…

    • Calma, siamo sulla stessa barca, non azzanniamoci a vicenda…

      Da “giovane esterno” spero di non sbagliarmi, comunque ecco le mie considerazioni…

      Certo, se simonetta (è così, giusto?) e Mariella Lorinczi sono di ruolo sono “più fortunate” della “massa”, ma nondimeno i loro commenti mi paiono ragionevoli.

      Dopotutto se si rende la valutazione un lavoro che verrà pagato chissà quando con una strana componente di campanilismo inverso, è un problema, uno dei tanti che peggiora la valutazione stessa.

      E se chi è di ruolo viene assunto per fare X, che è la sostanza dell’università, ma poi si pretende o si è costretti a dirgli che faccia anche Y e Z, gratis o con “ti pagherò”, si toglie al lavoro in X.

      Il fatto che giustamente si abbia presente che ora come ora chi è “non protetto” è nei guai non dovrebbe sminuire il fatto che anche questi problemi che colpiscono chi è “protetto” dal ruolo pesano significativamente sul sistema università…

    • Caro B_Rat,
      ti ricordo che tante incombenze sono piovute addosso a chi era sulla barca proprio perché si è deciso tutti insieme di non far più salire nessuno.
      Altro che stessa barca.

    • Marinella Lorinczi says:

      Ho commesso uno errore tecnico e mi sono scollegata e ho perso la risposta a micheledanieli, ma nel frattempo è apparsa quella dei B_Rat.
      L’avevo salvata, per cui la ricopio.
      Accetto la critica, nonostante le mie personali disavventure di carriera. Consideri che non ero nemmeno laureata in Italia. Ma erano altri tempi. E non è il singolo caso che conta. What is precariato? Quello che ho visto intorno a me, me inclusa, per molti anni, con una fitta generazione di assegnisti statali e regionali e di incaricati la cui situazione si è sbloccata, per chi si è sbloccata, soltanto quando sono iniziati i concorsi per ricercatori e le stabilizzazioni. Il precariato era all’ordine del giorno. Ma erano, come detto, altri tempi. C’erano altre prospettive e speranze. La scuola assorbiva ancora buona parte dei laureati. E forse una parte della società civile riteneva che il precariato non favorisse la crescita, né nel pubblico né nel privato. E cercava di porvi rimedio.
      Questa seconda ondata di precariato, veramente devastante, si è sviluppato invece in un clima sociale (globale, post 89 e alle soglie della crisi) molto diverso che ha creato vere e proprie caste. Non sono teorizzazioni o descrizioni mie o solo mie.
      Sono molto addolorata per lei, lo dico sinceramente, ma lo sono anche per mio figlio. Il che è forse indicativo della casta cui apparteniamo.
      Ciò non significa però che i malfunzionamenti quotidiani e vessatori provenienti dai posti di commando (=potere), con la complicità degli intermediari sociali, debbano essere costantemente ingoiati, perché siamo i cosiddetti ‘fortunati’. Il precariato attuale, per la mia esperienza, è strettamente legato anche a una disinvoltura gestionale miope sia della didattica caotizzata (resa caotica), sia degli organi collegiali per la maggior parte depotenziati (anche in termini di democrazia) ma proliferanti quantitativamente. Alcuni sostengono che ci sia sotto un disegno politico, ma che sia in atto comunque una deriva ideologica, è evidente a tutti. Tuttavia alcuni credono ancora che collaborando (volontariamente) al funzionamento di questo meccanismo che rasenta il mostruoso, si possa ottenere qualche risultato positivo, come ad es. la diminuzione del precariato. Staremo a vedere se hanno ragione.

    • Gentile Marinella Lorinczi,
      ha detto bene: “altri tempi. C’erano altre prospettive e speranze”.
      Ma come mai? Forse perché i docenti avevano chiaro il loro compito sociale, e la loro posizione di allievi prima e maestri poi. Un anello della catena.
      Poi qualcuno vi ha proposto di essere gli ultimi rappresentanti della specie. Di diventare una oligarchia.
      Avete accettato con entusiasmo, svolgendo il compito richiesto ovvero macellare una generazione, e chissà quante altre ancora.
      Apres moi le déluge.
      Buon divertimento.

    • Le taglienti osservazioni di Danieli sono ahimé in gran parte condivisibili. Di generazioni ne sono state macellate ben più di una; nel contempo, va detto che coloro che sono “dentro” non hanno tutti lo stesso livello di responsabilità come individui; ma come categoria sì, senza dubbio. Il 2010 ha visto una sconfitta epocale dell’università pubblica in Italia: quello che abbiamo lasciato ci facessero sarebbe stato impensabile in paesi più civili, o almeno più civilizzati (penso alla Francia, che conosco bene). Il danno è fatto. Come singoli, cosa si può continuare a fare? Qualcosa si può. Ad esempio, rifiutarsi di fare i “valutatori”, pagati o meno.

  8. Marinella Lorinczi says:

    Vede, accetto anche questo. La mia tesi è infatti che tutto è avvenuto con la collaborazione e/o la complicità di buona parte del personale universitario, alte gerarchie in testa. Più alta è la carica, maggiore è la responsabilità, presumo. Personalmente non ne ho mai avute. Le proporrei di rivolgersi col voi a tutti e continuamente, soprattutto a coloro che hanno taciuto e tacciono pubblicamente, non si sono esposti mai e non si espongono, hanno votato e continuano a votare a maggioranza, hanno sostenuto e continuano a sostenere con entusiasmo, fino a ieri l’altro, tutti i mastodontici RAV (rapporto di autovalutazione), completamente inutili quanto a interventi correttivi che pure si potevano fare nel limite del possibile. I verbali dei consigli di facoltà potrebbero essere illuminanti, anche per campionatura, su come si sono svolte le cose. Sono documenti pubblici, si possono consultare. Dopodiché ciascuno può essere richiamato alla sua responsabilità individuale, con nome e cognome.

  9. indrani maitravaruni says:

    C’è una deriva cancerosa, metastatica, con rovesciamento di valori secolari spacciato per progresso. Noi adesso mendichiamo i soldi per tenere accesi gli abbonamenti delle riviste, siamo alla canna del gas. Nei consigli si fanno passare cose inaudite (tipo che gli studenti sono clienti e che dobbiamo far laureare anche le bestie), si affossano insegnamenti seri e si promuovono gli specchietti per le allodole, il ministero è uno spauracchio agitato per farci chinare il capo. Gli astenuti o i contrari si contano sulle dita di mezza mano …

    • Marinella Lorinczi says:

      Come quasi sempre megli ultimi 15 anni. Forse anche prima era così, ma il contesto era diverso. Del resto l’espediente per scoraggiare o inibire i contrari e astenuti e molto semplice: si inizia la votazione non dai favorevoli, ma dagli altri, che cosi sono costretti ad ‘esporsi’, mettendosi in evidenza, alzando la mano, metre la maggioranza ‘favorevole’ , a questo punto non muove nemmeno un dito. Si invoca sempre la praticita di questo tipo di votazione, perche cosi la maggioranza si conteggia per semplice sottrazione. Ma quando si tratta di argomenti importanti, e impressionante vedere la massa immobile, silenziosa dei ‘favorevoli’. Che guarda tutta nella stessa direzione, tanto i contrari e astenuti sono stati gia contati e percio necessariamente individuati e visti. Non e degno del teatro dell’asurdo?

  10. Carlo Cappa says:

    Mi permetto di riprendere le considerazioni del collega Salmeri, considerazioni che condivido appieno e alle quali desidero aggiungere un aspetto per me assai significativo. Se certo non si può tacere l’importanza di padroneggiare una lingua veicolare per confrontarsi con studiosi appartenenti a universi linguistici molto distanti dal nostro e se questa dinamica non può essere definita un’inedita contingenza della nostra epoca, poiché, nel corso della storia, idiomi che hanno conquistato tale statura si sono succeduti caratterizzando le relazioni tra intellettuali, la pluralità linguistica è stata ed è valore non limitato allo scambio informativo, ma proprio e fondativo dell’identità europea.
    La sua salvaguardia, in tal senso, non ha nulla a che vedere con un’azione di retroguardia dal sapore nostalgico appannaggio di una conventicola d’antan; preservare la ricchezza molteplice dei diversi patrimoni linguistici, al contrario, significa scommettere per il futuro sulla viva forza di più tradizioni culturali differenti, gravemente dimidiate da una forzosa costrizione all’interno di un solo codice espressivo, pur ricco, diffuso e condiviso. Ed eguale discorso non può non valere anche per le lingue che hanno permesso la continuità della nostra tradizione culturale, greco e latino tra tutte.
    È naturale che questa attenzione sia mantenuta alta soprattutto all’interno di alcune discipline, come il recente dibattito sugli studi umanistici dimostra, ma tale consapevolezza non può che essere, per incidere positivamente nel complesso dell’ambito educativo, sensibilità compartecipata di tutti. Ben vengano, quindi, tutte le riflessioni volte a porre in discussione criteri normativi, tanto valutativi quanto riguardanti la produzione e la diffusione dei lavori scientifici, eccessivamente rigidi ed esemplati su pratiche invalse in singoli settori disciplinari e a questi funzionali.

  11. Pingback: 360/2013 All’indice. Critica della cultura della valutazione | aut aut

  12. Pingback: Sull'ultimo numero di AUTAUT: Critica della cultura della valutazione - Educazione libertaria | Educazione libertaria

Leave a Reply

Sostieni ROARS

Sostieni ROARS