Articolo apparso su Il Manifesto del 21 luglio 2012
Come c’era da aspettarsi, la furia valutativa e ‘meritocratica’ del ministro Profumo e dell’ANVUR (l’Agenzia Nazionale di Valutazione) ha incontrato l’entusiasmo ‘riformista’ degli ineffabili liberisti di casa nostra: è partita da diverse settimane la martellante campagna di stampa (pardon: dibattito) promossa dal «Sole24Ore», che, nell’inserto domenicale, ospita interventi sulla valutazione della ricerca scientifica, tutti –guarda caso– uniformemente schierati a sostegno della crociata governativa a difesa del ‘merito’.
Naturalmente, chi è avvezzo alla concretezza (e naviga tra scuole di business e di management, di comunicazione e conduzione aziendale, di pubblicità e marketing) assimila il mondo della ricerca a quello del pensiero unico economico-finanziario e, nell’intento di incoraggiare un sistema di premialità ‘meritocratica’, si limita a riprodurre l’ambito delle agenzie di rating. Del tutto ovvio, dunque, che consideri ogni tentativo di problematizzare la questione del ‘merito’ e della ‘valutazione’ insopportabile sofisma e/o pretesto dell’accademia polverosa per rallentare l’affermazione del nuovo che avanza. La valutazione della ricerca si deve fare, costi quel che costi.
E tuttavia, dietro questo grande pragmatismo si cela un altrettanto grande schematismo di analisi, buono certo a catturare il consenso di un’opinione comune alla frettolosa ricerca di soluzioni facili per problemi complessi (come indirizzare le risorse al merito? Come selezionare i migliori studiosi?). L’ennesima conferma, qualora ce ne fosse bisogno, del livello spesso mediocre, quando non infimo, del discorso pubblico su università e ricerca in Italia.
E infatti, se pure si può comprendere l’utilità empirica dell’impiego di parametri oggettivi di valutazione della ricerca, bisogna avere ben chiara la grande rozzezza dei risultati che possono essere prodotti da tutte le procedure che mirano a fornire soluzioni di tipo aritmetico ad un problema che non è quantitativo, ma qualitativo e valutarne con estrema cautela gli esiti.
I parametri quantitativi mantengono una loro solidità solo se un discorso complesso viene arbitrariamente semplificato: ed è una semplificazione –e un mero espediente statistico– considerare indici di citazioni, ranking di riviste e impact factor come lo strumento prioritario per valutare i singoli studiosi o gli atenei e stilarne più o meno utili e opinabili classifiche.
Se l’applicazione di questi indicatori appare discutibile per le cosiddette ‘scienze dure’, lo è, a maggior ragione, per i saperi umanistici, i più refrattari all’adozione di un sistema di misurazione oggettivo della produzione scientifica. Né è possibile (in quanto scientificamente errato oltre che palesemente contrario ad ogni buonsenso) applicare un metodo valutativo standardizzato –quello mutuato dalle scienze esatte– ad ambiti del sapere differenti, ignorando le differenze strutturali, costitutive, epistemologiche, fra i diversi campi disciplinari, nel loro diverso rapporto con le rispettive tradizioni scientifiche.
Nonostante tutte le rassicurazioni in senso contrario (vd. Marina Giaveri, «il Manifesto» 9 maggio 2012), l’ANVUR continua ad affidare il giudizio della ricerca nelle ‘aree non bibliometriche’ a un “mix valutativo”: criteri ‘interni’ di giudizio (il sistema della peer-review, ovvero la valutazione effettuata da un “pari”, un esperto in grado di entrare nel merito di una pubblicazione) integrati da parametri oggettivi (il ranking di riviste per cui, a seconda della graduatoria stilata dall’Agenzia di valutazione, lo stesso saggio viene giudicato in maniera diversa –e dunque indipendentemente dal suo contenuto– a seconda della rivista in cui appare).
La questione non è di poco conto, dal momento che la distinzione tra la serie A, B e C delle riviste viene effettuata dall’ANVUR, con la consulenza di fantomatici esperti della Valutazione della Qualità della Ricerca e delle società scientifiche nazionali, sulla base di parametri standard pomposamente detti “rigore delle procedure di revisione e diffusione” e “impatto nelle comunità degli studiosi del settore”, corrispondenti in realtà ai soliti requisiti dell’abstract in inglese, dei referees anonimi e del comitato scientifico internazionale.
Al di là dei vincoli di setta e di collusione reciproca che possono influire sulla formulazione della classifica di merito (non mi soffermo su questo aspetto, ben illustrato da Alessandro Dal Lago, «il Manifesto» 16 maggio 2012), per capire quanto fuorviante sia l’adozione di criteri così palesemente estrinseci, basta osservare che sono già state segnalate (dai sociologi, da autorevoli italianisti, dalla Società italiana di filosofia teoretica, dai filosofi politici) numerose distorsioni per cui in molti casi la fascia A viene attribuita a riviste, spesso di area anglosassone, che non rappresentano affatto il più alto livello della ricerca; al contrario, non compaiono –perché ignorate e considerate di rango inferiore– riviste estremamente interessanti, quelle che negli ultimi anni hanno smosso qualcosa nella palude culturale italiana. Il perché è presto detto: l’initial list è compilata con gli stessi criteri di discipline nelle quali l’internazionalizzazione è considerata un fattore da valutare in positivo; ma questa scelta penalizza aree come il diritto e lo studio delle letterature nazionali dove l’internazionalizzazione non esiste (né ha ragione di esistere, dal momento che l’oggetto di studio della disciplina è nazionale). E si potrebbe discutere se per “internazionalizzazione” delle riviste non si debba intendere anche la capacità attrattiva che le testate italiane esercitano nei confronti degli studiosi stranieri.
Molte altre osservazioni si potrebbero fare: la possibilità, niente affatto remota, che riviste periferiche o “militanti” ospitino saggi di grande valore scientifico e dunque il sospetto che un criterio burocratico di valutazione escluda l’idea stessa di ricerca come novità e come ‘rottura’ dei canoni e dei filoni tradizionali di studio; ma preme rilevare che, al di là di ogni giaculatoria di rito, questo tipo di valutazione lancia una sfida mortale alle materie umanistiche nel momento stesso in cui pretende di sovrapporre l’esperienza della semplificazione (indici e algoritmi) alla cultura della complessità, le conoscenze digitalizzabili alla problematizzazione teorica, la computazione di dati al gesto interpretativo, la simultaneità globale ai tempi lunghi di riflessione, le logiche autoritarie alle pratiche di condivisione e di persuasione.
E seppure le discipline umanistiche per guadagnarsi dignità e rispetto da parte dei tecnocrati (Confindustria, ANVUR, ministro Profumo) abdicassero alla propria identità più profonda –quella connaturata a una lunga tradizione di pensiero critico e astratto–, non ne uscirebbero fatalmente sconfitte (in una impari gara con chi gestisce aziende, ripara macchine, cura malattie), oltre che svilite e snaturate?
Non è piuttosto che l’ultima trincea per evitare la débâcle delle discipline umanistiche resta quella della rivendicazione di una piena dignità metodologica e disciplinare e la necessità di battersi contro i sempre più disastrosi interventi per disconoscerne gli spazi e la funzione?
Articolo apparso su Il Manifesto del 21 luglio 2012
Sì, assolutamente d’accordo.
E tuttavia. Per quanto da umanista non posso che concordare in modo sostanziale con quanto si dice nell’articolo, non posso neppure fingere di ritenere che l’esigenza di criteri non troppo flessibili provenga dalla sola malignità del pensiero unico…
Che un problema di abuso dell’intrinseca flessibilità dei criteri di valutazione scientifica ci sia stato e ci sia non può essere messo da parte. Come non può essere messo tra parentesi il fatto che, celandosi dietro all’insindacabilità del giudizio qualitativo, in numerosi casi si è fatta semplicemente valere la legge del più forte (accademicamente parlando).
In questo senso credo sia controproducente limitarsi a negare ogni forma di valutazione che pretenda obiettività. Il problema sta nel capire cosa può funzionare come criterio di valutazione simil-obiettiva, senza radere al suolo istanze qualitative.
In questo sito scrivono persone molto più competenti del sottoscritto nel poter offrire suggerimenti, ma personalmente credo che una piccola modifica all’impianto della presente abilitazione potrebbe già produrre effetti positivi.
Diamo per scontato che per l’attuale tornata le cose sono andate come sono andate. Ma sul piano prospettico, se invece di stabilire mediane retroattive su database farlocchi si stabilissero ora per il futuro un paio di criteri seri e non transabili da superare per poter accedere ai concorsi, questo potrebbe risolvere molti problemi. Intendo dire, ad esempio, che se si fornisse una lista, aggiornabile ogni anno, degli editori e delle riviste che garantiscono un filtro di qualità e si stabilisse che per accedere all’abilitazione sia necessario, per dire, avere pubblicato almeno una monografia presso uno di questi editori e/o un paio di articoli in quella classe di riviste così predeterminata, ciò avrebbe senso. NB: il numero delle pubblicazioni dovrebbe essere fisso e non variabile come quello delle mediane. Ed anche se, ovviamente, ci sarebbero iniziali lotte tra editori per riuscire a rientrare nelle suddette liste, non mi pare che ciò rappresenti un problema insuperabile. Quanto ai candidati, per quanto sia del tutto vero che il valore di ciò che uno produce non è necessariamente rispecchiato dal luogo di pubblicazione e che alcuni criteri di pubblicazione ‘rigorosi’ possano essere delle camicie di forza per gli autori più originali, è anche vero che uno studioso di valore, se lo sa in anticipo, può mettersi nelle condizioni una tantum per passare criteri editoriali valutabili come ‘opprimenti’. Questo varrebbe come un esercizio di abilità, nel senso proprio di un’abilitazione e consentirebbe di espellere dalla cerchia dei potenziali docenti un certo numero di inabili ben ammanicati. Questo di per sé ci metterebbe alla pari con i migliori standard internazionali, giacché in Italia non sono mai mancate le eccellenze bensì è mancata la garanzia di un livello medio garantito.
In prospettiva sarà forse necessario anche stabilire qualche regola e qualche responsabilità in più per i commissari giudicanti; perché non è possibile andare avanti con la finzione del sistema automatico, delle regole asettiche, dei metodi scientifici. Esseri umani scelgono ora e sceglieranno in futuro altri esseri umani; diamo ai primi una certa libertà di scelta chiara e visibile, secondo la loro competenza, e chiediamo loro una presa di responsabilità in relazione alle scelte che faranno. Altrimenti continueremo a credere che basta stabilire delle regole per ottenere l’abilitazione o il reclutamento e poi il candidato se la veda lui su come cavarsela. L’università è prima di tutto una comunità, non una corsa ad ostacoli; ognuno ha compiti, responsabilità, diritti e doveri: sarà il caso di tornare a guardarci tutti in faccia, senza troppo nasconderci dietro l’ipocrisia delle mediane e delle classifiche.
@Andrea
La tua proposta mi pare sensata e, soprattutto, perseguibile (in Italia si parla tanto di come raggiungere la luna). Il problema fondamentale è quello della qualità. LA qualità del prodotto scientifico non è facilmente misurabile. L’uso di uno sbarramento editoriale potrebbe essere valido. Ma come tutti i sistemi ‘automatici’ rischia di essere troppo rigido. Ci può essere una monografia importante pubblicata presso un piccolo editore di provincia. Inoltre alla lunga questo metodo rischierebbe proprio di eliminare i piccoli editori, in quanto tutti cercherebbero di evitarli. Un altro filtro utile può essere quello accademico. e pubblico una tesi di dottorato, si tratta di un lavoro che ha passato i filtri del tutor, della commissione ecc. (certo si potrebbe aprire la questione del valore reale dei titoli accademici in Italia; però un minimo di garanzia lo danno).
@Gerti
Sono d’accordo anche con te, però il problema della responsabilità (ma di che tipo: morale? giudiziaria?) è uno dei problemi fondamentali dell’Italia in tutti i campi.
l’unica responsabilità che mi sembra credibile è quella scientifica connessa all’accesso ai finanziamenti; un ordinario o un associato organizzano un progetto di ricerca, si scelgono i loro collaboratori, assicurano loro una condizione di lavoro dignitosa e certa e poi mostrano alla comunità scientifica e al ministero l’esito del loro lavoro; alcuni collaboratori saranno stati bravi, e se li terranno; altri no, e verranno invitati a cercarsi un’altra sistemazione… sì, lo so, roba da extraterrestri… perché sarebbe già tutto possibile grazie ai Prin, eppure… mentre scrivo penso anche che una via di soluzione potrebbe essere davvero l’abolizione del valore legale del titolo di studio… ma per come conosco l’Italia ho il fondato sospetto che si troverà sempre un modo per trasformare un buon principio in una pessima messa in pratica;
Roars ha seguito con attenzione il dibattito sull’abolizione del valore legale del titolo di studio. Molti fautori dell’abolizione non sembrano avere le idee chiare sulla natura del problema, su quali interventi concreti essi vogliano sostenere e sulle conseguenze della ventilata abolizione. Tra i molti materiali pubblicati, consiglio la lettura dei seguente articoli
A. Stella, Riflessioni sull’abolizione del valore legale del titolo di studio (https://www.roars.it/?p=7510)
Redazione Roars: VQR, Valore legale e qualità della regolazione: i documenti CUN (https://www.roars.it/?p=8133)
F. Coniglione, Sul valore legale si decide online. Una consultazione indispensabile? (https://www.roars.it/?p=5213)
L’ultimo articolo contiene anche i link a numerosi riferimenti bibliografici.
ecco, direi di esser d’accordo con quello che ha scritto Paolo Rossi
http://www.df.unipi.it/~rossi/Universita'%20e%20Paese.pdf
“Quale autonomia allora? In un Paese che non esiste ma in cui mi piacerebbe vivere ed operare ci sarebbe un sistema pubblico dell’alta formazione, finanziato in conformità a standard europei, e i cui soggetti operassero in un contesto di autonomia concertata e non competitiva, ovvero organizzandosi con il massimo della libertà ma anche con il massimo della responsabilità, per cui a una valutazione basata non sulle procedure ma sulla realizzazione degli obiettivi facesse seguito un’adeguata remunerazione dei risultati e una penalizzazione delle inadempienze.
Chi valuta dovrebbe essere terzo non solo rispetto a chi è valutato ma anche rispetto a chi detta le regole del gioco e gli obiettivi, e non risultare contemporaneamente legislatore, giudice e boia. E chi poi all’interno del sistema ha preso decisioni gravemente errate dovrebbe essere interdetto dal prenderne altre, qualunque sia il suo status.”
Al di la della definizione delle riviste di fascia A nei settori non bibliometrici, l’intera campagna di valutazione è palesemente viziata da tre gravi aspetti che determineranno gravi distorsioni anche nell’ambito delle cosiddette scienze dure:
1) l’assenza di una qualsivoglia valutazione del fattore di proprietà;
2) l’inclusione delle auto-citazioni nei parametri relativi (cit. totali e h index);
3) il fattore normalizzante dell’età accademica.
Il risultato è che borsisti di primo pelo che lavorano in grandi collaborazioni nazionali o internazionali (ossia sono uno delle parecchie centinaia di autori collaboranti) hanno parametri migliori di ricercatori o prof. assoc. di lunga esperienza e riconosciuti internazionalmente che hanno però la sfortuna di lavorare in contesti i cui per fare ricerca non c’è necessariamente bisogno di massa critica.
Inoltre mi piacerebbe se i nostri amici economisti del Sole24Ore, che ci assillano quotidianamente con le loro giaculatorie sulla produttività, avessero il coraggio di introdurre nella valutazione un parametro semplice semplice in cui a numeratore ci fosse il numero di prodotti (opportunamente corretto con il fattore di proprietà) e a denominatore i finanziamenti ricevuti (anch’esso eventualmente corretto con un fattore di pertinenza dei fondi). Sono convinto che questo parametro stravolgerebbe completamente le graduatorie che hanno definito le famigerate mediane.
Mi chiedo per quale motivo il Prof. Onida non abbia incentrato il suo ricorso sui punti precedenti che determinano palesemente una grave sperequazione nella procedura di valutazione.
Perche’ Roars pubblica il 1 settembre un articolo uscito il 21 luglio su il Manifesto? Mentre lo leggevo mi sono sentito un cretino: “la martellante campagna di stampa … dell’inserto domenicale del Sole 24 Ore”. Ma come, lo ho comprato nelle ultime due domeniche sperando di trovare qualcosa di valutazione e non ho trovato nulla. E poi “la fascia A viene attribuita a riviste, spesso di area anglosassone, che non rappresentano affatto il più alto livello della ricerca”. Ma come, le liste devono ancora uscire e gia’ questi dicono che non sono rappresentative? Solo alla fine ho capito che era stato scritto un mese e mezzo fa. A me pare che la “martellante campagna di stampa (pardon: dibattito)” la stiate ospitando qui, senza aggiornare ne’ il martello ne’ il chiodo.
Roc: “Perche’ Roars pubblica il 1 settembre un articolo uscito il 21 luglio su il Manifesto?”
Ha ragione, andava indicato più chiaramente. Ho spostato in testa la nota sulla sede originale di pubblicazione.
Riguardo al ritardo (di cui ci scusiamo anche con l’autrice) la ragione è semplice: non siamo riusciti a pubblicarlo prima dato che abbiamo trascorso il mese di agosto ad analizzare decreti dissuasivi, mediane bibliometriche pubblicate a ferragosto, mediane non bibliometriche pubblicate dopo ferragosto, revisione totale delle mediane, semafori di tutti i colori e così via. Pensavamo ad un agosto più tranquillo durante il quale avremmo potuto segnalare materiali di interesse, anche pubblicati altrove. Invece è stato un mese caldissimo, non solo per le temperature. Abbiamo seguito tutte le novità delle abilitazioni giorno per giorno scrivendo articoli originali che hanno rubato ore alle nostre notti e spazio alla scaletta che avevamo predisposto a fine luglio. Credo che i lettori abbiano preferito essere informati in tempo reale sulle mediane e che possano perdonare qualche sbavatura anche alla luce dello sforzo che abbiamo fatto sacrificando buona parte delle nostre vacanze.
Sbavatura senz’altro perdonabile e perdonata. Grazie per tutto il lavoro fatto.
Una domanda: si richiede l’inserimento dei periodi di congedo. Per chi non è strutturato, congedo da cosa? E a che serve nel calcolo?
@ Augusto Cosentino:
Le due obiezioni che sollevi non mi sembrano decisive.
Quanto al fatto che un lavoro ottimo può comparire in una sede poco qualificata l’ho ammesso, ovviamente, e infatti la mia idea è di farne un criterio solo prospettico: se l’anno prossimo pubblichi nella sede B piuttosto che in quella A sai che il tuo titolo non conterà a fini abilitativi (ma ovviamente non sono questi gli unici fini di una pubblicazione). Anteponendo una lista chiara di editori e riviste si può considerare la pubblicazione come una prova (non dissimile da un esame).
Quanto alla questione della lotta tra editori, è chiaro che ci sarebbe, ma se la lista è periodicamente aggiornabile e vengono dati dei criteri generali di eccellenza per poter rientrare nel novero di tali editori nessuno verrebbe escluso per sempre e ci sarebbe comunque uno stimolo all’editoria italiana a curare la qualità rispetto alla quantità. Tra l’altro sistemi simili esistono già nel mondo anglosassone dove producono due distinti indirizzi di produzione, uno di editoria scientifica che può contare su vendite standard certe ad università e biblioteche, ed un altro di editoria generalista che supplisce all’incertezza del mercato con l’ampiezza del pubblico cui può rivolgersi.
Trovo sorprendente, e ASSOLUTAMENTE INIQUO, che nessuno dei parametri individuati dal ministro (e dall’ANVUR) tenga conto del numero dei coautori delle pubblicazioni prodotte dai candidati. Con i criteri fissati dal decreto, due pubblicazioni di ugual “valore” (=numero di citazioni per i settori bibliometrici), rispettivamente del candidato x e del candidato y, vengono conteggiate allo stesso modo anche se la prima e’ a
nome solo del candidato x e l’altra ha come autori y e altre nove persone….
Fra l’altro e’ facilmente intuibile che chi lavora spesso in collaborazione, magari dentro grosse “scuole”, puo’ essere
facilitato nell’ottenere citazioni e quindi doppiamente favorito.
Mi sembra quindi essenziale, se si vuole una valutazione equa,
tenere conto del numero dei coautori sia nel conteggio delle pubblicazioni che nei parametri legati alle citazioni.
Oltretutto non vorrei che, in seguito all’approvazione di criteri che non tengono conto del numero dei coautori, si creasse
(o si incrementasse, nel caso esista gia’…) una specie di “mercato di libero scambio” per i furbetti (“io ho fatto un
lavoro, tu ne hai fatto un altro, li facciamo apparire entrambi a due nomi e ci guadagniamo entrambi…”). Non mi pare
proprio che cosi’ si valorizzi il merito tanto invocato dal ministro e dall’ANVUR……. Il senso della giustizia se lo sono messo sotto i piedi.
E’ VERGOGNOSO che si sia ignorato completamente il problema del numero dei coautori…..