Salvezza dall’alto. Retorica e critica della valutazione

Io credo non si possa parlare della valutazione in ambito umanistico senza aver fatto perlomeno qualche cenno circa la questione generale relativa al dibattito che accompagna la costruzione e l’avanzamento del processo di valutazione in rapporto al sistema universitario italiano.[1]

Muoverò quindi dapprima da alcune considerazioni generali (I) per andare poi a vedere alcune cose più specifiche in relazione alla valutazione nell’ambito filosofico e in particolare in relazione alla questione dei ranking delle riviste (II).

I.

‘Valutazione’ è la parola-chiave intorno alla quale oggi ruota la discussione sull’università italiana. Su di essa si fa perno considerandola non di rado come una sorta di panacea in grado di portar fuori l’università italiana dai suoi ritardi e dai suoi vizi e, in generale, come la pratica in grado di guarirla dai mali più diversi che la caratterizzano.

E se è diventata la parola chiave è per il fatto, io credo, che essa esprime una esigenza concreta e reale, avvertita a tutti i livelli, quella cioè di far uscire l’università italiana da una retorica dentro la quale talora essa è rimasta ingabbiata; quella secondo la quale “non ci sono differenze”, “tutto si equivale” “nessuno mi può giudicare”.

Non è raro che dentro un dipartimento universitario quando c’è da fare una scelta che implica, ad esempio, un’allocazione di risorse, nel momento in cui qualcuno prova a mettere in campo elementi di valore per giustificare il maggior senso di una scelta piuttosto che di un’altra si oppongano a tentativi di questo tipo tesi che sostengono l’impossibilità di discriminare tra una linea di ricerca e un’altra, tra un gruppo di ricerca e un altro e che quindi l’unico criterio sensato è quello della rotazione, un criterio che si basa appunto sull’assunto secondo il quale ogni cosa è sul piano del valore scientifico uguale a un’altra e qualsiasi considerazione di merito si risolverebbe necessariamente in una sorta di violenza e prevaricazione di un modello su un altro.

Contro questa prassi e contro questa ideologia si pensa che possa intervenire la valutazione, la quale, si ritiene, dovrebbe consentire di discriminare ciò che invece nel modello del “tutto si equivale” appare come indiscriminabile. E tuttavia nel momento in cui la parola ‘valutazione’ viene caricata di una funzione salvifica si corre il rischio che attorno ad essa si creino di nuovo una ideologia e una retorica dalle quali deve guardarsi in primis chi svolge attività di tipo valutativo e nei confronti delle quali, io credo, è comunque necessario mettere in atto sempre e a tutti i livelli un esercizio critico.

La pratica della valutazione diventa essa stessa una retorica quando diventa una sorta di ideologia della misurazione del merito e della qualità secondo criteri determinati in modo estrinseco rispetto alle concrete pratiche di ricerca e nel momento in cui in qualche modo pretende di assumersi il peso di una scelta e di una responsabilità che non spettano in realtà al congegno valutativo in quanto tale, ma che in qualche modo il congegno – soprattutto se non avvertito criticamente – tende a inglobare su di sé.

Il motivo però per cui parlo di una retorica della valutazione è che appunto essa viene caricata di un valore e di una potenza tali, per cui qualsiasi voce si presenti come riflessione critica, come tentativo di problematizzare ciò che si impone come qualcosa che non può che essere accolto in quanto tale nel suo potere salvifico, viene letta come una resistenza rispetto a un’esigenza di moralizzazione, di modernizzazione, di autentico spirito riformatore che il concetto di valutazione sembra invece incarnare. Il gioco insomma è un po’ questo: acquisito che la valutazione e tutto ciò che essa implica è il meccanismo che sta alla base della terapia che deve far guarire (o resuscitare) l’università italiana, qualunque presa di posizione critica rispetto al modo in cui si intende la valutazione e ai modi con cui la si intende mettere in atto viene immediatamente percepita come il tentativo di fermare gli ingranaggi della macchina per difendere interessi corporativi, privilegi, rendite di posizione. Criticare la valutazione, o suoi modi e forme, è non voler essere valutati. Chi ha dubbi sull’efficacia della medicina è amico della malattia, se non germe egli stesso.

L’importante è che si valuti, che si basi tutto sulla valutazione. Cosa poi voglia dire valutare, che cosa davvero si valuti, come effettivamente si valuti, a quale scopo si valuti, tutto questo sembra essere meno importante rispetto all’efficacia retorica del centrare e fondare il proprio discorso sulla valutazione assunta come garanzia della serietà e obiettività delle azioni che si intendono intraprendere.

Questo aspetto retorico può sembrare marginale rispetto alle tecnicalità delle quali stiamo discutendo a diversi livelli in questo periodo e tuttavia credo abbia una enorme rilevanza soprattutto in relazione alla dimensione pubblica del discorso sull’università. E credo che molti degli argomenti – che io considero pericolosi – che sostengono rispetto alla valutazione “non importa come, l’importante è che si parta” abbiano dalla loro questo forte retroterra retorico che li spinge e li sostiene.

Non riconoscere e non porre esplicitamente a tema quelli che sono stati chiamati gli effetti collaterali della valutazione è tuttavia pericoloso e rischia di far danni niente affatto marginali sia nei confronti di ciò che si vuole valutare, sia nei confronti della stessa diffusione di una buona cultura della valutazione.

La valutazione non è infatti uno strumento innocuo che semplicemente fotografa una realtà. Qualsiasi valutazione modifica la realtà che essa valuta, qualsiasi strumento di misurazione di un oggetto, tanto più se così complesso come la ricerca scientifica, veicola necessariamente valori e modelli. Come spesso accade a dispositivi di questo tipo, nel momento in cui il meccanismo valutativo viene applicato a un certo ambito, esso produce un’immagine necessariamente filtrata di quell’ambito e poi, conseguentemente – ed è questo forse l’aspetto più interessante da considerare – una tendenza da parte di quello stesso ambito a trasformarsi in relazione allo strumento da cui viene valutato

Ora, quello che sta avvenendo di interessante (e di inquietante) all’interno di molti ambiti di ricerca che pure si articolavano su tradizioni importanti e consolidate è che le concrete pratiche di ricerca e i prodotti a cui queste pratiche danno luogo si stanno radicalmente modificando non tanto per un’esigenza interna alle strutture stesse della ricerca, ai suoi fini e ai suoi metodi, quanto piuttosto per le esigenze che alla ricerca impone la pratica valutativa. Per cui si tende ad esempio oggi sempre più a frammentare le ricerche in tante microricerche, nella consapevolezza che questo rende possibile un incremento quantitativo delle pubblicazioni e dunque una maggiore presenza e visibilità, all’interno della rete rappresentata dai sistemi di valutazione,  rispetto a quanto la pubblicazione ampia e compatta non possa garantire.

II.

Proprio la consapevolezza delle criticità implicite nel meccanismo valutativo impone di solito tempi lunghi nell’approntare le tecniche e gli strumenti valutativi.

Questo tempo – un tempo lungo di elaborazione degli strumenti e di discussione sulla loro efficacia con la comunità scientifica – l’ANVUR per la VQR non ce l’ha avuto. E non del tutto per sua volontà. Tuttavia proprio la mancanza di un tempo adeguato a disposizione avrebbe secondo me dovuto spingere l’ANVUR e i GEV a operazioni meno ardite rispetto ad alcune di quelle che caratterizzano la VQR.

Io vorrei dire qualcosa in relazione allo strumento che si è scelto per quanto riguarda la filosofia e in generale nell’ambito del cosiddetto GEV 11.

Qui si è scelto di costruire una classifica della riviste, un ranking, o un rating come ci invita a dire il prof. Bonaccorsi nel recente documento “Potenzialità e limiti dell’analisi bibliometrica nelle aree umanistiche e sociali”.

Definire “problematica” la lista che è stata prodotta rischia di essere solo un modo elegante per descrivere qualcosa di imbarazzante.

Io credo che l’esito imbarazzante sia in primo luogo dovuto al modo in cui si è proceduto per comporla, ma anche ad alcune criticità implicite nello strumento stesso del rating delle riviste.

Partiamo dalla modalità di elaborazione della classifica che è stata recentemente pubblicata.

1. La pratica è stata più o meno questa. A inizio novembre si è chiesto (anche se io non sono mai riuscito a vedere un documento nel quale ci fosse questa richiesta) alle Società scientifiche (che sono perlopiù le Società a cui fanno riferimento i docenti dei diversi SSD e sono quindi giocoforza caratterizzate da una forte struttura di tipo corporativo) di dare un elenco di riviste suddivise in fascia A e B, settoriali e intersettoriali. Questo lavoro doveva essere fatto prima di Natale, in modo da consentire di sottoporre poi queste liste a dei referee (della cui scelta e dei cui criteri di scelta non è dato sapere granchè). Le liste sono poi state rimandate alle Società che hanno dato il loro assenso o fatto le loro richieste di modificazione e sono quindi approdate al GEV, che ha deciso, credo in quest’ultima fase, di non pubblicare liste diverse settore per settore, ma un’unica , contenente tuttavia delle specificazioni fra parentesi a indicazione del loro valore per lo specifico settore disciplinare.

Ne è venuta fuori una cosa per cui riviste di caratura internazionale sono finite in fascia B e solo per uno specifico settore, anche se magari sono di grande rilevanza anche per altri. Queste riviste si sono viste poi messe sullo stesso piano di riviste sostanzialmente prive di storia, riviste cioè di cui sono usciti due o tre fascicoli.  Sono finiti in fascia A periodici che vengono inviati come omaggio agli studiosi che afferiscono a una certa società e che dicono esplicitamente di ospitare quelle che vengono chiamate pre-pubblicazioni, oppure riviste che sono state segnalate come di fascia A per un settore e di fascia B per un altro (dove vince il fatto che essendo per almeno il 50% segnalato come A, vale dunque come A per tutti) mentre sono finite in fascia B riviste che interessano più settori, ma che uno solo ha segnalato come di fascia A (e quindi malgrado interessi più settori, poiché per uno solo è fascia A, deve finire in fascia B).

In generale quello che stupisce al di là dei singoli casi (alcuni davvero eclatanti) è, come ha notato anche Antonio Banfi,  che in una classifica che viene fatta senza indicazione alcuna di criteri, ma in un documento che  rimanda per il futuro (e già questo è paradossale, o appunto imbarazzante) a parametri discriminanti perlopiù di tipo formale (continuità di pubblicazione, peer review, comitato editoriale, ecc.) la medesima rivista possa essere in una fascia per un settore e in un’altra fascia per un altro settore. Se i parametri sono formali o fanno riferimento a un riconoscimento diffuso, è perlomeno problematica questa difformità di collocazione. La rivista potrà forse essere inserita in un settore e non esserlo in un altro, ma non essere collocata in fasce diverse.

Nel già citato documento che si intitola “Potenzialità e limiti dell’analisi bibliometrica nelle aree umanistiche e sociali”, un documento che è a mio parere ambiguamente un progetto di lavoro per il futuro e una sorta di giustificazione ex post del lavoro fatto, dopo aver esplicitamente riconosciuto che il tempo ha impedito ai GEV una definizione formale delle categorie all’interno delle quali si è proceduto nella classificazione (operazione che dovrebbe essere quella decisiva per una classificazione e che non a caso è quella che ha impegnato maggiormente tutti coloro che a livello internazionale si sono impegnati in operazioni di questo tipo) e dopo aver riconosciuto che non c’è potuta essere nemmeno quella consultazione allargata che ha caratterizzato ad esempio l’esperienza spagnola, dopo aver riconosciuto tutto questo e altro ancora si afferma, riferendosi al modo in cui è andato facendosi il rating delle riviste nel GEV 11: «dal punto di vista metodologico, la procedura identificata è corretta», avendo triangolato tre fonti: società scientifiche, esperti, GEV. Se una procedura si misura anche dal risultato che riesce a produrre, forse qui qualcosa nella procedura è il caso di rivederlo. La triangolazione evidentemente è stata insufficiente, oppure, più probabilmente, è consistita in una mera “negoziazione” su questa o quella rivista, trascurando del tutto l’ambito in cui una triangolazione può maggiormente essere efficace, quello della discussione preliminare sui criteri.

Il problema è quello poi di capire a cosa servano di fatto queste liste. Esse vengono descritte come la base per una “informed peer review”. Su questo vorrei citare quanto scrive Valeria Pinto in un articolo che sta per essere pubblicato sulla “Rivista critica del diritto privato”:

«è sorprendente che la pretesa di oggettività della valutazione (…) incappi in una contraddizione così vistosa, ammettendo anzi richiedendo di essere pregiudicata da classifiche dettate in anticipo. Si insiste tanto sul blind peer review come contrassegno di qualità di una rivista, ed ecco invece che qui non soltanto il valutando è sempre noto al valutatore (e non tocco la questione serissima dell’asimmetria tra valutatori e valutandi determinata dall’anonimato degli uni e non degli altri), ma più ancora è data a costui chiara indicazione preliminare circa il rango di quel che deve valutare; con l’effetto collaterale, in aggiunta, che lo stesso valutando è indotto ad una preselezione falsata. Con ogni probabilità, infatti, questo tipo di “informed peer review” spingerà il valutando a privilegiare per la valutazione un articolo apparso in una rivista ora ben classificata rispetto ad uno apparso in una rivista ora mal classificata, sebbene al tempo della pubblicazione le due riviste fossero entrambe non classificate e in questo senso per lui equivalenti, e lui stesso magari ritenga migliore l’articolo a cui rinuncia rispetto a quello che invia: una distorsione non indifferente, se il REF britannico, che non ricorre nelle sue procedure a JQL (Journal Quality List), diffida dalla pratica di preselezionare i prodotti da valutare in base a ranking autonomamente assunti.»

In questo senso a me sembra che se alle liste si dà anche solo un valore orientativo si viene meno a un principio cardine della valutazione. E cioè quello per cui si devono conoscere prima le regole del gioco. Se pubblicando in X vado incontro a una certa valutazione e in Y a un’altra, lo devo sapere prima. Se al momento della pubblicazione a me X e Y sembravano equivalenti o addirittura avevo una preferenza per X, il mio aver proposto la pubblicazione a X invece che a Y danneggia almeno potenzialmente me e l’istituzione di cui faccio parte.

Da questo punto di vista si potrebbe pensare, visto soprattutto il carattere sperimentale del ranking su cui si insiste in continuazione negli ultimi documenti, che queste liste abbiano un carattere essenzialmente pedagogico, vogliano cioè, da un lato, indicare una strada in direzione della qualità e dire ai giovani studiosi dove collocare i loro prodotti (e cioè di collocarli nelle riviste che qui vengono dette le migliori) dall’altro verificare se effettivamente la classificazione delle riviste proposta corrisponderà poi al giudizio dei pari.

Al di là del fatto che credo sia più che lecito chiedersi se l’intento pedagogico faccia parte della mission di un’agenzia di valutazione, questo è l’aspetto che a me preoccupa di più: ovvero le trasformazioni che strumenti come questi, sulla cui validità e coerenza anche coloro che hanno collaborato hanno dei grandissimi dubbi, diventino elementi che vanno a determinare le effettive pratiche di ricerca, ovvero, ad esempio, che il tipo di prodotto che si è invitati a confezionare sia un prodotto adatto, per stile, per interesse, per contenuto ad alcune riviste e non ad altre.

Questo è secondo me uno dei principali problemi di tutti i rating delle riviste, il modo in cui essi trasformano le pratiche della ricerca secondo logiche che non sono necessariamente quelle interne alla ricerca scientifica. Questo vale in particolare, ma non solo, in un ambito come quello filosofico per il quale le riviste non sono contenitori, che si differenziano eventualmente soltanto per qualità, ma riflettono scelte culturali, orientamenti, pratiche scientifiche, ambiti tematici. Per parlare solo di questi ultimi, può avere un senso che una rivista dedicata a un filosofo X sia in una fascia diversa da quella dedicata la filosofo Y? Lo studioso di X dovrebbe pubblicare in “Y Studies”, o viceversa?

Circa il fatto che il giudizio dei pari sui prodotti selezionati possa produrre una convalida della classificazione proposta è evidente la petizione di principio, in quanto già la scelta dei prodotti da valutare da parte dei soggetti sarà predeterminata dalla lista.

Non solo, una volta affermatesi, queste liste, per quanto si dica ad ogni piè sospinto che la loro applicabilità è del tutto limitata, sono destinate a diventare strumenti meccanici di valutazione a tutti i livelli (e così peraltro in molti documenti erano state presentate anche dall’ANVUR e dallo stesso coordinatore del GEV 11 in un articolo pubblicato sul Sole24ore), ovvero per la valutazione delle persone in relazione alle progressioni di carriera, per la valutazione nei concorsi, per tutte le valutazioni a cui la valutazione in quanto tale rimanda.

Se dunque molte delle liste elaborate con grande attenzione e con enorme impegno di tempo ed energie a livello internazionale sono andate incontro a dei fallimenti e sono state ritirate forse è perché qualche problema è nello strumento stesso e nelle implicazioni negative che esso porta con sé. Su questo rimando ai documenti del Consiglio direttivo della SIFiT.

Solo come piccolo inciso devo però dire che è comunque davvero poco convincente, per usare di nuovo un eufemismo, il modo in cui Bonaccorsi, sempre nel medesimo documento ufficiale pubblicato sul sito ANVUR, giustifica il fallimento di quelle esperienze e in particolare dell’esperienza australiana (ERA) della quale si è molto parlato a tutti i livelli.

Queste come noto, le parole del Minister of Innovation, Industry, Science and Research Kim Carr:

“There is clear and consistent evidence that the rankings were being deployed inappropriately within some quarters of the sector, in ways that could produce harmful outcomes. (They are also) based on a poor understanding of the actual role of the rankings (…) In the light of these two factors – that ERA could work perfectly well without the rankings and that their existence was to focus on ill-informed undesirable behaviour in the management of research – I have made the decision to remove the rankings based on ARC‚s expert advice.”

L’argomentazione di Bonaccorsi è sostanzialmente questa: secondo un conoscente che ha avuto un ruolo rilevante nell’elaborazione della classificazione ERA – conoscente che per ovvi motivi deve rimanere anonimo – quella classificazione sarebbe stata ritirata solo per la pressione di alcuni influenti opinion maker, che con le loro azioni hanno fatto decidere il Governo Australiano nel 2011 a ritirare quella classificazione.

Pensare in questo modo di “delegittimare” la sostanza di un atto ufficiale del Governo australiano e del Presidente dell’Australian Research Council, atto nel quale si dice che quella classificazione aveva prodotto e andava producendo “gravi danni” e che essa aveva indotto pratiche potentemente distorsive all’interno delle diverse comunità di ricerca è, per essere estremamente caritatevoli e pur senza nulla dire sulla scientificità dell’argomento,  perlomeno azzardato.

Ancora una volta quello che torna è l’argomento retorico che presentavo all’inizio: chi mette in luce criticità e difficoltà all’interno della macchina valutativa lo fa solo per difendere interessi particolari, per sostenere privilegi corporativi.

La classificazione gerarchica delle riviste non indicizzate nasce dalla mancanza di banche dati affidabili per questo tipo di riviste e quindi – si dice – per evitare che vengano applicati strumenti bibliometrici che misurano le citazioni, ecc. Ma in realtà si mette in campo uno strumento davvero radicalmente diverso rispetto a quello della quantificazione delle citazioni. Ed è uno strumento che, a mio parere, nella sua ambiguità di indicatore di qualità rischia di essere molto più pericoloso e potenzialmente dannoso del calcolo citazionale. Io ho, se si vuole, molto meno timore di strumenti bibliometrici che producono dati quantitativi “certi” che poi necessitano di essere interpretati (e su questo sappiamo che c’è un’enorme discussione) rispetto a strumenti che costituiscono una predeterminazione della qualità del prodotto come discendente dalla qualità del contenitore come è invece la classificazione delle riviste in fasce come quella proposta.

Nel documento con cui ha respinto con un’ampia e articolata argomentazione la richiesta di presentare una lista ristretta di riviste suddivisa in due fasce, – argomentazione che non ha avuto alcuna risposta da ANVUR e GEV, a dispetto dello sbandierato “dialogo con le Società scientifiche” – la SIFiT ha fatto anche una proposta: di prevedere, piuttosto, una sorta di lavoro di accreditamento delle riviste. Abbiamo cioè proposto che le Società scientifiche, invece di selezionare in modo corporativo le riviste che ciascuna riteneva le migliori, si impegnassero piuttosto, insieme all’ANVUR e ai GEV, a mettere in atto un processo di accreditamento delle riviste, discutendo insieme alla comunità scientifica le condizioni migliori per portarlo avanti, arrivando quindi ad indicare, attraverso un lavoro condiviso, gli elementi che potrebbero diventare condizioni per l’accreditamento di una rivista scientifica in ambito filosofico. Sarebbe, questo, il primo essenziale passo in vista della costruzione di una anagrafe la più completa possibile delle riviste scientifiche italiane, aiutandole anche, attraverso questo processo, a crescere tutte il più possibile secondo standard riconosciuti dalla comunità stessa.

Ovviamente una proposta di questo tipo funziona se si pensa alla valutazione come un processo di conoscenza che, al di là della finalità immediate e particolari, si muova nell’orizzonte di un miglioramento il più generalizzato possibile della ricerca. Se si concepisce quindi come un processo che agisca non con gli intenti “pedagogici” spiccioli di cui si parlava prima (pubblica qua, non pubblicare là), e intervenendo arbitrariamente su pratiche e scelte di ricerca, ma invece favorendo un innalzamento generalizzato di standard minimi, che devono diventare appunto meno minimi e più diffusi, nel cui ambito le libere opzioni culturali e di ricerca possano svolgersi e fiorire. Se invece si pensa alla valutazione solo come un meccanismo premiale e sanzionatorio il rischio è che anche i luoghi della comunicazione del sapere invece di essere luoghi di confronto diventino luoghi essi stessi di premialità e sanzione.

—

Detto questo, e riprendendo la considerazione generale da cui ho preso le mosse, il timore che io vedo nella retorica della valutazione è che essa invece di produrre quelle scelte responsabili che costituiscono la giustificazione dell’inserimento massiccio della sua pratica a tutti i livelli diventi invece un enorme meccanismo deresponsabilizzante in cui nessuno è responsabile di nulla perché a decidere è stata, appunto, la Valutazione.