L’Anvur e i mutevoli confini della mediocrità

“L’Italia par che sdegni la mediocrità, e dica alla Storia:
A me si convien o l’opera eccelsa o l’oziare”
(G.I. Ascoli, Proemio all’”Archivio Glottologico Italiano”, 1872)

E’ in corso sulla imminente Valutazione della Qualità della Ricerca in Italia (VQR 2004-2010) un intenso dibattito, in cui non mancano prese di posizione fortemente critiche, sia sui suoi principi ispiratori sia sulle sue modalità applicative. Ma non sembra vi sia stata discussione sulle percentuali fissate dal ministero come soglie per identificare le diverse classi di merito dei prodotti, e in particolare sulla soglia che individua il limite inferiore dell’accettabilità scientifica.

Come è noto, la valutazione si tradurrà nell’attribuzione a ciascun prodotto di una delle quattro fascia di merito – A (eccellente), B (buono), C (accettabile), D (limitato) – con conseguente assegnazione dei pesi 1, 0.8, 0.5, e 0. Il Decreto Ministeriale e il successivo Bando VQR danno inoltre precise definizioni quantitative per l’identificazione delle classi di merito: la classe A dei prodotti eccellenti sarà riservata ai prodotti che si situano nel top 20% della classifica di qualità condivisa dalla comunità scientifica internazionale; la classe B conterrà i prodotti che si situano nel segmento 60-80%; la classe C nel segmento 50-60%; la classe D, infine, trascurando il problema della classe E qui non rilevante, prodotti situati nel 50% inferiore della classifica scientifica internazionale.

Il ministero ha in sostanza individuato una sorta di formula magica – 50, 10, 20, 20 – il cui significato statistico può così riassumersi: “Un articolo scelto a caso in un insieme omogeneo di tutti gli articoli pubblicati nel mondo ha una probabilità di essere classificato come eccellente, buono, accettabile, limitato pari a 0,2, 0,2, 0,1, 0,5, rispettivamente”.

Leggendo e rileggendo in questi giorni la sequenza di numeri, due aspetti hanno continuato ad apparirmi anomali: la percentuale esigua (10%) dei prodotti potenzialmente classificabili come accettabili e la soglia del 50° percentile per poter raggiungere tale classe di merito. Quel 10% posto proprio dove la distribuzione dovrebbe essere più densa, mi aveva addirittura fatto pensare a un errore casuale nella sequenza delle percentuali: immaginavo infatti più sensato, prendendo per buone quelle percentuali, che la soglia dell’eccellenza dovesse collocarsi nel 90° percentile, così da formare classi potenziali del 10% di prodotti eccellenti, del 20% di prodotti buoni, del 20% di prodotti accettabili e del 50% di prodotti limitati. Ma soprattutto, ho continuato a guardare con incredulità a quella percentuale del 50% destinata a separare in modo perentorio prodotti ritenuti accettabili – che saranno pesati 0,5 – da quelli ritenuti limitati, destinati ad avere un peso nullo.

Non dimentichiamo che la presente tornata di valutazione farà ampio ricorso a criteri bibliometrici, fondandosi quindi su dati quantitativi inoppugnabili (il che naturalmente non vuol dire che non siano discutibili, ma questo è altro discorso). E saranno appunto gli indicatori bibliometrici – in particolare l’Impact Factor delle riviste (IF) e le performances citazionali degli articoli – a fornire le basi per il calcolo delle soglie di cui sopra. Concretamente, dalle frequenze cumulate degli IF di tutte le riviste e delle citazioni di tutti gli articoli verranno ricavati i valori del 50° percentile per ciascuna delle due serie di dati: senza entrare nel merito della procedura prevista per comporre l’indicatore bibliometrico della rivista con quello dell’artico tramite la matrice di corrispondenza, diciamo semplificando che i prodotti con valori superiori al 50° percentile avranno una valutazione almeno accettabile, con peso positivo, quelli al di sotto una valutazione limitata e un peso pari a 0.

L’incredulità di fronte a questa soglia nasce da un ragionamento forse banale ma che proviamo comunque a proporre. Individuare come limite inferiore dell’accettabilità scientifica la mediana – calcolata, è bene ricordare, sulla produzione scientifica internazionale indicizzata in banche dati come Web Of Science (WoS) – comporta di fatto reputare il 50% di tutta la produzione a livello internazionale come limitata, da punteggio nullo. Contributi internazionali che si collochino anche appena al di sotto della mediana, magari su riviste più che dignitose e con impatto che si colloca nella norma, riceverebbero dai nostri valutatori un peso pari a 0.

È vero, una soglia bisogna pur indicarla. E dopotutto quel 50° percentile suona abbastanza bene, divide in due la produzione scientifica internazionale e dà una idea abbastanza precisa di cosa sia la mediocrità: appunto tutto ciò che sta sotto la mediana, che in questi tempi di retorica meritocratica e di invocazioni all’eccellenza non può che rappresentare un necessario scossone per l’università italiana.

Eppure la curiosità rimane, perché ci sarà pure un fondamento logico a questa soglia, che immaginiamo e ci auguriamo diverso dalla semplice costatazione che la mediana suoni bene ed evochi giusti anatemi contro la mediocrità. Sarà per incapacità a cercare tra le infinite pieghe della letteratura sui criteri di valutazione, ma questi argomenti non li abbiamo trovati. E se poi si scopre che qualcuno, probabilmente dopo averci ragionato, ritiene che quella soglia sia da collocarsi nel 25° percentile, non si possono che trarre due conclusioni: 1) se quel “qualcuno” è un Gruppo di esperti valutatori della VQR in corso, come è in effetti il caso di una parte del GEV09 dell’area ingegneristica, vuol dire che si stanno truccando le regole del gioco e si stanno favorendo alcune aree di ricerca rispetto ad altre (come documentano in modo inequivocabile Giuseppe De Nicolao e Alberto Baccini, VQR: tutte le valutazioni sono uguali, ma alcune sono più uguali delle altre); 2) una differenza così pronunciata nell’individuare le soglie dell’accettabilità, nello specifico ha l’effetto di truccare le regole del gioco, favorendo qualcuno a danno di altri, ma più in generale lascia il sospetto che quella individuata dal ministero possa essere poco fondata. E a nostro giudizio, in effetti, quella mediana come soglia dell’accettabilità scientifica continua ad apparire come un criterio del tutto arbitrario, a meno di robuste argomentazioni in suo favore di cui ignoriamo l’esistenza.

Tanto più che la precedente Valutazione Triennale della Ricerca (VTR 2001-2003), che pure aveva gli stessi quattro livelli di merito e la stessa distribuzione dei pesi, prevedeva una distribuzione in percentili delle ultime due fasce significativamente diversa. Nel bando pubblicato nel 2004, infatti, fatte salve le stesse percentuali delle prime due fasce, distribuiva gli ultimi due livelli di merito in questo modo: accettabile, per quei prodotti che si collocano nel segmento 40%-60% della scala di valore condivisa dalla comunità scientifica internazionale; limitato, per quei prodotti che si collocano nel 40% inferiore.

La stranezza di quell’esiguo 10% di prodotti che l’attuale VQR prevede per la classe C non è allora l’esito di una casuale inversione nella sequenza di numeri 20, 20, 10, 50, ma l’esito di una brusca impennata della soglia inferiore, che dal 40% è stata portata al 50%. Merito ed eccellenza vogliono una lotta senza quartiere contro la mediocrità, e questo innalzamento della soglia dà un preciso segnale in questa direzione.

Le asticelle da qualche parte bisogna pur metterle, l’abbiamo detto, ma questo repentino spostamento dal 40% al 50% conforta i nostri dubbi sull’arbitrarietà di tale scelta. Su cui forse sarebbe il caso si ragionasse, magari con simulazioni sul genere di ricerche destinate con gli attuali criteri a scadere di colpo dalla soglia dell’accettabilità a quella della classe dei prodotti ritenuti privi di dignità scientifica. E mi chiedo, facendo appello a un esempio su cose di cui confesso sono profano: un dipartimento di fisica, dove operi un gruppo di ricercatori che pubblichi con continuità in riviste che nella distribuzione degli IF internazionali stanno nell’intorno della mediana, che fanno quindi qualcosa che è nello standard internazionale, anche se senza picchi, deve essere qualificato come un dipartimento che non fa ricerca? È giusto, ed è questo l’aspetto fondamentale del problema, venga percepito a livello mediatico come dipartimento che pesa sulle casse dello Stato senza dare alcun contributo alla conoscenza scientifica, così da giustificare la sottrazione di risorse nei suoi confronti?

Se per caso queste domande fossero legittime, altre due vengono di conseguenza. Chi e perché ha aggiornato la soglia dell’accettabilità scientifica dal 40 al 50%? Non conoscendo le risposte, abbiamo provato a immaginare – con un ragionamento forse più suggestivo che reale – quali recondite ragioni potrebbero esservi dietro tale scelta.

E la prima suggestione a venirci in mente è che qualcuno al ministero sia stato affascinato non solo dall’idea che il “merito” scientifico sia misurabile, ma anche dall’idea che l’unità di misura (non importa se dei “contenitori” o dei “contenuti”) sia distribuita come una “curva a campana”, o “normale”. Da cui potrebbe provenire la ratio che vuole la mediana di un qualche indicatore bibliometrico come la soglia che separa la rispettabilità scientifica dallo scarso (o nullo) rilievo scientifico. Dopo tutto la curva a campana ha un impatto visivo molto efficace nel mostrare la frontiera della mediocrità, in quanto evidenzia una discontinuità nella distribuzione proprio nel valore mediano.

Ma la distribuzione per frequenze di un qualsiasi indice bibliometrico si presenta con una forma assai diversa dalla normale; come noto, infatti, si tratta di una distribuzione fortemente asimmetrica, simile alla curva di distribuzione della ricchezza, su cui agisce un effetto distorsivo noto come “effetto San Matteo”[1]. Da qui un indice di concentrazione molto elevato, che registra non solo il fatto che un numero molto ridotto di autori o di articoli ricevono moltissime citazioni, ma che la frequenza maggiore si colloca su un valore modale inferiore a quello mediano. Non è del resto il mercato delle citazioni un mercato in cui probabilmente opera una legge del tipo “chi vince prende tutto”, con conseguenti grandi accumulazioni di capitale scientifico in pochi soggetti e di capitale reputazionale in poche riviste?

Un fatto che getta ulteriori dubbi sulla formula 50-10-20-20: perché in una distribuzione dove la mediana sia superiore alla moda finirebbero per essere qualificati come “limitati” degli onestissimi prodotti scientifici, addirittura superiori agli standard internazionali di ricerca, che quasi certamente contribuiscono alla crescita della conoscenza. È forte insomma la sensazione che la scelta della distribuzione normale come distribuzione paradigmatica per individuare la soglia dell’accettabilità scientifica sia un puro arbitrio, peraltro una scelta che ci auguriamo inconsapevole delle sue implicazioni ideologiche. Perché quella curva a campana sottende una lunga e tormentata storia dai tratti assai poco edificanti, purtroppo ancora evocati nelle propaggini contemporanee del razzismo “scientifico”[2]. E se gli adulatori dell’IQ come quantità misurabile continuano a propinare le virtù salvifiche della curva a campana, i novelli fautori della distribuzione gaussiana del merito dovrebbero forse riflettere sulle formidabili analogie tra i due fenomeni, e che i “fantasmi del passato delle curve a campana”[3] sono sempre in agguato.

Il discorso è certamente più complesso e andrebbero svolto con maggior rigore. E non è improbabile che le nostre analogie tra mediana e curve a campana null’altro siano che suggestioni prive di fondamento. Ma se per caso ci fosse qualcosa di vero, siamo di fronte a una situazione in cui l’ansia di premiare l’eccellenza e il merito si è tramutata in uno schema di valutazione che penalizza in modo ingiustificato una fascia più che dignitosa della ricerca italiana. E se la posta in gioco, come paventa il coordinatore della VQR, è il discrimine tra researching university e teaching university, o addirittura la chiusura di alcune sedi, confidiamo vi siano più che solidi argomenti a favore dell’innalzamento del limite inferiore dell’accettabilità scientifica dal 40° al 50° percentile.