La dodicesima mediana

Il ricorso, la mediana mancante ed alcuni interrogativi

Prima di affrontare l’ennesima anomalia della procedura di abilitazione nazionale desidero fare una premessa. Come ho già avuto occasione di scrivere su queste pagine e anche altrove (Apples and oranges: sulla valutazione della ricerca nelle scienze umane e sociali,  Il sistema dei rankings, La valutazione delle Hss) ritengo da un punto di vista strettamente teorico che le liste dotate di ratings o classifiche di riviste siano un cattivo strumento di valutazione. Penso ciò in riferimento agli esercizi di valutazione a tutti i livelli e a maggior ragione quando si tratti di reclutamento. Con l’unica eccezione di liste che  distinguano riviste scientifiche da non scientifiche, sono convinto si tratti di uno strumento nella migliore delle ipotesi inutile, nella peggiore dannoso, perché in grado di alterare – e non per il meglio – il comportamento dei soggetti valutati, con pregiudizio non irrilevante per la buona qualità della scienza. Non desidero ora affrontare un tema tanto complesso e rimando i lettori agli scritti miei e del Collega Francesco Guala, che affrontano in modo assai diverso la questione e che appariranno prossimamente sulla Rassegna Italiana di Valutazione.

Alle questioni di carattere teorico riguardanti il problema delle liste di riviste se ne aggiungono altre di carattere pratico che emergono quando si considerano i casi concreti della loro applicazione. Il caso della VQR italiana ha dato molto da pensare. Per i settori bibliometrici a causa di una non ben progettata architettura del sistema di classificazione. Per quelli non bibliometrici a causa dell’opacità delle procedure, della presenza spesso evidente di gruppi o networks in grado di promuovere certe sedi editoriali a scapito di altre (A proposito del GEV14 e della fairness. E di un dilemma etico che sta sorgendo tra i sociologi. E di un modo per risolverlo) di omissioni, fraintendimenti e errori vari che sfiorano il ridicolo. Memorabile la mancata classificazione da parte del GEV 12 per il settore ius 18 della rivista Polis – Studi interdisciplinari sul mondo antico, perché confusa con l’omonima rivista Polis (di sociologia) e dunque non ritenuta attinente al settore.

Naturalmente ci si sarebbe potuti limitare a godersi lo spettacolo, se solo le classifiche fossero rimaste confinate ai soli esercizi di valutazione, come del resto era stato ripetuto urbi et orbi da ANVUR e dai valutatori. I più avveduti sapevano che non sarebbe stato così e infatti le classifiche sono andate a costituire un parametro per le abilitazioni non bibliometriche, che si fondano, appunto, su tre mediane che i candidati e i commissari debbono superare:

• numero delle monografie
• numero degli articoli su rivista e capitoli di libro
• numero di articoli su riviste di fascia A.

Com’era prevedibile, la scelta di ricorrere a classifiche di riviste ha creato contenzioso, spingendo l’AIC (la società scientifica dei costituzionalisti), presieduta da Valerio Onida (Abilitazioni e sistema universitario: intervista a Valerio Onida) a presentare ricorso contro l’allegato B del D.M. “Criteri e parametri”, eccependo sulla retroattività del criterio di valutazione.

Le classifiche di riviste per le abilitazioni, verosimilmente non identiche a quelle usate per la VQR, hanno una notevole importanza. Ancora una volta, sono compilate secondo procedure opache che in qualsiasi paese più acculturato di valutazione creerebbero scandalo (ANVUR dedica al punto solo tre pagine che vista la rilevanza della questione paiono lacunose, in particolare per quanto riguarda l’attribuzione del giudizio di eccellenza e i parametri adottati, tanto che si ha l’impressione che si possa meglio parlare di concertazione che non di giudizio).

Infatti, non solo, come ho già spiegato, possono consegnare nelle mani dei candidati il jolly per l’accesso all’abilitazione. Esse concorrono anche a definire quali riviste siano scientifiche e quali no: sono scientifiche solo le riviste classificate, quelle non classificate non sono tali. Pertanto le liste o classifiche che dir si voglia, sono determinanti per il superamento della seconda e anche della terza mediana dei settori non bibliometrici.

Ad oggi queste liste sono ignote e non si capisce bene perché.

Va anche ricordato che – a quanto pare – le liste sono state costruite sulla base del popolamento dei siti-docente CINECA. Quindi, omissioni nel popolamento potrebbero aver portato all’esclusione a priori di qualche sede editoriale. Lo stesso vale per un candidato privo di pagina CINECA (ad esempio un italiano ora impegnato in una sede straniera) che se avesse pubblicato su sedi non censite, vedrebbe non computate le sue pubblicazioni ai fini della mediana.

Ma c’è di meglio: per l’intera area 12, quella giuridica, manca a differenza delle altre, la terza mediana, quella degli articoli su riviste di fascia A. Il documento di accompagnamento ANVUR afferma che:

Nelle tabelle manca il valore della mediana del terzo indicatore, relativo al numero di articoli pubblicati nelle riviste di fascia A, per tutti settori concorsuali dell’area 12. Ciò è dovuto alla mancata formulazione di una proposta di classificazione da parte dei componenti dell’area 12 del Gruppo di lavoro Libri e riviste scientifiche, che fosse condivisa dagli esperti della Valutazione della Ricerca (GEV), dalle società scientifiche del settore e dal Gruppo stesso . La mancata pubblicazione della mediana del terzo indicatore ha avuto il supporto esplicito del MIUR.L’ANVUR sta ancora lavorando alla classificazione utilizzando altre fonti di informazione previste dal RM, nella prospettiva che le commissioni di concorso dell’area 12 possano farne uso.

Pare dunque di capire che vi sia stato conflitto fra gli esponenti di area 12 coinvolti nella classificazione e fra costoro e gli altri componenti il Gruppo di lavoro. Come a dire: i litigiosi giuristi non ci hanno consentito di redigere le liste, pecore nere fra tutti i settori non bibliometrici. Sarà davvero andata così? Difficile al momento saperlo.

Di certo la chiusa del documento dell’Agenzia lascia molti dubbi: pare di capire si stia ancora lavorando alla classificazione ma per altre vie (quali, escludendo chi e su quali basi?) nella prospettiva che essa possa essere utilizzata dalle commissioni. Il termine prospettiva sembra lasciare intendere che non è certo che vedrà mai la luce la classifica di area 12. Il riferimento alle commissioni è anche esso non chiaro, in quanto potrebbe indicare che la classifica sarà fornita alle commissioni come strumento di valutazione qualitativa all’interno dei criteri scelti dalla commissione stessa, e non come strumento per la verifica dei requisiti minimi quantitativi. Analoghi ragionamenti possono essere svolti per i commissari, nel caso in cui dovesse davvero verificarsi la situazione per cui l’area 12 rimarrà priva di mediana oltre le scadenze.

E’ ovvio che la terza mediana dovrebbe vedere la luce prima delle scadenze per il ritiro dei candidati e degli aspiranti commissari: diversamente si fomenterebbe contenzioso da parte di tutti coloro che dovessero scoprire tardivamente di avere un punteggio superiore alla terza mediana, benché inferiore alla prima e alla seconda.

Se una intera area arrivasse alle abilitazioni senza una delle tre mediane assegnate a tutti gli altri settori non bibliometrici si creerebbe una assurda disparitá di trattamento, peraltro a svantaggio dell’area 12. Infatti, in presenza di due anzichè tre mediane, le chances di superare le mediane si riducono e, visto quanto è accaduto per numerosi settori la cui terza mediana è pari a 0 o 1, il fatto assumerebbe una rilevanza ancora maggiore.

In ogni caso, l’anomalia relativa all’area 12 è già stata da molti ricollegata al ricorso dei costituzionalisti. Tuttavia, la mancata pubblicazione della mediana e delle classifiche non pare sufficiente a sterilizzare il contenzioso già avviato, che è rivolto contro l’allegato B al D.M. “Criteri e parametri”, a meno che qualcuno non si aspetti il ritiro del ricorso in cambio della graziosa concezione di un diverso regime, peraltro per certi versi più restrittivo (è sempre bene ricordarsi che siamo in un clima di assalto alle poche risorse disponibili e che meno abilitati si hanno per un dato settore, o per,una data area, più si verrà cannibalizzati da altri: Abilitazioni: grandi speranze o grandi illusioni?). Inoltre, dovrà comunque essere almeno pubblicata la lista priva di rating, in modo da rendere noto ai candidati se le loro pubblicazioni sono state edite o meno su riviste scientifiche.

Occorre però considerare un altro aspetto. Fra gli allegati alle mediane non bibliometriche si trova un documento che riepiloga i prodotti utilizzati per il calcolo degli indicatori. Risulta dalla tabella che il totale degli articoli in fascia A rilevati da ANVUR per tutte le aree non bibliometriche ammonta a 36.339 prodotti. Tuttavia la somma dei prodotti scorporati per aree è 21.233. La differenza fra le due cifre è di ben 15.106 prodotti. Come mai? E’ possibile che tale cifra indichi il numero mancante delle pubblicazioni di area 12 di fascia A. Tuttavia, si tratta di un numero esorbitante. Infatti, sarebbero 15.106 prodotti contro

• 8.046 per l’area 10
• 4.725 per l’area 11
• 5.235 per l’area 13
• 2.293 per l’area 14

Se così fosse, ciò significherebbe che per l’area 12 più della metà degli articoli su riviste scientifiche sono collocabili in fascia A, contro percentuali significativamente inferiori per le altre aree (per economia addirittura solo circa 1/5).

Non è facile spiegare queste cifre, ma si potrebbe immaginare che – ancora una volta- esse siano la spia della volontà dell’agenzia di neutralizzare il ricorso dei costituzionalisti. Impresa però non semplice, poichè dovrebbe indurre a classificare tutte le riviste giuridiche come di fascia A, un’operazione, non solo discutibile sotto il piano etico e scientifico, ma che finirebbe per ritorcersi contro l’area 12. Fin dall’inizio della VQR si è purtroppo approfondita la frattura fra discipline, ciascuna alla ricerca di visibilità e patenti di eccellenza. Così assistiamo allo scontro delle “scienze dure” contro gli umanisti, degli internazionalizzati contro i provinciali, e così via, in una specie di balcanizzazione dell’accademia. È chiaro che se emergesse un trattamento differenziato per l’area 12, magari giustificato dall’esigenza di salvare il sistema dai “cavilli dei legulei”, si potrebbe allargare la frattura fra gli “eccellenti” che accettano la meritocrazia fai-da-te di ANVUR e i cattivi che la rifiutano e vengono al contempo accontentati e messi alla gogna.

In conclusione, non so cosa augurarmi. La vicenda della terza mediana di area 12 è a mio avviso una conferma che le classifiche di riviste non sono uno strumento di valutazione degno di tal nome.

D’altro canto la disinvoltura di ANVUR nell’interpretare e applicare regole che essa stessa ha contribuito a scrivere (a partire dall’indice h-contemporaneo e dalle mediane une e trine) non promette niente di buono. Il ministro Profumo è al corrente dei difetti del sistema, tanto che il caduto “decreto per il merito” prevedeva una revisione significativa delle procedure.

Spero che, comunque vada a finire questa vicenda, il Ministro non voglia avallare scelte illegittime da parte dell’Agenzia, operate con la falsa coscienza di chi sa non esservi un controinteressato legittimato ad agire. Sarebbe davvero motivo di discredito per l’accademia e la ricerca italiana nel contesto internazionale.

Per il futuro, sarà bene pensare qualcosa di meglio delle mediane e dello sciocchezzaio para-bibliometrico di questi mesi. Tenere insieme rule of law e rigore scientifico non è per nulla difficile: per cominciare basterebbe guardarsi in giro prendendo esempio da chi da più tempo si occupa di scientometria.