ANVUR: mobbing, zombizzazioni e ingiustizie: purtroppo sì.

Un riassunto delle carenze scientifiche, tecniche, giuridiche e persino etiche dell’azione dell’ANVUR. Un esercizio di valutazione della ricerca (la VQR) all’insegna del “fai-da-te”, che ignora lo stato dell’arte delle conoscenze bibliometriche e adotta soluzioni  rigettate in altre nazioni o persino sperimentate e poi abbandonate. Un’abilitazione scientifica che, unica al mondo, assegna un ruolo decisivo a dati bibliometrici privi di fondamento scientifico e tecnicamente inaffidabili. L’esperimento sociale dagli “effetti perversi” è completato dalla mancanza di trasparenza su dati e procedure e dal caricaturale furore ideologico di membri e collaboratori dell’agenzia che evocano  chiusure di sedi universitarie, mobbing e zombizzazioni sommarie.

articolo pubblicato nel fascicolo di ottobre 2012 di Alfabeta2

____________________

facciamo mobbing su quelli giovani ma mediocri o peggio per farli andare in pensione (p.es. tagliamoli fuori dalle commissioni di concorso e facciamone degli zombies). Quando poi i nostri colleghi avranno imparato ed il clima sarà cambiato, allora i soldi saranno ben spesi. In questo processo ci saranno delle ingiustizie? Purtroppo si

(Giovanni Federico, “Gruppo di lavoro ANVUR per le procedure per la abilitazione scientifica nazionale nei settori non bibliometrici”)

 Tutte le università dovranno ripartire da zero. E quando la valutazione sarà conclusa, avremo la distinzione tra researching university e teaching university. Ad alcune si potrà dire: tu fai solo il corso di laurea triennale. E qualche sede dovrà essere chiusa.

(Sergio Benedetto, Consiglio Direttivo ANVUR e Coordinatore VQR)

 la valutazione è un esperimento sociale e non può evitare di produrre effetti non intenzionali, taluni anche perversi

(Andrea Bonaccorsi, Consiglio Direttivo ANVUR)

L’ultimo anno della vita universitaria italiana è stato segnato da due novità, entrambe sotto il segno dell’ANVUR (Agenzia Nazionale per la Valutazione del sistema dell’Università e della Ricerca): si tratta della VQR (Valutazione della Qualità della Ricerca), ovvero la valutazione della qualità della ricerca delle strutture – atenei e dipartimenti – e le nuove regole per l’ASN (Abilitazione Scientifica Nazionale), introdotta dalla recente legge 240/2010 di riforma dell’università.

La VQR italiana, a somiglianza del RAE (Research Assessment Exercise) britannico, chiede a ognuno dei ricercatori di sottoporre alla valutazione un numero ridotto di articoli o monografie pubblicati nell’arco di tempo preso in considerazione. Nel RAE, la valutazione delle pubblicazioni si avvale sempre della revisione dei pari. Ciò comporta costi elevati e nel recente passato si è esaminata la possibilità di alleggerire il lavoro ricorrendo all’uso automatico di strumenti bibliometrici, come per esempio le citazioni registrate nei database commerciali, quali il Web-of-Knowledge della Thomson Reuters e Scopus dell’Elsevier. Il risultato dello studio pilota britannico è stato inequivocabile:

Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF [Research Excellence Framework, il nuovo nome del RAE].

Questo esito è in accordo con la letteratura scientifica, che mette in guardia dall’uso della bibliometria come criterio per valutare e confrontare singole pubblicazioni e singoli ricercatori, restringendone l’uso all’analisi della produzione scientifica su scala aggregata, per esempio nazionale o di ateneo.

L’Australia aveva seguito una diversa strada per tentare di semplificare il suo research assessment exercise, l’ERA (Excellence of Research in Australia). Era stata messa a punto una classificazione delle riviste scientifiche in quattro categorie: A*, A, B, C. Il processo di classificazione, gli esiti e soprattutto i timori per le distorsioni dell’attività scientifica indotti dalla classifica delle riviste hanno suscitato controversie e dibattiti sulla problematicità di uno strumento che giudica il contenuto (la pubblicazione scientifica) in base al contenitore (la rivista che ospita la pubblicazione). La classifica australiana non è durata a lungo. Nel maggio 2011, il Ministro Kim Carr ha annunciato l’abolizione delle classifiche affermando che

There is clear and consistent evidence that the rankings were being deployed inappropriately […_] in ways that could produce harmful outcomes.

In controtendenza con il contesto internazionale, l’ANVUR si è mossa nella direzione di un’adozione massiccia degli strumenti bibliometrici. Nella VQR, per le scienze dure è stato messo a punto uno schema di valutazione che combinava in modo inedito sia le citazioni degli articoli che le classifiche delle riviste. Le scienze umane e sociali, sono state risparmiate solo in apparenza, perché le classifiche delle riviste, costruite in pochi mesi con negoziazioni alquanto opache, sono usate come pietra di paragone delle revisioni dei pari e, in caso di impasse, risultano decisive.

L’abilitazione scientifica nazionale è l’altro grande processo supervisionato dall’ANVUR. Ancor più che per la valutazione delle strutture, c’è un vasto consenso internazionale sull’impossibilità di ridurre ad indicatori numerici le valutazioni individuali usate per il reclutamento e la carriera.

Nel campo del reclutamento, l’ANVUR ha proposto un’inedita metodologia di tipo “eugenetico”. Mediante indicatori quantitativi di produzione, produttività ed impatto della ricerca, ha diviso la popolazione dei docenti tra “buoni” e “cattivi”. Per fare un esempio, prendiamo i 204 professori ordinari di informatica. Il primo passo è costruire una classifica, ordinandoli in ordine decrescente di citazioni. I primi 102, quelli sopra la “mediana”, sono i “buoni” mentre gli altri 102 sono i “cattivi”. Il primo uso delle mediana è quello di escludere i “cattivi” dalle commissioni di concorso. La mediana, però, serve anche per scremare gli abilitandi. Per ottenere l’abilitazione, il candidato deve superare la mediana dei professori del ruolo a cui vuole essere abilitato. Al di sotto di questo livello, i suoi titoli non verranno nemmeno valutati e per due anni non potrà più presentare domanda per l’abilitazione. Rimane controversa l’interpretazione di un articolo del decreto ministeriale che concederebbe alle commissioni la possibilità di derogare dalle tagliole bibliometriche, esponendosi però a potenziali forme di censura sociale per aver rinunciato ai conforti dell’”oggettività” [NdR: la possibilità di derogare è stata infine confermata da una circolare ministeriale, rimanendo però possibile un’adozione rigida delle soglie bibliometriche].

La realizzazione tecno-burocratica del criterio, è in realtà più complessa, dato che coinvolge tre mediane e la necessità di superarne due su tre per le scienze dure ed una su tre per le scienze umane e sociali. Inoltre, le mediane per le scienze umane e sociali fanno riferimento non tanto agli indicatori ottenibili dai database commerciali, ma a due liste di riviste, una che definisce quali riviste sarebbero scientifiche ed un’altra che elenca le riviste “di fascia A”. Questa architettura eugenetica pone problemi di ordine etico-giuridico, scientifico ed, infine, tecnologico.

Ai sensi della Legge 240, l’abilitazione scientifica deve certificare una qualificazione scientifica e non ha valenza comparativa, tanto è vero che la procedura è a numero aperto. In un settore concorsuale le mediane potrebbero essere altissime perché i professori ordinari sono di grande valore scientifico e hanno ricevuto numerosissime citazioni. In tal caso, verrebbero esclusi a priori dalla valutazione anche candidati di assoluto valore internazionale solo perché il criterio della mediana ha surrettiziamente trasformato in comparativa una valutazione che non lo era.

Dal punto di vista scientometrico è ben nota è la dipendenza dell’intensità citazionale in funzione delle discipline e, persino all’interno della singola disciplina, in funzione dell’argomento di ricerca. La bioingegneria, per esempio, svolge una ricerca tipicamente interdisciplinare a cavallo tra l’ingegneria e le scienze biomediche, i cui risultati vengono talvolta pubblicati su riviste mediche ad alto impatto citazionale. Ebbene, il bioingegnere che svolge un ruolo di mero supporto tecnologico in pubblicazioni mediche ad alto impatto si troverà privilegiato rispetto al collega che sviluppa metodi e tecnologie di ben altro pregio scientifico, ma il cui sbocco naturale è ristretto alla letteratura ingegneristica più avara di citazioni. L’effetto delle mediane ANVUR sarebbe una selezione perversa che priverebbe l’accademia di competenze preziose in nome di una malintesa produttività misurata con indici sbagliati.

I problemi tecnologici non sono da meno. I database citazionali contengono spesso dati incompleti o errati e la disambiguazione delle omonimie è tutt’altro che scontata. La soluzione di ANVUR è stata quella di “invitare” i professori italiani a completare i loro siti docente con le pubblicazioni mancanti concedendo poco più di un mese di tempo. A partire da tali dati, caricati su base puramente volontaria, sono state stimate le mediane che verranno usate per selezionare commissari e candidati. Consapevole dell’inaffidabilità dei dati, l’ANVUR si è premunita specificando che

 L’aggiornamento e la verifica dell’esattezza e completezza delle informazioni sono cura del singolo docente. […] L’ANVUR non è responsabile degli eventuali errori presenti nelle banche dati.

Le mediane sono state pubblicate il 13 agosto per le scienze dure e il 24 agosto per le scienze umane e sociali. Inaspettatamente, il 27 agosto, appena un giorno prima della scadenza per il bando dei commissari, l’ANVUR ha ritirato le precedenti mediane e ne ha pubblicate di nuove con la seguente motivazione:

I valori delle mediane pubblicati in precedenza erano stati ottenuti utilizzando un’approssimazione che, ad un più attento esame, non risulta pienamente in linea con la definizione formale di mediana contenuta nel DM 76. Entro la settimana corrente pubblicheremo la lista delle riviste di fascia A per le aree non bibliometriche.

L’esame comparato delle vecchie e delle nuove mediane mostra che tutte le mediane delle scienze dure sono aumentate e che quelle delle scienze umane e sociali si sono invece mosse in direzione opposta. È un comportamento incompatibile con una formula matematica che non può distinguere se il numero “5” denota cinque articoli su una rivista di matematica oppure cinque articoli di filologia bizantina. La lista delle riviste in fascia A, che non avrebbe più dovuto subire modifiche dopo il calcolo delle mediane che su di essa erano basate, è stata pubblicata solo dopo dieci giorni, suscitando sospetti di negoziazioni fuori tempo massimo. Non è stata resa nota la lista delle riviste scientifiche, imprescindibile per calcolare la “seconda mediana” delle scienze umane e sociali [NdR: le liste delle riviste scientifiche sono state infine pubblicate il 20 settembre, innescando la memorabile saga delle “riviste pazze“, ovvero quelle riviste per nulla scientifiche inserite per negligenza o altri motivi negli elenchi ANVUR]. In mancanza di questa lista, commissari e candidati sono nell’impossibilità di verificare se superano o meno la relativa mediana e devono affidarsi ai responsi dell’ANVUR.

Ai commissari sono stati comunicati dei “semafori” verdi o rossi, ma il cui colore, per ammissione dell’ANVUR, aveva “esclusivamente valore indicativo”, dato che non prendeva in considerazione i dati caricati dopo il 15 luglio. Di fronte al semaforo rosso, giustificato o meno, molti aspiranti commissari hanno ritirato la domanda per evitare il rischio della “gogna elettronica” che attende chi, avendo presentato domanda come commissario, non supererà le mediane. Infatti, il decreto ministeriale prevede che il nome ed il curriculum degli aspiranti commissari rimanga pubblico, consentendo un facile raffronto con la lista più ristretta di coloro che, superando le mediane, saranno ammessi al sorteggio per la formazione delle commissioni.

Sebbene nel suo codice etico assicuri che “le decisioni siano prese in base a dati accurati, robusti e trasparenti“, l’ANVUR non appare intenzionata a garantire alcuna trasparenza ai dati e alle procedure.

Il ricorso presso il TAR del Lazio presentato da parte dell’Associazione Italiana dei Costituzionalisti, la cui sentenza è attesa per il 23 gennaio 2013 [NdR: il ricorso è stato giudicato inammissibile per difetto di legittimazione] , potrebbe essere solo l’avanguardia di una serie di ricorsi destinati ad azzoppare se non stroncare del tutto le procedure di abilitazione, minate da numerose e gravi irregolarità. Comunque vada, sarà una catastrofe annunciata per la credibilità del sistema universitario e per le carriere di chi ci lavora.

Il blog ROARS (www.roars.it) ha seguito tutti questi sviluppi fornendo analisi, commenti e spazi di discussione. In rapporto alle esperienze internazionali, la via italiana alla valutazione appare sempre più una grottesca caricatura di quello che si poteva e doveva fare. La barbarie etica, giuridica, scientifica e tecnica deriva da un tragicomico sincretismo di incompetenza e ideologia. Essere intransigenti nell’esigere competenza e trasparenza, fin da subito, è il passaggio obbligato per superare la notte in cui ci troviamo.

Questo articolo è stato pubblicato nel fascicolo di ottobre 2012 di Alfabeta2