Anvur / Argomenti / Valutazione / VQR

La rivoluzione dall’alto nell’università italiana

L’università italiana è alle prese con due questioni importanti: le procedure di abilitazione e la VQR. Entrambe hanno un protagonista istituzionale inedito: l’ANVUR. In entrambe gioca un ruolo rilevante la bibliometria. Ed entrambe hanno a che fare con la libertà di ricerca e con il futuro dell’Università e della ricerca in Italia.

Il contesto. Ecco ciò-che-tutti-sanno-dell’università-italiana (poco importa che alcuni punti dello scenario siano sostanzialmente falsi e altri ingigantiti e distorti):

1.  “La ricerca scientifica attraversa un periodo di stasi”, perché l’università produce poca ricerca [si legga qui e qui], ed è avviata al declino;

2. “La ricerca scientifica deve servire alla scienza e alle esigenze nazionali. Non deve servire a creare nuove cattedre e nuovi insegnamenti.” Il declino della ricerca italiana è causato dall’autoreferenzialità dei baroni.

3. Il sistema di reclutamento è distorto e corrotto da nepotismo e clientele. Il merito è mortificato.

4. All’università italiana e alla ricerca non mancano le risorse. La ricerca condotta dai baroni è spesso inutile per la società ed autoreferenziale.

5. I baroni hanno stipendi tra i più alti al mondo.

Da questo segue che l’università italiana è irriformabile con gli strumenti legislativi usuali; c’è bisogno di una rivoluzione (lo sostiene per esempio  Andrea Ichino). La politica ha il compito di individuare una élite accademica illuminata e d’avanguardia che possa modificare dall’alto il funzionamento della università e della ricerca italiana. I due snodi fondamentali sono finanziamento e reclutamento. Lo strumento istituzionale è l’ANVUR: un organismo tecnico di nomina ministeriale, lasciato incompiuto dal governo di centro-sinistra, cui vengono attribuiti poteri (oltre a molti altri) su valutazione e criteri per il reclutamento.

 

Sei riflessioni sul sistema delle abilitazioni.

1. Nel processo di reclutamento e avanzamento di carriera dei docenti, il decisore politico ha redistribuito il potere dalle commissioni di concorso all’ANVUR ed agli accademici ad essa organici, come si sarebbe detto qualche decennio fa. L’ANVUR esercita il potere definendo i criteri bibliometrici di preselezione [di commissari e candidati], e nominando le commissioni che lavorano alla classificazione delle riviste. Lla bibliometria ammanta tutto di “oggettività”: criteri, parametri, e nomine.

2. Sulla definizione dei criteri e parametri è nato un conflitto tra il CUN, organo elettivo di rappresentanza del mondo universitario, e l’ANVUR. Questo conflitto riflette due diverse visioni. Secondo il CUN criteri e parametri devono essere costruiti con il consenso delle comunità scientifiche. L’ANVUR vuole introdurre criteri e parametri decisi dall’alto, idea caldamente appoggiata dai ministri e da vari supporters. Il decreto ministeriale criteri e parametri sancisce la netta vittoria della soluzione proposta dall’ANVUR. La difesa delle specificità disciplinari presente nei documenti CUN, cede il passo ad una rozza bipartizione del sistema della ricerca in aree bibliometriche e non bibliometriche. L’attenzione alle modalità della produzione scientifica nei vari settori presente nei documenti CUN, viene sostituita dalle mediane specifiche per settore. Queste ultime sono l’espressione di un singolare connubio tra il corporativismo accademico italiano, organizzato in SSD, e l'”oggettività” bibliometrica.

3. Sembra esserci generale consenso sull’idea che la bibliometria sia un modo ragionevole di pre-selezionare candidati e commissari. I lavori delle commissioni di Area CUN,  sono un documento che mostra in modo esemplare che la comunità accademica ha interiorizzato una versione semplificata e rassicurante del dibattito scientifico internazionale sugli strumenti bibliometrici. Come ha acutamente notato una lettrice di Roars, sembra che la bibliometria sia l’unica scienza in cui non si usano intervalli di confidenza e misure di variabilità. Adottare strumenti bibliometrici senza attenzione a questi aspetti, può far scambiare per fatti quelle che sono solo illusioni ottiche. Questo significa che le scelte che saranno fatte (commissari e candidati) sono compiute con procedure che non hanno solide basi scientifiche. Purtroppo i numeri danno solo l’illusione del rigore.

4. L’ANVUR non solo definisce i criteri e parametri, ma ha anche il compito di calcolarli. Rende noti solo i risultati finali ed una sommaria descrizione delle procedure di calcolo. La vicenda delle mediane in movimento e le dieci domande di ROARS mostrano che gli standard di riproducibilità adottati nella comunità scientifica sono completamente abiurati. Non sono infatti noti i dati elementari e neanche gli algoritmi di calcolo.

E’ usuale leggere che coloro che sollevano questo  problema stanno nella parte bassa della distribuzione, hanno un h-index troppo piccolo e perciò non hanno diritto di parola. Il sistema delle mediane crea per sua natura consenso: quelli che superano i limiti chiedono di fare presto, anche perché, nel frattempo, il sistema delle carriere è bloccato da anni. Farebbe molto piacere che qualcuno con elevato h-index chiedesse trasparenza: dati elementari per il calcolo delle mediane e algoritmi di calcolo immediatamente resi pubblici. Magari con lo stesso fervore con cui è stato chiesto di rendere noti i risultati individuali della VQR.

5. Alcune aree sono riconosciute come non bibliometriche. Per esse c’è da mettere a punto un “sistema oggettivo” alternativo. Si inventano tre mediane: le prime due hanno il compito di selezionare per quantità. La terza per qualità. Per la terza c’è bisogno di classifiche delle riviste migliori. Sono disponibili quelle della VQR, ma l’ANVUR decide di predisporne di nuove. Questo permette di chiamare altri accademici esperti a far parte di commissioni, di farli interagire con i GEV, e soprattutto di riprendere il dialogo con le società scientifiche.

Viene attuata, come per la VQR, la strategia del divide et impera. Si spingono le società scientifiche a discutere ancora di liste di riviste. Si tenta di creare consenso, come per la VQR, e si selezionano gli alleati. Ogni proposta, come nella VQR, è degna di discussione, anche le più insostenibili; basta che il tema sia tecnico: quali riviste in classe A, quali criteri etc., e che tutto avvenga in stanze ben chiuse. Vengono pubblicati soltanto i risultati finali del processo. Verosimilmente non saranno resi pubblici i verbali delle riunioni, i criteri adottati, le modalità di decisione.

Solo una analisi accurata delle liste di riviste per ogni area potrà mostrare le strategie seguite nella loro costruzione. Per l’intanto sappiamo che in Area11 i lavori della commissione non sono stati guidati solo dall’obiettivo di selezionare le riviste migliori. Nelle liste sono inserite infatti, come scrive Andrea Graziosi, “riviste imparagonabili–fosse solo per diffusione–con quelle internazionali, ma è giusto che vi siano […] la valutazione servirà a rafforzarle, a proiettarle di più in campo internazionale, e renderle capaci di attirare più articoli ecc.”. Ne segue che qualche commissario ha ricevuto semaforo verde e qualche candidato potrà accedere all’abilitazione soltanto perché ha pubblicato su riviste che ANVUR ha deciso di rafforzare.

Anche nelle altre Aree non bibliometriche è stata adottata una strategia promozionale simile? Tenderei ad escluderlo per Area 13, dove le liste contengono solo riviste internazionali. Sarebbe però opportuno che ANVUR rendesse noto quante riviste italiane “imparagonabili” con quelle internazionali sono state inserite nelle liste a fini di promozione. Non foss’altro per mettere a tacere i malevoli che sospettano che qualcuna sia stata inserita per fungere da backdoor per commissari e abilitandi, altrimenti esclusi.

6. Il confine tra le decisioni politiche e le scelte tecniche di valutazione è assai labile. Nel caso delle abilitazioni si verificano addirittura che delibere dell’organo tecnico (ANVUR) modifichino in modo sostanziale il testo del decreto ministeriale, come accade per la normalizzazione per età accademica. Come Giuseppe De Nicolao ha spiegato, l’ANVUR ha sostituito l’h-contemporaneo a quanto previsto dalla norma ministeriale (normalizzazione di h per età accademica). La giustificazione di questo è basata sul fatto che l’h-contemporaneo si “comporta bene“, cioè dà luogo a risultati desiderabili.  In modo forse meno eclatante, data l’ambiguità di formulazione del testo dell’allegato B del DM, l’ANVUR adotta tre mediane nei settori non bibliometrici. L’uso di tre mediane (anziché due) non fa rumore, forse perché ha permesso di dare il semaforo verde a molti commissari, e permetterà a molti abilitandi di mettersi in regola da qui a novembre (spesso basta un ISBN!). Il punto che mi interessa sottolineare è la torsione del sistema. Se l’organo tecnico si accorge che quanto previsto dal decisore politico non è coerente con gli obiettivi perseguiti, non si limita a informare il ministro, ma interviene direttamente, modificando le regole. Perpetuando la confusione tra scelte politiche e interventi tecnici già notata per la VQR.

 

Conclusioni. Ogni critica all’ANVUR, alla VQR o alle abilitazioni è soggetta al gioco della torre: meglio il sistema baronale di quello attuale? Meglio il vecchio sistema delle abilitazioni dell’attuale? Sollevare dubbi sulle modalità di nomina, sull’incongruenza dei criteri, sulla mancanza di coerenza logica, sui possibili errori, sulle pratiche alternative adottate nelle nazioni indicate a modello di ricerca efficiente – tutte le questioni sollevate da ROARS in queste settimane – è disfattismo controrivoluzionario della vandea accademica.

Nessuno difende il sistema baronale. Ma l’attuale sistema delle abilitazioni ha semplicemente spostato il potere dai “baroni”, ad una élite accademica scelta dalla politica direttamente (il consiglio direttivo dell’ANVUR) o indirettamente (GEV ed esperti, nominati dall’ANVUR). VQR e abilitazioni stanno introducendo un controllo tecnocratico di diretta emanazione ministeriale  sull’università e sulla ricerca italiana. Tale controllo, attuato con un uso massiccio di strumenti bibliometrici, ha come conseguenza prevedibile una modificazione delle modalità di ricerca, di organizzazione dei team, di comportamento citazionale e perfino di scelta dei temi di ricerca. La direzione del cambiamento non è nota, e non è detto che sia desiderabile.

Credo che sia vitale salvaguardare la sovranità e l’autonomia della comunità scientifica. Contro la rivoluzione dall’alto imposta dal ministro Gelmini, continuata, spero a malincuore, dal ministro Profumo, ed attuata con strumenti solo apparentemente tecnici dalla plenipotenziaria ANVUR.

Credo che tutto ciò dovrebbe stare al centro dei programmi di governo di coloro che hanno a cuore il futuro dell’università e della ricerca in questo paese.

 

Send to Kindle
Tag: , , , , , , , , , , , ,

46 Comments

  1. Grazie. Articolo molto interessante e chiarissimo. Vorrei aggiungere solo un commento su un dato spesso omesso quando si parla di riforme in Italia. Nel bel paese pensiamo che si possano fase le riforme in un batter d’occhio. Oggi viene approvata una legge o peggio un decreto-legge e domani la realtà di colpo cambia. Non può essere, è illusorio che le riforme producano di getto un cambiamento. Le riforme devono avviare un processo coerente che richiede anni per essere portato a termine. Penso, ad esempio, alla riforma dell’Università in Inghilterra o – meglio ancora – alla riforma sanitaria dell’amministrazione Obama, che vedrà la luce solo nel 2014, ben quattro anni dopo il voto del Congresso. Perciò io non mi scandalizzerei che nel fare le cose di fretta si creino mostri o si realizzino delle disparità. E’ umano che accade così. Se non diamo il tempo perché il nuovo trovi un solido posto o si crei un letto dove il fiume può scorrere, staremo sempre lì a disfare di notte quello che di giorno tessiamo.

  2. Baccini scrive: “Anche nelle altre Aree non bibliometriche è stata adottata una strategia promozionale simile? Tenderei ad escluderlo per Area 13, dove le liste contengono solo riviste internazionali. Sarebbe però opportuno che ANVUR rendesse noto quante riviste italiane “imparagonabili” con quelle internazionali sono state inserite nelle liste a fini di promozione. Non foss’altro per mettere a tacere i malevoli che sospettano che qualcuna sia stata inserita per fungere da backdoor per commissari e abilitandi, altrimenti esclusi.”
    Caro Alberto, non entro nel merito di tutto il tuo ragionamento (cioè dell’articolo nel suo complesso), che in gran parte potrei condividere; ma mi pare che quanto tu scrivi su Area13 sia, per così dire, guidato da criteri differenti da quelli che adotti nel resto dell’articolo. Abbiamo già avuto occasione di parlarne in occasione di un convegno STOREP: personalmente ritengo che i problemi posti dall’ANVUR implichino scelte nette e chiare, senza alcun compromesso, perché ogni compromesso implica la ricaduta nella logica che pur si critica. Venendo nel merito: francamente c’è molto da discutere su cosa si debba intendere per “internazionale”. In estrema sintesi, è del tutto evidente che ogni indagine scientifica su particolarità che non sono internazionali per natura, come, poniamo, tutte quelle che riguardano la “nazione”, quale che sia la definizione che di nazione si vuol dare, stentano tremendamente a rientrare nel concetto di “internazionalità” così come tu lo intendi. D’altra parte, un conto è sostenere che esistono lingue franche (poniamo l’inglese: ma ancora per poco, perché pare che i cinesi rifiutino categoricamente di utilizzarlo appunto come lingua franca), ben altro conto è sostenere che qualsiasi cosa che sia pubblicato in inglese ha ipso facto un valore internazionale. Di recente ho carteggiato con un “celebre” e “internazionalizzato” studioso che si occupa di un problema di cui mi occupo anche io: e bellamente mi ha scritto che lui l’italiano non lo conosce e che quindi non può interagire con tutta l’immensa letteratura che, anche in italiano, esiste si questo problema: peccato che il problema in questione abbia come EPICENTRO l’Italia. Ma di esempi ce ne sono a bizzeffe. In conclusione: se davvero si vuole tutelare la libertà di ricerca e di pensiero, e su questo terreno siamo uno a fianco dell’altro, mi pare di capire, allora bisogna essere conseguenti fino in fondo. I problemi (e le ricerche) vanno sempre e solo valutati nel merito e ci sarà sempre qualcuno che valuterà altri.

    • Caro Luca, con il mio commento intendevo semplicemente questo. Nella lista di rivista in A per i settori bibliometrici sappiamo che può essere finito di tutto. Sicuramente ci stanno: 1) riviste giudicate di qualità A (secondo qualche criterio) dai gruppi di lavoro; 2) riviste di qualità imparagonabili a quelle sub 1, inserite perché i gruppi di lavoro, bontà loro, vogliono favorirne la diffusione (come da scritti di Graziosi). Alcuni malevoli (!) sono arrivati a suggerire che alcuni inserimenti di riviste potrebbero fungere da backdoors per alcuni commissari e alcuni candidati. D’altra parte, sempre a stare a quello che dice ANVUR, non dovrebbero esserci riviste su cui non hanno pubblicato strutturati italiani. Il che spiegherebbe molte assenze rumorose segnalate anche dai lettori di Roars.
      Ho scritto semplicemente che in Area 13 non mi sembra che ci siano stati inserimenti di riviste di tipo 2, cioè di riviste italiane di cui favorire la diffusione, perché banalmente non ci sono riviste italiane nella lista. Questo ha generato il tuo commento: avrei dovuto scrivere “non ci sono riviste italiane” oppure “ci sono solo riviste in lingua inglese”.
      Conosco molto bene le tue posizioni sulla “internazionalità” e le condivido in linea di principio. Dobbiamo però fare i conti con il fatto, e lo scrivo da tempo, che nell’università italiane, pezzi anche consistenti di scienze umane e sociali (ma forse non solo di quelle…) sono cresciuti e prosperati al riparo dalla scienza internazionale, in modo completamente autoreferenziale. Questo richiederebbe l’individuazione delle sacche di autoreferenzialità (il mestiere di un serio esercizio di valutazione), ed interventi mirati. In tempi non sospetti ho auspicato l’uso anche delle più rozze pratiche internazionali di valutazione. Purtroppo gli strumenti messi a punto da ANVUR (vqr fai-da-te e mediane) sono così terribili che forse in Italia nessuno più vorrà sentir parlare di valutazione per decenni…

  3. alessandro bellavista says:

    Intervengo in ritardo su questo articolo, ma volevo dire pubblicamente che ritengo ogni riga assolutamente condivisibile. E ogni giorno succede qualcosa di peggio.

  4. Pingback: INVALSI, la piccola élite e la “rivoluzione dall’alto” « La scuola è nostra! Miglioriamola insieme

Leave a Reply

Newsletter Powered By : XYZScripts.com