ovvero:
Se il ministro fa il valutatore e il valutatore fa il ministro
In un paese normale la valutazione dell’università dovrebbe procedere più o meno così. C’è un Ministro e un Parlamento che devono decidere come distribuire in modo efficiente le risorse per l’Università. C’è un Agenzia indipendente di valutazione responsabile delle procedure di valutazione. Il Ministro richiede all’agenzia di procedere ad un esercizio di valutazione, stanziando le risorse necessarie (una quota molto piccola 1-2% rispetto al totale delle risorse disponibili per la ricerca nel suo complesso).
L’Agenzia organizza l’esercizio di valutazione. Sceglie opportunamente le metodologie e le tecniche della valutazione tra quelle disponibili e note a livello internazionale, magari adattandole al contesto. Nel caso in cui preveda di utilizzare estesamente la peer review, nomina dei gruppi di esperti che organizzano e verificano le procedure di peer review. Nel caso in cui preveda di utilizzare strumenti bibliometrici, li testa e li discute con esperti di settore. Nel caso in cui preveda di utilizzare classifiche di riviste e sedi editoriali di pubblicazione, costruisce insieme alle comunità scientifiche liste e classifiche di riviste.
Poiché l’Agenzia sa benissimo che ogni processo di valutazione modifica i comportamenti dei valutati, sta molto attenta ad adottare tecniche di valutazione che non creino danni comportamentali o che spingano il sistema della ricerca ad adottare comportamenti indesiderabili, avvisando il ministro e la comunità accademica di ciò. Una volta terminato l’esercizio di valutazione il Ministro si legge i dati della valutazione e li utilizza per decidere gli interventi di finanziamento.
Questo modo di procedere separa nettamente le responsabilità della politica (distribuzione delle risorse, decisioni generali sull’organizzazione della ricerca), da quelle dell’Agenzia che ha il compito di per sé assai complesso di svolgere un esercizio di valutazione i cui risultati siano giudicati credibili dalla comunità dei valutati.
Questo schema è adottato senza varianti degne di nota nel Regno Unito, in Francia, in Australia, ovvero in tutti quei paesi che hanno deciso di dotarsi di sistemi di valutazione.
Veniamo all’Italia. Un ministro (Gelmini) decide dopo un bel po’ di anni di svolgere un nuovo esercizio di valutazione. C’è un Agenzia di valutazione, l’ANVUR. Il ministro scrive un decreto che dà il via all’esercizio di valutazione. Inserisce nel decreto le modalità operative ed i criteri della valutazione, scrive cioè quali sono le metodologie di valutazione e gli strumenti. L’ANVUR, anziché far notare al ministro che in nessun paese del mondo il Ministro dice all’agenzia come si valuta, ricama un po’ sulle indicazioni, neanche tanto sommarie del ministro e dà il via all’esercizio di valutazione. Il ministro ha previsto che si possa usare anche la peer review; l’ANVUR allora specifica che almeno il 50% dei prodotti sarà soggetto a peer review. Il ministro ha previsto (art. 3 commi 3 e 4) che ci debbano essere dei gruppi di esperti di valutazione nominati dall’ANVUR e che ognuno di questi gruppi abbia un presidente scelto dall’ANVUR tra i membri. L’ANVUR nomina prima i presidenti dei GEV e poi, evidentemente con l’aiuto di questi ultimi, i 450 membri. Forse per questo nessuno si meraviglia quando viene documentato che in almeno un GEV quasi tutti i membri sono coautori tra loro. Poi l’ANVUR attribuisce ai GEV la possibilità di crearsi le classifiche delle riviste da utilizzare nella valutazione, e sollecita anche la loro fantasia bibliometrica: quindi persone scelte perché esperte e competenti in medicina, chimica, ingegneria, filosofia, letteratura, scienze giuridiche, medicina, etc. sono invitati a creare bibliometria fai da te. L’ANVUR sollecita informalmente le società scientifiche a far pervenire classifiche delle riviste. Quindi, come dichiarato in una recente intervista da uno dei membri del consiglio direttivo di ANVUR, sottopone queste classifiche a peer review. Procedura sconosciuta in qualsiasi altra procedura di valutazione. Infine, sempre nella stessa intervista si spiega che il compito dell’ANVUR è quello di creare una classifica delle strutture accademiche:
“Tutte le università dovranno ripartire da zero. E quando la valutazione sarà conclusa, avremo la distinzione tra researching universities e teaching universities. Ad alcune si potrà dire: tu fai solo il corso di laurea triennale. E qualche sede dovrà essere chiusa
Dunque, in Italia il Ministro ha fatto il mestiere dell’agenzia di valutazione; l’ANVUR vuole fare il mestiere del Ministro; i GEV fanno i bibliometrici e svolgono i compiti che altrove sono appannaggio delle comunità scientifiche.
Non sarebbe il caso, prima che la macchina sbatta contro il muro, di fermarsi un attimo, non in attesa della migliore delle valutazioni possibili, ma per riflettere sui compiti e le competenze del Ministro, dell’Anvur, dei GEV e della comunità accademica. E per fare in modo che il prossimo esercizio di valutazione sia organizzato e gestito come avviene in ogni paese normale?
Cari ROARS,
sono del tutto d’accordo con l’analisi da voi proposta, e credo alcuni di voi conoscano già il mio punto di vista, condiviso peraltro da autorevoli colleghi e amici comuni. Il punto è: dove collochiamo le nostre analisi? Nel contesto di quale fase riflessiva o deliberativa? Perché a me pare che esercizi dotti e composti di analisi siano ormai fatalmente attardati – non nel senso che siano o siano stati inutili, al contrario; ma nel senso che sono superati dall’evidenza delle cose.
http://micheledantini.micheledantini.com/2012/02/05/lanvur-e-il-merito-retoriche-del-commissariamento/
http://micheledantini.micheledantini.com/2012/02/06/quale-agenda-per-quale-digitale-aperture-su-francesco-profumo/
L’evidenza delle cose è questa, a parere di chi scrive: si è colto l’opportunità di una riforma universitaria per avviare un vasto processo di ingegneria sociale. Gelmini è stata una povera, squallida groupie del progetto di dispersione dei ceti sociali “riflessivi” che, nella prospettiva di Tremonti, Sacconi (in primo luogo) e Brunetta, abitano e si riproducono nelle università e in particolare nelle facoltà umanistiche (nb: non dico che questo sia vero, anzi credo che sia una descrizione sommaria e ideologicamente distorta dello stato delle cose. Dico solo che questo è stato il sottotesto politico e sociale, mai dichiarato esplicitamente, delle iniziative di riforma anticulturale e antiintellettuale del precedente governo).
Dunque: colpire queste per colpire la CGIL e disperdere le comunità ideologicamente “estreme” nei loro laboratori ideologici. ANVUR, VQR: sono direttivi di un’operazione egemonica che punta a modificare la composizione sociale della cultura in Italia. Se i politici hanno avviato una campagna di ingegneria sociale, dell’università, intendo dei guasti storici di questa e dei rimedi approntabili per sospingere le energie migliori e dare libero campo ai ricercatori qualificati e di talento, frega davvero poco persino ai “decisori” accademici, Profumo incluso: interessa invece intercettare finanziamenti. Dunque, la domanda è: che fare? Le “prove” del disegno oggi in atto mi sembra siano già state raccolte e esibite. Che fare? Anche nel senso anche di iniziative di disobbedienza civile…
Aderisco in pieno ad argomentazione e conclusioni. Bisogna fermarsi e reimpostare tutto: attribuzione di competenze, processi decisionali, procedure. Bisogna che si discuta seriamente di metodologie, senza le improvvisazioni che hanno contrassegnato i passaggi delle ultime settimane del 2011 e le prime del 2012. Tra le comunità scientifiche, l’Anvur e la VQR è mancato – almeno in certi casi – un fondamentale anello intermedio rappresentato dalla trasparente e competente scelta di figure in grado di guidare i processi con conoscenza della materia sufficientemente approfondita. E i risultati si vedono. La risposta delle comunità scientifiche (almeno in casi particolari noti a chi scrive) è stata del tutto responsabile: fretta e improvvisazione hanno impedito che, oltre che responsabile, fosse anche coordinata, omogenea e quindi efficace.
Nota informativa: è vero che il Decreto è stato firmato dal Ministro, ma nei fatti è stato proposto dall’ANVUR, come quello precedente era stato proposto dal CIVR.
Cioè il Ministro usa quella prerogativa per contrattare un tipo di attività che sia consistente con gli indirizzi politici del Ministero, mi spiego? Del resto anche l’ANVUR è una Agenzia Esecutiva, non è una Autorità Indipendente.
Tutto vero. Solo non dimentichiamo che c’e’ un nuovo Ministro, che, come implica il commento precedente, non è meno, ma anzi più centralista e autoritario dei precedenti. Poi, sarebbe troppo chiedere una minimale moralità e deontologia professionale a quei membri della comunità accademica investiti di ruoli di valutazione ?
Nota aggiuntiva: il Decreto di indizione del VQR era stato “contrattato” e discusso dal Ministro Gelmini, fra maggio e luglio. Cioè, si intende che qualcun’altro del Ministero lo abbia “contrattato” con l’ANVUR, e cioè i Dirigenti del Ministero e il respoinsabile della Segreteria Tecnica, direi.
Il grosso problema è che gli elementi portanti dell’esercizio di valutazione, e cioè i criteri e la metodologia concreta, vengono ora discussi frettolosamente e “behind the curtains”, mentre si legge di fantascientifiche conseguenze derivanti da codesta valutazione, che non hanno nulla a che vedere con la sua finalità statutaria.
Cari amici,
concordo anch’io con le argomentazioni espresse nel vostro editoriale, ma non però con le conclusioni. Non penso cioè che l’esito finale di tutta questa operazione possa essere il rischio di andare a sbattere contro il muro. Al contrario (ma non è certo una prospettiva migliore) ho l’impressione che si vada dritti verso un’autostrada a senso unico.
Il disegno complessivo mi sembra chiaro da tempo e a questo stato dei lavori il processo, al quale molti e molti stanno collaborando, mi pare inarrestabile. Vedo improbabile una dimissione in massa dei valutatori che hanno comunque accettato quel ruolo e a quelle condizioni, vuoi perché condividono la filosofia di fondo del progetto, vuoi perché hanno pensato pur criticandolo di poterlo controllare o governare dall’interno.
Che fare, chiede giustamente Dantini. L’ipotesi di un appello perchè il processo si fermi mi sembrerebbe assai debole se rivolta a un’opinione pubblica pronta a dire, dopo anni di discredito pubblico dell’intera categoria, “ecco, i professori non si vogliono far valutare”. Bisognerebbe rifiutarsi in massa di inviare i propri “prodotti” per la valutazione: ma chi oserebbe farlo?
Il vero problema, infine, non sono solo soltanto i criteri di valutazione – che in linea teorica potrebbero essere poi rivisti in una successiva fase e in base a questa prima esperienza – ma appunto l’obiettivo finale (teaching vs research university) e cioè un ridisegno complessivo della geografia universitaria. Obiettivo che di per sé può anche essere sostenibile se fosse perseguito lasciando gli atenei competere virtuosamente tra loro e non, come sta già accadendo, governando dall’alto in processo in modo centralistico e autoritario. Come opporsi? In questa e nelle prossime fasi, come sapete bene, la contrattazione su chi e come sopravvivrà è a livello di ministero, rettori, presidi (o direttori di dipartimento), poteri e lobby locali…
Mi rendo conto che questo mio commento potrebbe apparire rinunciatario e pessimistico, e forse lo è. Purtroppo però al momento sono a corto di risposte.
Sono completamente d’accordo con le argomentazioni, ma non con le conclusioni: secondo me l’articolo sarebbe stato molto piu’ efficace senza l’ultima frase (e con un titolo diverso),
come una richiesta di radicale cambiamento di rotta della valutazione.
Penso infatti che indipendentemente dal significato di quel che si dice, bisogna anche tener conto di come una cosa viene percepita, e di che impatto ha sulla realta’.
Oggi chi come noi crede che la valutazione debba essere diversa, ma che nessun sistema universita-ricerca potra’ mai funzionare senza una “vera” valutazione, ha non uno ma *due* avversari:
– da una parte ci sono quelli che vogliono una valutazione fatta male, a volte per l’incapacita’ che porta a imboccare scorciatoie, altre volte per mettere in atto proprie agende politiche (ridimensionamento dell’accademia, creazione di un sistema “all’americana” molto differenziato, etc.) o accademiche (riduzione al silenzio di correnti avverse, come sta accadendo un alcune discipline);
– dall’altra parte ci sono quelli che sono contrari a qualunque valutazione perche’ perderebbero potere o verrebbero comunque messi in discussione. Spesso sono quelli che hanno ridotto l’universita’ come e’ oggi, facile preda di quelli del primo gruppo. E’ anche a causa loro che oggi non c’e’ un meccanismo serio di valutazione in Italia come quelli degli altri paesi europei.
Gli uni e gli altri sono altrettanto pericolosi per chi sogna “un’altra universita’”.
La mia paura e’ che la parola “fermiamo” e’ oggi quasi una “parola chiave”. Chi la usa, indipendentemente dalla sua volonta’, viene letto (per ingiusti ma inesorabili meccanismi della comunicazione) come un propugnatore della seconda ipotesi. Si possono scrivere 10 pagine spiegando come dovrebbe essere fatta “un’altra valutazione”, ma se poi c’e’ la parola “fermiamo” nessuno legge le 10 pagine di prima: in Italia, significa “poi un giorno faremo il resto” e come e’ noto quel giorno, in Italia, non arriva mai.
So benissimo che non era questi che si voleva dire, ma ho paura che questo e’ cio’ che verra’ capito. Mi e’ capitato di avere esperienza diretta di quanto possa essere pericoloso ignorare la differenza tra quel che si vuole comunicare e quel che si comunica davvero…
Grazie per l’ottimo commento completamente condivisibile, che dà l’occasione per chiarire un possibile fraintendimento. Il “fermiamoci” non significa rinunciare ad ogni forma di valutazione e di tentativo di comprensione, anche quantitativa, dello stato della ricerca. È un invito a riflettere e a implementare rapidamente un cambiamento di rotta o almeno una “strategia di riduzione del danno”. Non a caso, il mio ultimo articolo “VQR: Gli errori della formula ammazza-atenei dell’ANVUR” (https://www.roars.it/?p=4391) chiude con la frase: “Un’altra valutazione è possibile, anzi necessaria”. L’aggettivo “altra” va inteso come alternativa in senso tecnico. Una valutazione elaborata con cognizione di causa, facendo riferimento alla letteratura scientifica e l’esperienza internazionale sull’argomento. Il frettoloso “fai da te” è doppiamente inaccettabile. Sia per l’inadeguatezza delle soluzioni che sforna, ma anche perché non è possibile assegnare i voti a decine di migliaia di ricercatori usando criteri che, se giudicati con lo stesso metro, finirebbbero in classe D. Per quanto riguarda il titolo, esiste l’oggettiva necessità di catturare l’attenzione in mezzo al frastuono dei media tradizionali e di internet. Con tutto il rischio che si apra una divaricazione tra ciò che si intende comunicare e ciò che si comunica davvero. Faremo del nostro meglio per evitare che ciò accada.
Vero, la metafora della macchina che va fermata è fuorviante. Potremo modificare così. C’è molta neve in giro. La macchina slitta continuamente con il rischio di finire fuori strada. L’autista accosta per il tempo strettamnete necessario a mettere le catene e riparte.