La fretta, si sa, non aiuta a fare scelte ponderate e sagge: anzi la fretta induce a fare errori. Nel caso in questione gli errori della fretta potranno influenzare l’organizzazione nazionale dell’università e della ricerca nel nostro paese per qualche lustro. Ci si domanda dunque: che fretta c’è? Andiamo con ordine. L’Agenzia Nazionale della Valutazione della Ricerca (Anvur), ideata già durante il ministero Mussi ma diventata operativa sotto l’infausto ministero Gelmini, sta procedendo a spron battuto nell’organizzazione della più grande valutazione della qualità della ricerca (Vqr) di questo paese di tutti i tempi. Si dirà: era ora che qualcuno valutasse quei nullafacenti, mafiosi, baroni dei professori universitari e dei loro tirapiedi, i ricercatori. Finalmente! Però, a pensarci bene ci si può domandare: possibile che Mariastella Gelmini, l’antitesi vivente della parola valutazione, sia stata capace di organizzare una simile operazione?
Strano sì. Infatti andando oltre la cortina fumogena alzata da quasi tutti gli organi di stampa nazionali, con giornalisti incapaci di formulare la famosa seconda domanda, scavalcando editoriali di pura propaganda ideologica si scoprono varie cose. Ad esempio, si scopre che la modalità di operare dell’Anvur è del tutto peculiare: Alberto Baccini e Giuseppe de Nicolao dal sito Roars mettono in evidenza vari, ma non certo tutti, problemi nel modo di procedere dell’agenzia che appaiono del tutto singolari e senza paragoni a livello internazionale: dalle classifiche fai-da-te degne del manuale di Nonna Papera, all’inconsistenza metodologica dei metodi di valutazione. Senza contare che altri problemi erano già stati messi in luce: il formarsi di gruppi omogenei, meglio denominati cricche, tra i valutatori, l’esclusione quasi assoluta dei ricercatori degli enti di ricerca (Cnr, Infn, Ingv, ecc.) dai comitati e la non considerazione nella definizione dei criteri di valutazione della peculiarità di questi stessi enti.
Curiosamente dopo gli articoli di Baccini e De Nicolao, sul sito dell’Anvur compare un comunicato che fa slittare di un mese, da fine gennaio a fine febbraio, la pubblicazione dei criteri di valutazione dei prodotti di ricerca perché si vogliono sviluppare dei metodi “convalidati da una sperimentazione preliminare e in grado di offrire alle strutture indicazioni precise per la scelta dei prodotti da sottoporre alla valutazione”. Nei paesi civilizzati come l’Inghilterra o l’Australia il periodo di sperimentazione è durato anni, non un mese. Che fretta c’è? La risposta a questa domanda la fornisce il coordinatore del Vqr, Sergio Benedetto: l’obiettivo dell’agenzia è quello redigere una “classifica” delle università e degli enti di ricerca di “serie A, B o Z”, che possa determinare la ripartizione dei fondi a partire dal 2013, che possa “far ripartire da zero le università” istituendo una distinzione netta tra “research university” e “teaching university” e che possa tracciare una distinzione tra università adibite al conferimento della laurea triennale e università dove si possano conseguire i titoli più alti, determinando anche la chiusura di “qualche sede”. Insomma una volta stilata la classifica, il gioco è fatto: chi non è capace di leggere una classifica? Dalla classifica a chiudere qualche corso o qualche sede il passo è breve e irreversibile: la classifica fai-da-te è il sacro Graal dei valutatori italioti.
Tutto perfetto se non fosse che i compiti illustrati da Benedetto non hanno nulla a che fare con la valutazione; riguardano piuttosto la politica che s’intende perseguire con i risultati della valutazione, come ha correttamente rilevato la CGIL e come si apprestano a fare con delle interrogazioni parlamentari sia il Partito Democratico che l’Italia dei Valori. Una confusione di ruoli molto pericolosa: in ogni paese al mondo dove è stata creata, l’agenzia della valutazione non si occupa di fare anche la politica dell’università o di stilare le classifiche delle università o di chiudere qualche sede e qualche corso. L’agenzia della valutazione si occupa di fare, appunto, la valutazione e nella tanto citata America non si fa nemmeno questo: ad esempio la Carnegie Classification si limita a classificare le università sulla base di parametri oggettivi e non certo sulla base della valutazione della qualità scientifica dei suoi prodotti. Il governo ed il ministro dell’istruzione decidono come usare i risultati della valutazione.
E’ vero che l’Anvur era nata quando il ministro era una triste comparsa, quando la politica dell’università era l’ultima delle preoccupazioni del governo e quando si è fatta una “riforma epocale” scritta da chissà chi. Però prima di aprire un vaso di Pandora che può minare le basi stesse dell’istituzione universitaria e degli enti di ricerca, addirittura con il rischio di influenzare per qualche decennio la ricerca di questo paese, noi ci auguriamo che il ministro Profumo, su cui ricadrà la responsabilità politica dell’operazione, penserà bene di fare una pausa di riflessione e di aprire un confronto trasparente con le varie parti in causa. Forse tutta questa fretta non serve all’istituzione: probabilmente serve a chi preferisce che il ministro sia solo un esecutore di ordini come la Gelmini.
(Pubblicato su Il Fatto Quotidiano)
Spero proprio che il perfido piano riesca e che finalmente l’ANVUR produca una classifica delle università e la renda pubblica. Poi spero che venga abolito il valore legale del titolo di studio. Poi che i finanziamenti pubblici siano dati perlomeno per il 30% sulla base della valutazione della ricerca e che la suddetta valutazione sia basata esclusivamente su criteri bibliometrici. Infine auspico che le università siano lasciate libere di assumere i professori che vogliono e che li paghino quanto meritano (se meritano). Così finalmente l’Italia avrà qualche università di livello europeo
Anch’io spero che i finanziamenti pubblici siano dati perlomeno per il 30% sulla base della valutazione della ricerca e che la suddetta valutazione sia basata esclusivamente su criteri bibliometrici. In realtà non c’è nessuna evidenza empirica (a mia conoscenza) che questo sistema funzioni, ma forse in Italia male non potrà fare.
Il mio punto è: non si tratta di aspettare la migliore delle valutazioni possibili. Ma di fare una valutazione che rispetti almeno le peggiori (sic) pratiche internazionali. Si vogliono usare le classifiche delle riviste: ok. Ma non facciamole fare ai GEV. Vogliamo usare l’IF, il numero di citazioni, l’eigenfactor delle riviste o qualsiasi altro strumento bibliometrico; prendiamone uno o più di uno dalla letteratura internazionale. Non facciamone inventare di nuovi ai GEV.
Purtroppo tutti questi strumenti hanno il difetto che non danno risultati addomesticabili. Il ricorso alla bibliometria fai-da-te permette di aggiustare e rendere incontrollabili per i valutati i risultati.
Proposta radicale: prendiamo le classifiche delle riviste fatte da ISI-Thompson o Scopus e applichiamole. Rozzo. Ma assai poco costoso, assolutamente controllabile dai valutati e non manipolabile. Chi ci sta?
Ps. Per completezza rispetto al commento di Giovanni, non ho neanche molto in contrario al fatto che le università siano lasciate libere di assumere i professori che vogliono e che li paghino quanto meritano (se meritano). Sul valore del titolo di studio, non sono un esperto, ma leggendo la discussione in queste settimane, mi convince però che sia un falso problema.
Io invece spero che questa ideologia devastante, superficiale e fondamentalmente ignorante, espressa come un rosario nel commento qui sopra, che si rifà ad un modello che, nella semplificazione demogagica e populista con cui è raccontata e attuata, non esiste da nessuna parte al mondo, sia spazzata via dal dibattito pubblico di questo paese.
Condivido il punto di vista dell’Autore. Vi sono molti dubbi sulla sensatezza di una valutazione che vuole fare in fretta la “classifica” assoluta delle istituzioni universitarie, almeno perché sarebbe stato opportuno condividere con la comunità scientifica il processo di definizione degli indicatori qualche anno prima della valutazione medesima. In quanti sani di mente si iscriverebbero ad un campionato in cui le regole le conoscono, quando le conoscono, solo gli arbitri? Su una cosa mi pare non ci siano dubbi: i “prodotti” attesi per ogni ricercatore per il settennio di riferimento della VQR sono solo tre. Come è possibile dare il senso della continuità di una attività di ricerca con soli tre lavori in sette anni? Non si rischia di favorire exploit sporadici (pure importanti, per carità) piuttosto di sistematicità e continuità? Infine, non sarebbe opportuno promuovere delle valutazioni indipendenti delle Istituzioni/ricercatori per ogni ambito disciplinare che tengano conto di dimensioni come produttività e citation index come indicatori principali da contrapporre, se necessario, a quella ufficiale?
Condivido il punto di vista di Alberto Baccini sulla necessità di evitare come la peste che GEV, ANVUR o altri adottino indici pensati da loro. Credo siano meglio, in prima applicazione, indici che non possano essere manipolati e facilmente verificabili da tutti. Paradossalmente, la peggiore delle valutazioni su indici internazionali riconosciuti anche se non condivisi e meglio di una valutazione costruita ad hoc in pochi mesi e probabilmente più vincolata ad interessi particolari.
A me pare (è certo solo una suggestione…) che il polverone della classifica e dei criteri di valutazione sia solo altro fumo negli occhi con cui i “tecnici” del ministero cercano di distogliere la nostra attenzione dall’obiettivo principale, che è poi sempre lo stesso, come ha messo in evidenza l’autore di questo articolo: determinare la chiusura di qualche sede e di qualche corso di laurea. Se i criteri di valutazione saranno solamente quantitativi e “automatici” non sarà certo difficile manipolarli per chi ha a disposizione una rete di contatti e di favori già ben consolidata e per chi si trova in posizioni di vantaggio. D’altronde, in un momento in cui la torta delle risorse finanziarie per la ricerca diventa ancora più piccola, la guerra per accaparrarsela si fa più violenta e i pesci grossi (i gruppi più potenti) useranno tutti i mezzi a loro disposizione per far fuori i concorrenti più piccoli o più scomodi.
Per carità, non c’è fretta, facciamo le cose con calma, tanto va tutto bene…
Mesi fa mi ero iscritto a Roars sperando finalmente di leggere proposte di miglioramento del sistema di valutazione della ricerca italiana. Invece è diventato un concentrato di lamentele come se ne trovano centinaia in rete. Per tanto cosi’ mi leggo i commenti sui siti del Corriere e di Repubblica.
Valutiamo le università? Va bene, ma per carità niente classifiche. Facciamo delle classifiche? OK, ma non usiamole! Vogliamo migliorare la qualità delle commissioni di concorso? Certo, ma non usiamo un criterio semplice e pronto all’uso: facciamo prima una valutazione approfondita dei candidati commissari, cosi’ forse nel 2022 saremo pronti a fare le prime abilitazioni…
In Italia in questo momento storico è sufficiente intervenire con l’accetta. Come dice giustamente Baccini QUALSIASI classifica di riviste stilata da un organo indipendente va bene, basta che riesca a distinguere chi non pubblica NULLA, o pubblica solo su riviste locali che non legge nessuno, da chi cerca di fare ricerca a livello internazionale. Gli altri dubbi riguardano dettagli che diventeranno rilevanti solo al quarto o quinto giro valutazione (il caso inglese docet). Il primo esercizio dell’ANVUR non deve essere perfetto, deve funzionare, e ci vorrà davvero poco per farlo funzionare.
mi scusi ma dove sta scritto che tutto va bene ? casomai ho scritto che tutto puo’ andare peggio.
Caro Francesco,
mi pare che stia facendo un po’ di confusione e che lei attribuisca alla redazione idee non sue, partendo da una premessa ideologica. Premesso che la VQR non serve a valutare gli individui ma le strutture, se solo si volessero tagliare le sacche di improduttività sarebbe una cosa facilissima da fare. Il punto è che anvur vuole andare ben oltre questo, nella convinzione secondo me errata di poter governare lei il sistema nel modo migliore. In tal modo rischia di apportare più guasti che benefici.
La maggior parte dei contributi su Roars (e scusate se generalizzo: mi riferisco a chi scrive su Roars, non alla redazione) parte esattamente da questi due presupposti:
(1) Le cose possono andare peggio – anzi sicuramente andranno peggio – e quindi è meglio rinviare (cioè, è meglio lo status quo, per qualche anno ancora).
(2) Le cose andranno peggio perché chi sta organizzando la valutazione della ricerca ha dei fini nascosti che noi dobbiamo smascherare.
Quest’ultimo presupposto è abbastanza scioccante per chi viene da paesi con una cultura accademica più sana, che si basa fondamentalmente sul rispetto e la fiducia nei propri colleghi (almeno quelli più bravi). Senza un minimo di capitale sociale, le comunità affondano. Anche in Gran Bretagna – dove ho partecipato a due RAE – si facevano congetture riguardo ai criteri dei valutatori PERCHE’ I CRITERI NON ERANO DEL TUTTO TRASPARENTI (ebbene sì, non è solo un vizio italico: quando si usano diversi criteri, in parte qualitativi, è difficile essere del tutto trasparenti). Ma alla fine si pensava che gli errori fossero, appunto, errori, non frutto di chissà quale complotto. Dopo un RAE andato male, si chiudevano i dipartimenti – ho assistito alla chiusura di chimica nella mia università, e vi assicuro che non è divertente. Ma si accettava che le valutazioni avessero delle conseguenze. Anche in GB si valutano i dipartimenti ATTRAVERSO UNA VALUTAZIONE DEI SINGOLI (non sono cosi’ ignorante da non sapere la differenza). E i membri più deboli scientificamente venivano penalizzati o pensionati. (Anche questo non è divertente: pensate che non ci siano ripercussioni sui singoli?) Ma l’alternativa non è rinviare: è fare in fretta, con dei criteri semplici ed efficaci (adesso si può, perché dobbiamo distinguere solo chi fa zero da chi fa qualcosa). I mostri-università hanno bisogno di anni per reagire (non perché noi siamo lenti, è così dappertutto): i frutti si vedranno dopo la seconda o terza valutazione. Se la prossima si fa nel 2015, campa cavallo…
Caro Guala,
io penso che alcune proposte di miglioramento in giro per Roars ci siano. Ma non è questo il mio punto. Vorrei entrare nel merito.
Io credo che valutare l’università in Italia serva. Che serva anche migliorare il meccanismo di reclutamento. Che vada fatto velocemente. E che si possa iniziare con l’accetta.
Il problema è che il VQR per come si sta mettendo rischia di peggiorare e non di migliorare lo stato della ricerca in Italia. Perché non riuscirà a scalfire i gruppi accademici che in Italia prosperano al riparo della scienza internazionale (che adotteranno tutti la peer review…); e darà luogo a risultati bibliometrici inconsistenti nei settori internazionalizzati. Credo che la proposta di prendere qualsiasi classifica di riviste internazionale -scritta da altri che non sia l’ANVUR- non sarà accolta; proprio perché ha il pregio di essere completamente trasparente, controllabile dai valutati e non aggiustabile.
Che si faccia una classifica su questa base, che avrebbe anche il pregio di dirci finalmente a che punto sta la ricerca in italia. Poi la possiamo anche usare. Ma questo lo decida il ministro..
Ha ragione Antonio Banfi. Il VQR, malgrado le ambiguità del testo (i “soggetti interessati” del decreto ministeriale sono diventati nel documento anvur “soggetti valutati”) non prevede la valutazione dei singoli individui. Per individuare chi non pubblica nulla e chi pubblica su riviste locali che non legge nessuno, non c’è bisogno di 450 membri esperti. Sarebbe bastato affidare il compito a qualcuno appena appena skilled con un po’ di banche dati bibliometriche, che in qualche settimana avrebbe portato l’elenco.
Ho l’impressione che le cose semplici e trasparenti nell”università italiana continuino a non piacere a nessuno.
Caro Alberto,
quindi il timore è proprio questo: che l’ANVUR sia preda di interessi particolari volti alla conservazione.
Può darsi, non ho elementi diretti per valutare. Ma elementi indiretti? Tu (voi) ne avete? Se ne avete, mi interessa saperne di più.
Il problema è che tutti noi abbiamo un modello ideale di come dovrebbe lavorare l’ANVUR (sembra che il mio e il tuo siano molto simili, fra l’altro). Ma sarebbe anche ingenuo interpretare ogni deviazione da questo modello come evidenza di complotti. Io, per esempio, non mi aspettavo che le discipline umanistiche (quelle che più “prosperano al riparo dalla ricerca internazionale”) adottassero criteri bibliometrici o anche solo classificazioni di riviste. La cultura accademica in queste discipline è lontana anni luce da uno scenario simile, e il metodo avrebbe generato troppe controversie. Il fatto che si proceda alla peer review è dunque del tutto prevedibile e non mi fa pensare a complotti. Che cosa avrei fatto, se fossi stato membro del GEV di filosofia (la mia disciplina)? Avrei proposto di usare la classificazione delle riviste stilata dalla European Science Foundation (http://www.esf.org/research-areas/humanities/erih-european-reference-index-for-the-humanities/erih-foreword.html). Nota: l’avrei fatto sapendo che la mia proposta NON sarebbe stata accettata. Poi, persa la battaglia, avrei proceduto nella peer review usando caso per caso gli stessi criteri delle classificazioni ESF, e cercando di indurre gli altri membri del GEV a fare lo stesso (in modo informale).
Non conosco tutti i membri del GEV di filosofia, ma alcuni colleghi rappresentano davvero il meglio che la nostra povera disciplina ha espresso negli ultimi anni a livello internazionale (Diego Marconi, Paolo Parrini). Ce la faranno? Lo speriamo tutti.
Ma noi, dobbiamo limitarci a sperare? No: possiamo vigilare e, una volta visti i risultati, valutare a nostra volta il lavoro dei valutatori. Possiamo per esempio fare delle simulazioni: che cosa sarebbe successo se il lavoro dei filosofi fosse stato valutato sulla base dei criteri della ESF? Sarebbe cambiato molto? Nulla? Qualcosa? Sono stati premiati gli studiosi (i dipartimenti) che pubblicano molto su riviste internazionali? Ci sono chiari segni di bias nel lavoro dell’Anvur? I dipartimenti pieni di vecchi ordinari improduttivi sono stati premiati?
Se qualcuno è interessato, mi impegnerò volentieri in questo tipo di lavoro. Ma il processo alle intenzioni, no grazie.
Ma quale processo alle intenzioni ? Qui si parla di fatti: quanti GEV degli enti ci sono? I Gev di area economica sono o no quasi tutti coautori? E fare una media di rankins è corretto? E gli enti di ricerca con le loro peculiarità sono stati considerati? E l’agenzia di valutazione deve fare anche la politica? E i valutatori devono anche definire i criteri? Caro Guala parli di fatti concreti.
Caro Francesco,
provo a rispondere alla tua domanda. Non ho elementi diretti. Però le valutazioni politiche, perché è di policies che stiamo parlando, non si basano solo su conoscenze di prima mano. Altrimenti non saremmo quasi mai in grado di formulare dei giudizi sull’operato di un governo.
Avendo seguito da vicino i primi anni dell’ultimo governo Berlusconi sono assolutamente convinto che la fretta con cui sono stati approvati i provvedimenti sull’università fosse motivata dalla determinazione della maggioranza nel portare a termine l’iter di una legislazione che si potesse presentare come una riforma incisiva e ispirata dall’interesse generale. Chi non vorrebbe università migliori? Da quella scelta tutta politica viene anche l’attuale esercizio di valutazione, e la fretta del governo spiega perché sia partito senza quel minimo di riflessione che avrebbe probabilmente consentito di evitare almeno una parte degli errori che si stanno commettendo e che gli interventi di Alberto Baccini e Giuseppe De Nicolao hanno denunciato più volte su Roars.
Questo è un processo alle intenzioni? Può darsi, anche se non sono così idiota da pensare che tutte le persone coinvolte agiscano con la stessa intenzione. Probabilmente la volontà di portare a casa un risultato che piacesse al proprio elettorato senza disturbarne gli interessi era l’intento di Berlusconi e della Gelmini, altri attori avranno avuto intenti diversi. Nemmeno penso che i Gev siano in mala fede (anche io conosco le persone di cui tu parli e mi fido di loro, anche se mi sembra di capire che allargando lo sguardo il panorama si presenti piuttosto vario). Rimane il fatto che si sta facendo probabilmente male una cosa che si poteva fare meglio dopo un anno o due senza che la situazione cambiasse (per capire chi non lavora non c’è bisogno dell’esercizio di valutazione, le informazioni sono facilmente reperibili, come ha detto Alberto nel suo commento).
Tra l’altro, ti faccio notare che la mia ostilità agli interventi del governo Berlusconi sull’università non è affatto dovuta al pregiudizio. Se vai a guardare le cose che ho scritto per un quotidiano nei primi mesi di attività della Gelmini (che sono disponibili nell’archivio Roars) vedrai che all’inizio le avevo concesso ampio credito. Poi ho cambiato idea perché mi sono convinto che non avesse a cuore il futuro e la qualità della ricerca e dell’insegnamento in questo paese.
Infine c’è una cosa che non mi è chiara. Da come parli del RAE si potrebbe pensare che c’è un rapporto causale tra l’esercizio di valutazione e la buona qualità della ricerca nel Regno Unito. Io conosco abbastanza bene l’ambiente accademico di quel paese, e anche un po’ la sua storia recente. Non mi pare che la motivazione del RAE sia stata migliorare la qualità della ricerca, ma ottimizzare la spesa. Sul perché ciò sia avvenuto non è il caso di entrare, ma si tratta anche in questo caso di scelte politiche.
Ora mi chiedo, se il RAE ha essenzialmente lo scopo di distribuire risorse scarse in modo più soddisfacente dal punto di vista di chi stabilisce le priorità del paese, perché dovremmo avere tanta fiducia sugli effetti taumaturgici che l’esercizio di valutazione avrà in Italia dal punto di vista del miglioramento della qualità della ricerca?
Francamente rimango scettico. Sono convinto che, nella migliore delle ipotesi avremo much ado about not very much, e nella peggiore una buona scusa per giustificare risparmi di spesa ispirati da una concezione non proprio illuminata del ruolo dell’università.
Ciò detto, sarei felice se tu continuassi a contribuire come stai facendo alle nostre discussioni.
Sono perfettamente d’accordo con l’analisi complessiva fatta da Mario Ricciardi. Aggiungerei soltanto e brevemente, che se lo scopo era dare una prima valutazione con l’accetta di chi fa almeno qualcosa e di chi non fa nulla, già esistevano degli strumenti che potevano essere perfezionati. Sarebbe bastato:
– Riformare il CNVSU che stava facendo già un ottimo lavoro e rendere innanzitutto i Nuclei di valutazione indipendenti del potere del rettore (ovvero farli nominare da organismi esterni e tra docenti esterni all’università interessata, tranne un c.d. “membro interno”). Per chi non lo sapesse i NdV hanno un potere enorme, che di fatto non viene esercitato perché i suoi membri sono “persone di fiducia” del rettore, che attualmente li nomina.
– Utilizzare e perfezionare i cataloghi di ateneo e le anagrafi della ricerca che già in molte università erano stati avviati, magari uniformandoli a criteri omogenei sul territorio nazionale e così renderli confrontabili.
Già queste cose potevano esser fatte senza creare l’ambaradan dell’ANVUR (e qui la responsabilità è anche del precedente governo Prodi), i cui risultati sono rinviati al 2015 per essere di fatto utilizzati quando?
Caro Guala,
perdonami, trovo molto interessante e giusto che si sviluppi un dibattito anche aspro su questi temi..ma la lista ERIH è ritenuta da molti inutilizzabile a livello internazionale e per buoni motivi (basta leggere il documento della Royal Netherlands Academy of Sciences and Arts, spero non vorrai schedarla fra quelli che remano contro la valutazione di anvur, è disponibile sul sito). Diamoci degli obiettivi e perseguiamoli, ma è assurdo usare un cacciavite a stella per togliere un bullone. Insomma, o di questi temi si parla seriamente per ottenere risultati (peraltro ancora da definire, chi li ha chiari?) con strumenti testati e seri, oppure si fanno solo chiacchiere o nell’ipotesi peggiore danni.
Proposta: seppelliamo le accette e vediamo cosa si può fare davvero per il bene di tutti, magari con il bisturi..
Last but not least, siccome non ne parla nessuno, vorrei fare presente un rischio concreto: che un sistema fatto con i piedi (possiamo dirlo senza essere accusati di lesa maestà?) si vada a infrangere contro un muro di ricorsi amministrativi. Il regolamento sul diritto d’autore è un primo passo eccellente in questa direzione, basta leggerlo. Aspettiamo di vedere il “criteri e parametri” per le abilitazioni. Le classifiche di riviste sono un altro bel punto critico. Però, per favore, quando la valutazione italiana si schianterà contro i ricorsi, non veniamo a dire che non è colpa di chi ha deciso come farla.E che la fretta non fa i gattini ciechi.
Caro Mario,
il RAE è stato introdotto inizialmente dai governi conservatori britannici, secondo il principio ideologico che non si deve dare niente “gratis” all’amministrazione pubblica. Inizialmente il RAE è coinciso con un periodo di vacche magre, ma con l’avvento dei laburisti si è accompagnato a un’espansione delle risorse (ottimizzazione si’, ma non tagli). Uno dei suoi obiettivi è sempre stato quello di migliorare la qualità della ricerca (ottimizzare = migliorare il prodotto), e il successo è stato stravolgente. Molti accademici nostrani conoscono solo le università inglesi di punta come Oxford, Cambridge, LSE, dove il RAE ha probabilmente avuto un effetto marginale. Ma in tutte le altre università il RAE ha spinto un ricambio culturale, organizzativo e generazionale radicale, anche attraverso pre-pensionamenti e licenziamenti (che, come dicevo in un precedente post, non sono piacevoli). Per esempio, senza il RAE metà del dipartimento dove ho insegnato per un decennio (a Exeter) sarebbe ancora costituito da lecturers inattivi. Nel giro di due RAE l’università di Exeter ha cambiato il 60% del corpo accademico, in soldoni. E non è un caso isolato. Giovani come me non avrebbero trovato lavoro, o l’avrebbero trovato molto più tardi.
Non è detto che questo accadrà automaticamente anche da noi. Dipenderà molto dai membri dei GEV, da come interpreteranno il loro lavoro, e da come il ministero utilizzerà i risultati. Ma anche noi dobbiamo fare la nostra parte, concedendo loro per esempio un minimo di fiducia. Oppure evitando di combattere i risultati della valutazione a colpi di ricorsi al TAR (un vizio tutto nostro).
Finisco (e prometto che non scriverò più post per due mesi!) con una nota a Sylos Labini: è evidente che abbiamo due concetti diversi dei “fatti”. Un esempio soltanto fra quelli da lei citati: è un fatto che la frequenza di cross-citations nel GEV di economia sia anomalo. Che questo sia sintomo di interessi particolari è un’INTERPRETAZIONE (faziosa). Lei evidentemente si intende di economia così tanto da poter valutare i CV dei membri del GEV. Tutti gli economisti che conosco (e sono tanti: il mio campo di ricerca è la filosofia dell’economia) concordano che si tratta di un GEV di alto livello scientifico. Adesso chiediamoci: esiste una spiegazione alternativa della correlazione anomala? Forse ha a che fare col fatto che gli economisti italiani nella fascia fra 55-65 anni che hanno pubblicato su riviste come l’American Economic Review o l’Economic Journal (e che non sono emigrati all’estero) sono pochi? Che hanno la tendenza a lavorare insieme invece che con i loro colleghi nulla o poco-facenti? Chi ha cavalcato la questione delle cross-citations appartiene forse a una fazione di economisti italiani ormai tagliata fuori dal dibattito scientifico internazionale?
La risposta a tutte queste domande non è scontata, e per rispondere bisogna conoscere di più i “fatti” (parlo anche per me). A meno che abbiamo già deciso che si tratta di un complotto giudo-plutaico-bocconiano, nel qual caso invece di discutere gridiamo tutti insieme: “Evviva i Cavalieri Jedi della Conservazione, che ci proteggono dalle Forze del Male”!
I cv dei membri del gev non c’entrano nulla, c’entra il fatto che sono altamente connessi e non c’è bisogno di essere un economista per capire che quello è un problema grave. forse non si ricorda che nel passato CIVR l’unico campo in cui vi è stata una forte polemica tra i membri del panel è stata economia in cui alla fine Pasinetti ha fatto una relazione di minoranza. Proprio per il fattio che è un campo altamente a rischio ideologico ci sarebbe aspettati una maggiore cautela ed attenzione nella scelta dei gev. Quale sia il dibattito internazionale è solo una questione di parocchie e parrocchiette. Certo è che sono scelti membri del GEV che sono coautori e non c’è proprio dubbio, ma forse lei vuole sostenere che un’altra scelta non fosse possibile? Comunque non ho sestenuto che titta questa maniera di procedere sia un complotto ma che è una operazione fatta male in maniera dilettantesca che potrà causare solo danni (come abbiamo ampiamete discusso in questo sito). Auguri.
Nel caso fosse sfuggito: https://www.roars.it/?p=2130
Caro Francesco, mi perdonerà se mi inserisco nella sua risposta a Mario. I problemi sono tantissimi ed è difficile trattarli tutti e in modo sensato in una serie di posts come questi. Credo che comunque sia utile discutere. Vedo che lei evoca il fantasma della conservazione: non direi. Semplicemente si discute, su basi spesso tecniche. Se questo dev’essere interpretato come un intralcio si vede che qualcosa davvero non va, in questo paese. Ultima cosa: è vero che è tutto nostro il vizio di darci dentro a colpi da TAR. Tuttavia, il diritto è il diritto, i ricorsi si possono evitare facendo le cose per bene. Non sono affatto a favore di un esito di questo genere per VQR e più in generale per il “sistema” (abilitazioni incluse) perché bloccherebbe tutto per anni. Dunque, inutile stigmatizzare, bisogna semplicemente evitare che si producano effetti di questo tipo. Parlarne fra persone di buon senso dovrebbe servire anche a questo.
Caro Francesco,
una risposta rapida. La discussione sta diventando interessante, ma a questo punto dovremmo continuarla in un formato più appropriato dei commenti a margine dell’intervento di FSL. Comincio col dire che alla fine degli anni novanta ho lavorato per un anno all’Università di Manchester e per un anno a Queen’s University Belfast. Come tu sai sono entrambe università di tradizione, ma non sono paragonabili a Oxford o Cambridge. Da allora ho continuato a tenere rapporti costanti con l’ambiente accademico del Regno Unito, visitandolo spesso. La mia esperienza non è limitata alle “dreamy spires”, ma mi ha portato un po’ ovunque (con l’eccezione della Scozia). Inoltre, conosco gente che lavora in posti vari e ne raccolgo le opinioni. La mia sensazione complessiva è che descrivere il RAE un successo stravolgente sia un’esagerazione.
A meno che il successo non si misuri esclusivamente usando il metro che tu impieghi quando scrivi: “un ricambio culturale, organizzativo e generazionale radicale, anche attraverso pre-pensionamenti e licenziamenti […]. Per esempio, senza il RAE metà del dipartimento dove ho insegnato per un decennio (a Exeter) sarebbe ancora costituito da lecturers inattivi. Nel giro di due RAE l’università di Exeter ha cambiato il 60% del corpo accademico, in soldoni. E non è un caso isolato. Giovani come me non avrebbero trovato lavoro, o l’avrebbero trovato molto più tardi”. Senza tirarla troppo per le lunghe, io non sono convinto che il ricambio generazionale o il rinnovamento culturale e organizzativo abbiano un valore assoluto. Dipende da chi esce e da chi entra, che tipo di mentalità hanno i nuovi arrivati, come scrivono, cosa pensano, quale idea hanno del proprio lavoro, in che modo contribuiscono alla cultura pubblica del proprio paese, quanto sono originali, e altro ancora.
Probabilmente per rispondere alla domanda sulla qualità dei cambiamenti in corso nel Regno Unito si dovrebbe avere un’idea più chiara su quale sia il ruolo dell’università nella società britannica (e più in generale nelle democrazie liberali).
Io non pretendo di averla questa idea. Mi limito a osservare che nel Regno Unito (e anche negli Stati Uniti) la discussione è aperta da tempo. Anzi è cominciata quando venne approvata la legge che istituiva il RAE, con un bel libro di Conrad Russell, che oltre a essere uno storico di valore sedeva anche nella House of Lords, e continua da allora. Proprio in questi giorni dovrebbe uscire un nuovo libro di Stefan Collini che si occupa proprio di questo.
Senza tornare sui problemi dell’esercizio di valutazione in corso in Italia, ti faccio notare che nulla di paragonabile al dibattito in corso nei paesi che ho menzionato si è visto da noi. Ci siamo limitati a copiare una cosa che poteva far risparmiare dei soldi, senza fare troppe domande, sulla base dell’assunzione che si dovesse “migliorare il prodotto”. Tutto ciò, lo ripeto, è avvenuto nella quasi totale assenza di discussione pubblica seria su quel che si stava facendo. Salvo che tu non consideri una discussione pubblica seria gli interventi estemporanei di alcuni columnist, alcuni dei quali non sono in grado di distinguere il dipartimento di filosofia di Harvard dalla scuola Radioelettra (con tutto il rispetto per la seconda). Roars è nata anche per invertire questa tendenza, che molti di noi trovano miope e probabilmente nefasta.
Lascio da parte la questione del gev di economia perché non sono il più qualificato a intervenire su questo. Tuttavia, devo dire che la lettura della dissenting opinion di Pasinetti nel documento richiamato da FSL mi pare dia elementi per riflettere.
Concordo con Francesco Guala sull’idea che non ci si debba limitare a sperare, ma controllare. Il controllo si esercita ex-ante, in itinere ed ex-post. L’assenza di controllo ex-ante da parte della comunità accademica ha dato luogo al mostro giuridico del decreto ministeriale di indizione del VQR. Il controllo ex post auspicato da Guala non potrà essere fatto, perché i risultati saranno avvolti dal buoi –come avvenne nel precedente CIVR. A quanto è dato di sapere non verrà reso pubblico l’elenco dei prodotti presentati, né le valutazioni ricevute, né i nomi dei referees (sganciati dal prodotto valutato, come avviene nelle riviste internazionali ovviamente). Quindi alla comunità accademica non resta che il controllo in itinere. Il mestiere che Roars sta facendo.
In questo rientra il mio post sul GEV di AREA 13. Non ho messo in dubbio mai le capacità e competenze dei membri del panel 13. Non è questo il punto sollevato. Ho fatto notare che sono (piò o meno tutti) coautori tra loro (btw: essere coautori è cosa diversa da citarsi a vicenda). Mi sono limitato quindi a descrivere un fatto. Per dimostrare l’anomalia del fatto ho confrontato i gradi di separazione del GEV italiano dall’analogo panel del REF britannico. Altro fatto. Questo è in contrasto con l’idea di panel indipendente e rappresentativo della comunità accademica di riferimento, adottato per esempio nel REF. [Btw: una decina di economisti in giro per l’Italia e per il mondo con produzione scientifica di livello internazionale e non coautori del presidente del panel si possono trovare.]
Essendo colui che “ha cavalcato” la storia dei coautoraggi (non delle cross citations!) devo precisare: 1. non mi sento di appartenere a fazioni accademiche; 2. sono un “modesto artigiano della scienza” (R.K. Merton) che fa ricerca di nicchia; i miei lavori appaiono su riviste scientifiche internazionali e quindi non penso che mi si debba considerare tagliato fuori dal dibattito scientifico internazionale (almeno nella mia nicchia).