Riprendiamo di seguito l’articolo di Alessandro Dal Lago “Follie Anvur” uscito su “Il Manifesto” il 16 Maggio 2012 con il titolo “La follia della valutazione”.
Leggendo l’intervento di Marina Giaveri, (“Il manifesto” del 9 maggio 2012) sulla valutazione della ricerca universitaria da parte dell’Anvur (l’Agenzia nazionale istituita dal governo Berlusconi), si potrebbe pensare che i docenti universitari italiani saranno valutati d’ora in poi per quello che fanno davvero, e ciò in base a strumenti scientifici, oggettivi e imparziali come la peer review e gli indici bibliometrici (che misurano l’impatto di un lavoro scientifico). Finalmente saranno smascherati i fannulloni e premiati quelli che tirano la carretta dell’università, penserà qualche ottimista.
Beh, le cose non stanno proprio così. La realtà che sta emergendo nel caso della classificazione delle riviste scientifiche e della valutazione della qualità della ricerca (VQR) è quella di un’Agenzia che ha avviato un’operazione iper-burocratica nelle procedure, autoritaria nei modi, arbitraria nei metodi, sostanzialmente inutile e soprattutto incredibilmente costosa. Si sta sprecando una montagna di denaro pubblico per un processo di valutazione scientificamente dubbio e oggetto di contestazioni e proteste, mentre già si parla di ricorsi al Tar.
Per cominciare, i gruppi di esperti valutatori (GEV) delle varie aree scientifiche sono stati nominati direttamente dal Consiglio direttivo dell’Anvur senza alcuna selezione pubblica o trasparente. Il che evidentemente compromette del tutto la loro legittimità e autorevolezza. Si tratta di professori universitari in alcuni casi dall’ottimo curriculum e in altri meno o molto meno, come si può vedere facilmente in base ai loro indici bibliometrici. E soprattutto, pochissimi sono esperti di valutazione della ricerca, che oggi è un vero e proprio ambito scientifico iper-specializzato, in cui è necessario districarsi tra algoritmi, logiche culturali e telematiche. Per esempio nel GEV della mia area scientifica (14, “Scienze politiche e sociali”), nessuno dei 13 “esperti” ha pubblicazioni significative nel campo della valutazione.
In alcuni GEV, come quello di Sociologia, i criteri adottati per classificare le riviste sono a tutt’oggi sconosciuti, e ci sono fondati motivi per ritenere che si basino sul classico do ut des accademico (si veda su questo la presa di posizione di una cinquantina di professori di sociologia, tra cui il sottoscritto, leggibile sul sito della loro associazione di categoria, l’Ais, e su www.roars.it ). In altri, come Filosofia, la classificazione è stata imposta, anche se la Società italiana di filosofia teoretica l’aveva rifiutata con solidi argomenti. In altri ancora, come Filosofia politica, nelle direzioni o redazioni di riviste classificate in prima fascia siedono alcuni valutatori, il che configura un evidente conflitto d’interessi, come hanno denunciato Maria Chiara Pievatolo e Brunella Casalini sul “Bollettino telematico di filosofia politica”.
Quanto alla valutazione della qualità della ricerca, si tratta di tre “prodotti” (il termine ufficiale è già agghiacciante in sé e dà un’idea dello stile dell’intera faccenda) o pubblicazioni già edite che ogni docente universitario è tenuto a inviare ai valutatori. Se si voleva stabilire la produttività dei docenti e il loro “impatto” scientifico – per premiare o punire i relativi dipartimenti – bastava andare a vedere chi non aveva pubblicato nulla o era sotto il limite della decenza. Con la tanto sbandierata peer review (o “valutazione dei pari”), invece, centinaia se non migliaia di valutatori sconosciuti (e arbitrariamente nominati) si metteranno a giudicare i colleghi (in realtà, come molti pensano, si limiteranno a leggere gli abstract in inglese). Visto come è andata in certi casi con la classificazione delle riviste, si può pensare che i valutatori avranno soprattutto un occhio di riguardo per le cordate a cui appartengono (nel sub-GEV di sociologia, per esempio, la maggioranza è costituita da docenti che fanno capo al gruppo dei sociologi cattolici, proprio come la vice-presidente dell’Anvur, Luisa Ribolzi, mentre la minoranza ha un evidente ruolo cosmetico); d’altra parte, se l’università italiana è infestata dai baroni, perché costoro, grazie alla bacchetta magica dell’Anvur, dovrebbero diventare di colpo virtuosi e mettersi a giudicare oggettivamente i colleghi?
Ma quello che agghiaccia veramente è il costo dell’intera operazione. Secondo l’economista Giorgio Sirilli (vedi i suoi interventi sul sito www.roars.it ), più di 300 milioni di Euro tra costi diretti e indiretti. La sola Anvur costa ai contribuenti 10 milioni all’anno, ma si tratta di una valutazione per difetto. Il Consiglio direttivo costa 1.281.000 Euro all’anno in compensi (210.000 al presidente e 178.500 agli altri sei componenti, peraltro già dotati di congruo stipendio o pensione). Solo valutare 200.000 prodotti circa a 30 l’Euro l’uno (questo è l’obolo versato ai valutatori) costerà 6 milioni di Euro, senza contare gli oneri contabili e amministrativi. Tutto il resto sarà speso in compensi per i membri dei GEV, rimborsi, missioni sistema informatizzato, lavoro amministrativo ecc. (in ogni università diecine di impiegati sono al lavoro sulla valutazione e su quell’altra geniale trovata dell’U-GOV o governance del sistema accademico).
C’era bisogno che l’università italiana, vecchia, baronale, sotto-finanziata, incapace di reclutare e rinnovarsi subisse questo salasso? Invece di finanziare i progetti di ricerca e svecchiare la docenza, i ministri Gelmini e Profumo, con i loro consulenti e valutatori nominati senza trasparenza, hanno avviato un carrozzone iper-costoso che non farà che confermare i poteri accademici esistenti.
Come giustificano questo spreco di risorse, offensivo per il paese in tempo di sacrifici e sofferenza sociale, Monti, Passera, Profumo, Fornero e il resto del governo dei professori?
Da Francoforte i GIOVANI EUROPEI urlano:
„NOI LA CRISI NON LA PAGHIAMO!!!“
Ma quanto scritto in questo articolo indica che in realtà non solo la paghiamo direttamente ma anche indirettamente ogni giorno finanziando anche la “FOLLIA VALUTATIVA”, in questo caso relative all´Università e alla ricerca, i cui costi non erano “nemmeno stati calcolati, pensati e se tali, tantomeno resi pubblici”.
Senza parlare poi dei fini e delle conseguenze che una valutazione IMPOSTA, su fondamenta pressoché inesistenti, può comportare. Ricordo che se fossimo in un`azienda (probabilmente non italiana!) e i manager del consiglio di amministrazione avessero palesemente dimenticato di fare il calcolo dei costi e il ROI di un “supposto” investimento “innovativo”,( forse per trovare i fannulloni ma in questo caso non si sa esattamente quale sia il vero fine), essi dovrebbero andarsene (naturalmente “profumatamente” pagati)!
La politica e i politici italiani, per quello che concerne l´argomento trattato: Profumo, Fantoni & Co. NON DANNO RISPOSTE, sanno solo arrampicarsi sugli specchi della loro stessa ignoranza, per l´incapacità di vedere la realtà dei fatti e di fare delle scelte RESPONSABILI, tipo indietreggiare prima dello schianto!
„Non sarebbe il caso, prima che la macchina sbatta contro il muro, di fermarsi un attimo, non in attesa della migliore delle valutazioni possibili, ma per riflettere sui compiti e le competenze del Ministro, dell’Anvur, dei GEV e della comunità accademica. E per fare in modo che il prossimo esercizio di valutazione sia organizzato e gestito come avviene in ogni paese normale?“
https://www.roars.it/?p=4317
L’articolo di Dal Lago mi pone un sospetto. Non è che una parte della polemica sulla valutazione sia dovuta alla collocazione politica di una parte dei valutatori ?
Sarebbe ben grave se così fosse.
In una procedura di valutazione le procedure di selezione dei comitati di valutazione giocano un ruolo fondamentale. Ci sono buone ragioni per affermare che in alcuni GEV si sarebbe potuto fare meglio ed in modo più trasparente. Per chi non l’avesse già fatto, consiglio di leggere
VQR, la composizione dei GEV ed una questione di fairness
(di A. Baccini e M. Riccardi)
https://www.roars.it/?p=6794
Spiace ritornare su questo argomento, che ha già provocato molte discussioni accese e talvolta anche poco cavalleresche. Però vedo che si continua a picchiarci sopra, quindi vale la pena ricapitolare: (1) Baccini denuncia un tasso di co-autoraggio anomalo nel GEV13; (2) L’Anvur replica facendo notare che il tasso di co-autoraggio è in linea con quello medio fra i primi 50 economisti italiani, secondo i dati di Repec: si tratterebbe dunque di una correlazione spuria dovuta al fatto che il GEV ha pescato nel pool dei migliori; l’Anvur peraltro riporta solo i dati relativi al co-autoraggio del presidente Jappelli; (3) Baccini replica evitando di discutere i dati: evidentemente sono corretti (e non solo per Jappelli). Seguendo un suggerimento di Mario Ricciardi, sposta però il discorso sull’importanza di apparire “fair”, ovvero di non dare adito a sospetti riguardo a potenziali “cricche” che si sarebbero impadronite del GEV13. Questo appare sufficiente a tutti per continuare a diffamare il GEV13, ovvero a sostenere che una cricca si è DAVVERO impadronita del GEV13. Il che in Italia (il paese delle cricche) è un’accusa molto grave.
Ora, è evidente che cercare di evitare i sospetti è cosa sensata e giusta. Ma è anche evidente che fra colleghi bisognerebbe essere cauti. Continuando la polemica Baccini ha dato il via libera a tutti coloro che non conoscono la composizione del GEV13. Chi non conosce bene la composizione del GEV13, come De Nicolao, necessariamente non può valutare la sostanza del problema (la cricca c’è oppure no?) e quindi giustamente si fida di Baccini, che è un economista. Ma Baccini conosce benissimo la composizione del GEV13, e di fronte a reiterati inviti a fare nomi e cognomi, si rifiuta di affrontare la questione sostanziale, ovvero: il GEV13 è preda di una cricca? E’ sbilanciato fortemente a favore (o a sfavore) di una particolare scuola di pensiero?
Visto che non si vuole entrare nel merito, facciamo alcuni nomi:
Daniele Checchi: Labour, inequality
Valentino Dardanoni: welfare economics, social choice
Giovanni Dosi: institutional economics, bounded rationality
Massimo Marinacci: non-standard decision theory, game theory
Vera Zamagni: economic history
Neri Salvadori: post-keynesian economics, history of economic thought
Massimo Warglien: behavioral economics, experimental economics, philosophy and economics
Questo sono solo alcuni componenti del GEV13. Non essendo onnisciente non li conosco tutti, ma mi sembra sufficiente per evidenziare una notevol eterogeneità negli approcci e nelle aree di ricerca. Come si evince dalla loro ricerca, non si può dire che approcci non-Chicago, non mainstream (qualsiasi cosa voglia dire) o non-Alesina-Giavazzi, tanto per fare nomi, non siano rappresentati nel GEV. Credo che sia dovere di Baccini quindi spiegare in quale modo il GEV13 sia sbilanciato a favore di un particolare approccio (facendo nomi e cognomi). Altrimenti continuare a ripetere lo stesso refrain è solo opera di diffamazione a danno dei propri colleghi.
Per essere chiari: si poteva evitare il problema del tasso di co-autoraggio? Sì, ma si può anche immaginare che non ci avessero pensato (un po’ sciattamente e ingenuamente). Il tasso è indice di partigianeria? Di per sè no, per dimostrarlo bisogna esaminare in dettaglio la ricerca che fanno i membri del GEV. Il GEV13 ha dei problemi? Sì, e più gravi di questo su cui si continua a insistere da mesi (per esempio il ritardo e la scarsa trasparenza nella classificazione delle riviste). Insistendo con questa polemica si diffamano stupidamente i propri colleghi e si svalutano anche le molte critiche fondate apparse su Roars, facendo sospettare appunto che ci siano dei pregiudizi politici.
Attendo repliche da Baccini o altri economisti che vogliano impegnarsi a discutere la sostanza della composizione del GEV13. Astenersi perditempo.
L’Accademia dei Lincei ed in particolare la Classe di Scienze Morali, Storiche e Filologiche ha scritto al Presidente della Repubblica, una lettera in cui si ritrovano molti degli argomenti discussi da Roars: “Che per tutte le aree vengano resi espliciti i criteri della valutazione …i criteri per la scelta dei revisori ” punti che possono essere riassunti nella parola trasparenza. Inoltre si chiede che “laddove la composizione dei Gev risulti squilibrata… a favore di una corrente scientifico disciplinare … si provveda a correggere tale situazione con l’individuazione pluralista degli esperti revisori facendo ricorso … alla stessa Accademia Nazionale dei Lincei”. E come aveva messo in evidenza Alberto Baccini, proprio nell’area economica, una delle più sensibili da un punto di vista politico, si è riscontrata un’alta connessione tra i valutatori (quello che in gergo si chiama, “friends and friends of friends”). Ma e’ noto che anche gli accademici dei lincei siano dei diffamatori con pregiudizi politici.
L’accademia dice una cosa giustissima: “Laddove la composizione del GEV risulti squilibrata… ecc”. Non mi sembra che si riferisca a nussun GEV in particolare e dunque non diffama nessuno.
Astenersi perdigiorno.
L’Accademia dei Lincei si compone di due classi: Scienze Fisiche, Matematiche e Naturali e Scienze Morali, Storiche e Filologiche. La Classe di Scienze Morali, Storiche e Filologiche si riferisce alle aree umanistiche che include economia, che e’ proprio l’area (insieme a sociologia) che piu’ ha destato polemiche per la composizione dei Gev. (Lo so che discutere con in flamers e’ tempo perso, ma infatti qui si lavora per chi vuole capire qualcosa).
Caro Francesco,
negli Stati Uniti ci si preoccupa molto del fatto che le giurie appaiano fair nella loro composizione. Anche quello è un “paese delle cricche”? Per favore lasciamo stare questi argomenti da gazzette. Nell’intervento che ho scritto con Alberto Baccini si solleva una questione procedurale. Personalmente non ho alcuna ragione di dubitare delle tue assicurazioni relativamente all’indipendenza di pensiero di alcuni componenti del Gev13, ma non era questo il punto. Io mi fido di te, tu ti fidi di loro, ma molti altri potrebbero trovare le nostre opinioni una garanzia insufficiente. Devo confessare che non troverei tali perplessità irragionevoli, e questa è una buona ragione per criticare il modo in cui è stata fatta la selezione dei componenti del Gev13.
Ciao,
Mario
Mario: HAI RAGIONE! SONO D’ACCORDO! Come devo dirlo?…
Il problema è che una cosa dire che il processo è stato fatto in modo superficiale; un’altra dire che il GEV13 è composto da mafiosi. Questo è il linguaggio che viene usato talvolta in questo blog (“amici degli amici”) e che va evitato assolutamente quando si parla di colleghi, a meno che siamo assolutamente certi di quello che diciamo. Baccini è uno dei pochi che ha le competenze per valutare la composizione del GEV13 (oltre alla procedura, che è già stato fatto in modo più che esaustivo). E’ importante fare questa distinzione, che Baccini non fa, e non so perché: se crede che sia sbilanciato lo dica, con qualche dato a supporto. Anche perché la storia del GEV “cricca” è già finita sui giornali; il che è uno degli scopi di Roars, suppongo, ma quando si tratta coi media bisogna stare molto attenti a quello che si dice, e dirlo chiaramente, senza ambiguità. (Quest’ultima credo di non doverla argomentare, visto tutto quello che si è detto qui sui giornalisti disinformati!)
Friends of friends (che come ho speicificato e’ un gergo) e’ un algoritmo che serve per identificare le conessioni tra elementi di un network. In questo caso le connessioni sono i membri del Gev che sono anche coautori: queste sono le tecniche standard usate nello studio dei networks. Continuare a scrivere schiocchezze come “mafiosi” che “diffamano i colleghi” per “pregiudizi politici” significa solo manifestare ignoranza e malafede.
Caro Francesco,
io non uso quel linguaggio. D’altro canto non posso fare a meno di notare che quel modo di esprimersi viene usato spesso parlando di noi, intendo noi professori e ricercatori dell’università della Repubblica italiana. Probabilmente a qualcuno dei nostri colleghi questo modo di fare comincia a dare ai nervi, e quindi reagiscono male. Bisogna avere pazienza.
Ciao,
Mario
L’articolo che ho citato affronta, molto giustamente, il problema da un punto di vista formale. Dal punto di vista sostanziale – “la cricca c’è oppure no?” – rispondere è quasi impossibile e non è comunque l’oggetto del mio commento.
Come ho scritto, il punto sono le *procedure* di selezione, che devono soddisfare dei requisiti *formali* di fairness, esattamente come la formazione delle giurie in ambito giudiziario. Un comitato altamente interconnesso (nel caso del GEV13, se si considerano anche legami dovuti alla sede in cui si svolge didattica, la situazione peggiora ulteriormente) è indizio di una procedura per nulla ottimale.
Nel mio settore, un comitato editoriale così “interconnesso” sarebbe ritenuto inappropriato per una rivista internazionale di largo respiro, a prescindere dalla statura morale e scientifica dei membri.
Tra l’altro Baccini e Ricciardi hanno mostrato che, anche pescando dalla classifica Repec, era possibile selezionare con maggiore “fairness”:
“Sarebbe bastato prendere dalla classifica Repec coloro che non sono coautori del coordinatore e non hanno con lui coautori in comune. Nei primi 50 economisti italiani della classifica ce ne sono 28 con queste caratteristiche.”
Guala scrive:
“si poteva evitare il problema del tasso di co-autoraggio? Sì, ma si può anche immaginare che non ci avessero pensato (un po’ sciattamente e ingenuamente).”
Tuttavia, proprio l’Area 13 era stata teatro di controversie nel corso della precedente valutazione CIVR, che avevano anche condotto alla presentazione di una relazione di minoranza. Una ragione in più per non essere sciatti, visti i precedenti.
Insomma, mi sembra che io avessi tutti gli elementi per affermare:
“si sarebbe potuto fare meglio ed in modo più trasparente”
Non vedo proprio come questo sia opera di diffamazione. Evidenziare una procedura di selezione non ottimale e poco trasparente (che risulta da riscontri oggettivi) non è in nessun modo un giudizio sui selezionati.
Allora diciamo che la procedura non è stata trasparente in nessun GEV (sbaglio?).
Il senso del mio post inziale su GEV13 era di segnalare una anomalia di composizione dello stesso. Troppi membri troppo vicini tra loro. Dove la vicinanza è misurata con il coautoraggio.
Era un modo di sottolineare che la procedura di nomina a due stadi dei GEV (prima il coordinatore poi i membri) è esposta proprio a questo tipo di pericolo. La vigilanza di ANVUR e la sensibilità istituzionale del coordinatore diventano gli unici argini a composizioni unfair.
Nel caso del GEV13 l’anomalia della composizione è stata facile da mostrare, perché le pratiche di coautoraggio degli economisti favoriscono una semplice analisi di network.
La risposta di ANVUR, come abbiamo già avuto modo di spiegare nel post scritto con Mario Ricciardi, semplicemente non coglie il punto. Il coordinatore e l’ANVUR avrebbero dovuto scegliere nell’elenco da cui sono stati pescati i membri del GEV, proprio coloro che non appartenevano alla cerchia dei coautori suoi e di altri membri (una volta scelti) del GEV. E, come già scritto, e ricordato da Giuseppe De Nicolao, quelle persone nella classifica usata per la selezione c’erano, stando proprio ai dati ANVUR.
La procedura ha dato luogo ad una selezione del GEV che io ritengo unfair . E questo è il mio solo punto. Guala sembra suggerire che si tratta del risultata di ingenuità e sciatteria. A me sembra più semplicemente che sia una delle molte manifestazioni (nel VQR) della mancanza di una diffusa cultura della valutazione nel nostro paese.
Non posso quindi discutere di quella che Guala chiama “sostanza”, perché non mi interessa discutere di eterogeneità degli approcci, coperture disciplinari, sbilanciamento a favore di questo o quello. Di questo si sarebbe potuto discutere a fronte di una procedura corretta di selezione.
Questa è la ragione per cui non ho firmato la lettera con cui l’associazione scientifica di cui faccio parte, la Storep (Associazione Italiana per la Storia dell’economia politica) , ha chiesto l’integrazione del GEV con studiosi di storia del pensiero economico.
Guala scrive: “Credo che sia dovere di Baccini quindi spiegare in quale modo il GEV13 sia sbilanciato a favore di un particolare approccio (facendo nomi e cognomi). Altrimenti continuare a ripetere lo stesso refrain è solo opera di diffamazione a danno dei propri colleghi. ” Non vedo perché dovrei spiegare una cosa che Guala legge nei miei post e che io non ho mai scritto. Non credo proprio che mostrare che i membri di un GEV sono coautori tra loro sia opera di diffamazione a loro danno. Più di quanto constatare che alcuni di loro hanno capelli neri (o biondi o …)
Caro Alberto, chiedo scusa se leggo nei tuoi post più di quanto tu vuoi dire. Ti ripeto solo che questa è la lettura più ovvia e naturale, per esempio del FAQ sul GEV13. Il FAQ si apre con queste affermazioni:
“Il GEV è composto da membri scientificamente qualificati. Le provenienze dei membri sono varie (anche se c’è una presenza robusta di affiliati ad IGIER Bocconi); c’è un 15% di donne; si potrebbe sostenere che alcune aree disciplinari non sono adeguatamente rappresentate, anche se almeno un membro del GEV può essere classificato come economista eterodosso.
Per trovare indizi della presenza di un gruppo accademico di controllo, abbiamo provato ad applicare al sottoinsieme dei 20 economisti membri del GEV (settori disciplinari compresi tra SECS-P01 e P06) una tecnica di analisi di rete usata spesso in bibliometria. In particolare abbiamo verificato la vicinanza/distanza tra i membri del GEV analizzando la rete di coautoraggi (coauthorship network).”
Il primo paragrafo suggerisce che gli eterodossi (chiunque siano) siano sotto-rappresentati (rispetto a cosa, fra l’altro? Alla comunità degli economisti italiani? mondiali?) e che ci siano troppe poche donne. Poi però non si approfondisce. Male: se getti il sasso non puoi ritirare la mano.
Il secondo paragrafo dice che si vuole dimostrare l’esistenza di un “gruppo di controllo”. Espressione infelice? Se è così, dovete correggerla. Sicuramente dà adito alle peggio illazioni.
Poi si passa all’analisi dei co-autoraggi. Da nessuna parte si nota che potrebbe trattarsi di una correlazione “spuria”, nel senso che si è pescato fra i migliori e che quindi non c’è nessun “gruppo di controllo”. Da nessuna parte si parla di fairness e trasparenza nella selezione. Quindi è assolutamente naturale leggere questa pagina come una dimostrazione che l’IGIER ha preso in mano il GEV13 e lo gestirà per i suoi scopi.
Prendo atto che non volevi dire nulla di tutto questo. Rileggi e prova a pensare che cosa ne ricava un giornalista che legge questa pagina (visto che non avrà tempo per sciropparsi tutte le nostre riflessioni sulle fair procedures). Credo che sarebbe bene riscrivere il FAQ, come avevo già suggerito mesi fa.
Caro Francesco,
non getto il sasso e ritiro la mano. Provo a spiegare. Nel primo dei due capoversi che citi sto guardando all’elenco complessivo del GEV con un occhio simile a quello del REF. Si considera come sintomi di composizione equilibrata varietà di affiliazione, di gender, composizione etnica e religiosa. Almeno 4 membri del GEV hanno tra le loro affiliazioni IGIER Bocconi. La frase sulla mancanza di adeguata copertura di aree disciplinari si riferiva banalmente al fatto che nel GEV mancano rappresentanti di molti SSD SECS-P04, 06; 11; 13; SECS-S02, 03, 04, 05. Non che debbano starci. Ma un GEV siffatto si presta a questa critica -che io non ritengo però rilevante-.
Siccome in Italia non appena si discute di area 13 subito si va a finire su mainstream/eterodossia -altro tema che non mi appassiona-, ho inserito la frase successiva sul membro eterodosso (pensando al prof. Neri Salvadori). Su cosa penso più o meno delle definizioni di ortodosso-eterodosso ho scritto altrove (http://www.springerlink.com/content/q1x24403t70qm58h/?MUD=MP). Ma forse è il caso che chiarisca ciò che penso: qualsiasi esercizio di valutazione finisce per mettere in difficoltà il pensiero non-mainstream (non solo in economia) e multidisciplinare. Ma questo non è un motivo sufficiente per non fare la valutazione. L’autorità politica, sapendolo, deve adottare correttivi adeguati.
Nel secondo capoverso affronto la questione rilevante: la rete di coautoraggio. Nella prima parte del post facevo riferimento ampiamente alla mancanza di trasparenza nella procedure di selezione dei GEV e al conseguente pericolo che si costituissero “gruppi accademici” in grado di controllare la valutazione. Mi cito:
“Questo modo di procedere presenta alcune zone non completamente trasparenti. Per esempio: chi sono coloro che sono stati scelti fuori dalle liste? Come è possibile controllare che in alcune aree nelle liste non vi fossero candidati con qualificata e continua produzione scientifica, per cui si è dovuto ricorrere a “chiamate dirette”? Soprattutto non offre sufficienti garanzie sul fatto che i GEV non siano preda di gruppi accademici in grado di controllare i risultati della valutazione. Purtroppo, nell’accademia italiana non è remoto il pericolo che gruppi di accademici si coalizzino per pilotare concorsi, chiamate, e l’esito delle procedure per l’attribuzione di fondi di ricerca.”
La rete di coautoraggio degli economisti è il tentativo di rendere visibile questo pericolo (non è detto che il pericolo si materializzi, ma come scrive Mario Ricciardi, in questi casi il solo fatto che il pericolo ci sia può essere fonte di legittima preoccupazione).
Caro Alberto, vedo con piacere che con le persone civili si riesce a discutere. Direi che hai fugato ogni dubbio riguardo alle tue intenzioni. Il problema è che il FAQ non trasmette queste intenzioni in modo adeguato (anzi non le trasmette per nulla). Purtroppo la comunicazione conta, specie quando si fa contro-informazione (nel senso nobile del termine). Come sai ci sono giornali e anche membri di Roars che hanno usato quello che hai scritto sul GEV13 per sostenere tesi che tu giustamente, non sosterresti. Quindi mi sembra lecito concludere che c’è un problema per lo meno di scrittura. Direi che a questo punto la piantiamo qui, perché non mi sembra il caso di insistere con richieste di correzioni (non siamo alle scuole medie). Ma bisogna stare attenti: chi di media ferisce di media perisce.
De Nicolao: non sto mettendo in bocca parole a nessuno. E le correlazioni restano spurie anche se si potevano evitare. Se si vuole sostenere una tesi si va fino in fondo – e non è difficile farlo. Basta cercare ulteriori informazioni. Se Baccini aveva altri scopi, benissimo, ne prendiamo atto. Ma se si continua a parlare di “indizi”, poi bisogna cercare le prove. Altrimenti si fa il gioco di chi vuole solo mettere in dubbio la professionalità dei nostri colleghi.
Guala dica la verità: ma lei lo sa cosa sia una correlazione spuria: davvero? Dopo che ha che ha scritto “mafiosi” che “diffamano i colleghi” per “pregiudizi politici” conosce anche il significato della parola correlazione? Io non lo credo.
Dalla chiosa di Guala si evince che Baccini elenca fatti e lascia, correttamente, le valutazioni a chi leggge. Al punto che Guala sembra rammaricarsi che a Baccini non sia sfuggita qualche illazione diffamatoria.
Domandarsi se ci siano indizi di un gruppo accademico di controllo è una domanda lecita, soprattutto quando la procedura di selezione “presenta alcune zone non completamente trasparenti” (cito Baccini: https://www.roars.it/?p=2400). Alcuni indizi ci sono (e non se ne può fare colpa a chi li trova), ma Baccini, giustamente, li sottopone al lettore e non li tratta come una prova.
Riguardo alla “correlazione spuria” cito di nuovo Baccini e Ricciardi:
“Sarebbe bastato prendere dalla classifica Repec coloro che non sono coautori del coordinatore e non hanno con lui coautori in comune. Nei primi 50 economisti italiani della classifica ce ne sono 28 con queste caratteristiche.”
Quindi, anche basandosi sulla classifica Repec, non appare inevitabile ottenere un comitato con così alto grado di connessione e non è pertanto evidente la natura “spuria” della correlazione.
In ogni caso, Baccini e Ricciardi hanno spiegato bene le ragioni per cui tali correlazioni, spurie o meno, non dovrebbero essere presenti in un comitato di valutazione. Il GEV 13 non soddisfa i requisiti di fairness che dovrebbero caratterizzare i comitati di questo genere.
Fare finta che questa analisi equivalga ad una diffamazione dei membri del GEV appare un artificio dialettico per eludere la questione. Si tenta di mettere in bocca a Baccini e Ricciardi ciò che non hanno detto per evocare lo spettro della diffamazione, come se il problema stesse nei membri del GEV (che avrebbero giustamente ragione di risentirsi se venissero accusati per il solo fatto di essere stati selezionati) e non nella procedura di formazione del comitato.
Condivido in pieno l’intervento di Giuseppe. Mi permetto di sottolineare la conclusione: non è in discussione il valore delle persone che compongono i Gev, ma la fairness della procedura con cui sono state selezionate. Tra l’altro, vedo che il problema è stato sollevato anche per il sub-Gev di sociologia, a testimonianza del fatto che la tesi difesa nell’intervento che ho scritto con Alberto Baccini ha carattere di principio, e non è certo ispirata dal nostro desiderio di voler prender parte in presunte o reali contrapposizioni tra diversi gruppi di economisti italiani (mi dispiace dover precisare una cosa che a me appare ovvia, visto che non ho l’abitudine di mettere in discussione la buona fede dei miei interlocutori, ma gli interventi di Francesco Guala mi hanno convinto che è il caso di farlo). Aggiungo che non è rilevante che altrove si usino metodi non trasparenti. Le esperienze straniere valgono come modello nella misura in cui esemplificano caratteristiche normative che abbiamo ragione di apprezzare.
PS … e se vogliamo vedere come si seleziona in modo poco trasparente, andiamoci a rivedere le selezioni dei nuclei RAE inglesi.
Ecco il manuale di selezione per REF 2014:
http://www.ref.ac.uk/media/ref/content/pub/unitsofassessmentandrecruitmentofexpertpanels/01_10.pdf
E l’analisi dei risultati:
http://www.ref.ac.uk/media/ref/content/pub/analysisofpanelmembership/Analysispanelmembership.pdf
Il tema della fairness disciplinare (uso questa espressione come sintesi di tutto quanto sostenuto nel commento precedente) non vi è contemplato (o almeno io non sono riuscito a trovarlo)
[…] Mi riferisco al dibattito tra il sito ROARS, che ha pubblicato un articolo di Alessandro Dal Lago sull’ANVUR e la risposta del direttore […]