Questo intervento tenta di rispondere alla domanda: ma una valutazione massiva della ricerca, come quella sviluppata in Italia con la VQR o nel Regno Unito con il RAE/REF, serve davvero? Nella prima parte discuto cinque argomenti usati per giustificare esercizi massivi di valutazione ex post della ricerca. Dopo aver mostrato che questi cinque argomenti non sono robusti, tento di spiegare a che serve davvero la valutazione. E suggerisco di abbandonare la retorica dell’eccellenza a favore di quella della solidità della ricerca. Un primo passo per far crescere il numero dei resistenti nella comunità accademica.
Argomento 1: Così fan tutti.
Il primo argomento a giustificazione della valutazione della ricerca è quello secondo cui “così fan tutti”: la valutazione massiva della ricerca è una prassi diffusa e consolidata nella gran parte dei paesi avanzati, e quindi ci si deve adeguare.
La realtà è però un bel po’ diversa. Non è inutile ricordare che bibliometria e scientometria furono salutate con particolare favore in Unione Sovietica, perché considerate una “base oggettiva” su cui lo stato poteva prendere decisioni per il finanziamento della ricerca (V.I. Yanovsky, 1981).
La valutazione massiva della ricerca è però una invenzione di Margaret Thatcher. Nel Regno Unito nel 1986 si svolse il primo esercizio nazionale di valutazione. Simon Jenkins (2007) non esita a etichettare questa parte della politica thatcheriana come una forma di leninismo.
In realtà solo nel Regno Unito ed in Italia sono stati realizzati esercizi di valutazione che potenzialmente valutano con peer review tutto lo staff di ricerca del paese per distribuire risorse (A. Baccini, 2013, Aldo Geuna and Matteo Piolatto, 2016).
Il primo argomento a favore della valutazione massiva: “così fan tutti”, non è solido, perché semplicemente non è vero che così fan tutti. In realtà solo UK ed Italia fanno così.
Argomento 2: La valutazione ha indubitabili vantaggi, superiori ai costi.
Il secondo argomento è che la valutazione ha indubitabili vantaggi, sicuramente superiori ai costi. Qui la prima domanda da porsi per discutere l’argomento è: ma esistono stime dei benefici e dei costi? Sui costi sappiamo molto. Sui benefici quasi nulla. Le analisi dei benefici (Ian McNay, 2010) rimandano invariabilmente ad un articolo (A. Geuna and B. R. Martin, 2003), in cui si sostiene, senza riferimento a dati empirici, che la valutazione massiva della ricerca ha rendimenti decrescenti. I benefici che un paese ricava dal primo esercizio di valutazione sono maggiori di quelli che si ricavano dal secondo e così via.
Stime dei costi sono disponibili sia per l’UK che per l’Italia. In UK ci sono le stime ufficiali di una società specializzata (Technopolis) incaricata dall’HEFCE: il REF è costato circa £246 milioni (Kristine Farla and Paul Simmonds, 2015). In Italia abbiamo tre stime: la prima di Giorgio Sirilli pubblicata su Roars secondo la quale la VQR 2004-2010 sarebbe costata circa 300 milioni di euro. Una seconda di Geuna e Piolatto (2014) che stimano il costo della VQR in 182 milioni di euro, poi ridotti ad un anno di distanza a 71 milioni di euro (Aldo Geuna and Matteo Piolatto, 2016).
Direi quindi che anche il secondo argomento – ci sono indubitabili vantaggi, sicuramente superiori ai costi – cade. Perché ad oggi non esistono stime attendibili dei benefici da confrontare con i costi.
Argomento 3: Bisogna rendere conto al contribuente del lavoro dei ricercatori.
Il terzo argomento è molto serio: i ricercatori e le università devono rendere conto del loro lavoro al contribuente. Il punto non è negare che ricercatori ed università debbano rendere conto ai cittadini. Il punto è notare che la valutazione massiva della ricerca non serve adeguatamente a questo scopo. Dubito fortemente che i cittadini abbiano letto con attenzione i rapporti finali VQR. Il cittadino sarebbe probabilmente molto più interessato a quella parte dei lavoro dei professori che non sia la pubblicazione su riviste scientifiche. Cioè principalmente la didattica, e l'”impatto economico e sociale” della ricerca. Ma per rendere conto ai cittadini su questi ambiti di attività non serve una valutazione massiva della ricerca come quelle che conosciamo.
Argomento 4: Stanare i fannulloni.
Il quarto argomento riguarda i fannulloni. La valutazione massiva della ricerca serve a individuare le cosiddette “code basse” cioè i professori che non fanno ricerca e non pubblicano. Un argomento che nel dibattito pubblico italiano ha acquistato una notevole rilevanza.
L’argomento si scontra con una prima difficoltà: il RAE ed il REF non sono disegnati per raggiungere questo scopo. Ne REF 2014 sono stati oggetto di valutazione soltanto il 28,1% dei professori britannici. Quindi l’argomento non vale certo per giustificare l’adozione in UK della valutazione massiva.
E’ perciò interessante constatare “come pensano i professori”: sono molto sensibili, non solo in Italia, all’argomento dei fannulloni. E malgrado il RAE sia disegnato ad altro scopo, ne giustificano l’uso, proprio in riferimento a questo argomento (Michael Keating, 2011):
Ma le code basse esistono davvero? Sì, ma non sono verosimilmente code basse: John P. A. Ioannidis et al., 2014 mostrano che meno dell’1% degli oltre 15 milioni di autori registrati su Scopus, ha prodotto continuativamente almeno un articolo l’anno nel periodo 1996-2001.
Ma in Italia quanti sono i professori non attivi e parzialmente attivi scovati dall’ANVUR?
I dati non sono mai stati pubblicati nella forma che trovate nella tabella successiva (i cui dati sono mi sono stati forniti da Francesco Prota che li ha raccolti nell’ambito della ricerca della Fondazione RES confluita in Viesti, 2016).
Sono complessivamente 1.287 individui su un totale di 44.153 professori e ricercatori sottoposti a valutazione, cioè un po’ meno del 3%. Se a questi aggiungiamo i parzialmente attivi arriviamo al 5%.
Questo significa che al contribuente italiano scovare un fannullone è costato tra gli 82 mila e i 136 mila, a seconda delle stime dei costi che si preferisce adottare. Non è da trascurare che queste informazioni erano già note o potenzialmente note a costi trascurabili ai nuclei di valutazione e quindi ai rettori, prima della VQR. Alcuni nuclei di valutazione di alcuni atenei pubblicavano già liste di docenti inattivi nella ricerca. Ed ora che sappiamo quanti sono, che cosa facciamo? Rimediamo: è verosimile che in vista della VQR 2011-2014 ci sia stato un consistente impegno a far figurare gli inattivi nelle byline di articoli scritti da altri membri di un dipartimento.
Mi sembra che anche questo quarto argomento non sia particolarmente solido.
Argomento 5: La valutazione fornisce incentivi desiderabili per i comportamenti dei ricercatori.
E veniamo ora al quinto argomento: la valutazione fornisce incentivi individuali e collettivi per l’adozione di comportamenti che spingono al miglioramento dei risultati della ricerca. Qui le evidenze empiriche sono di segno fortemente negativo. Esiste ampia letteratura e documentazione degli effetti negativi dei meccanismi di valutazione, non solo massivi, della ricerca.
P. Wouters (2014) ha riassunto in modo estremamente efficace gli effetti voluti e non voluti degli esercizi di valutazione:
In summary, the evidence indicates that performance-informed (with or without a formal link between perfomance and funding) does indeed increase the pressure on researchers and institutions to meet the performence criteria, irrespective of whether the latter are based on peer review or on citations. This is clearly an intended effect. […] The research community respond strategically, and this may in turn create unintended effects, either through the mechanism of goal displacement or through more structural changes in research priorities, publication activities, or research capacities and organization.
Opinione del tutto simile si può leggere in un recente editoriale su The Lancet .
Esiste ormai una ampia letteratura che classifica le forme di uso strategico indotte dalla valutazione.
Per quanto riguarda una delle forme privilegiate di valutazione adottata in Italia, la classificazione delle riviste, Björn Brembs et al. (2013) ne hanno studiato gli effetti non voluti, mostrando che nelle riviste a più elevato impact factor si concentrano gli articoli ritrattati. Gli articoli ritrattati sono articoli che dopo essere stati pubblicati vengono eliminati dalla letteratura scientifica per decisione degli autori o degli editori della riviste.
Gran parte delle ritrattazioni hanno origine da comportamenti inadeguati dei ricercatori, come la creazione di dati, la manipolazione di immagini, o altre forme di academic malpractices. Tra queste rientra ovviamente il plagio. Per quanto riguarda la letteratura biomedica, l’Italia ha un primato di cui non si può andare fieri: è il paese con la più elevata concentrazione di ritrattazioni per plagio (Roberto Todeschini and Alberto Baccini, 2016).
A questi comportamenti scorretti, indotti o favoriti dalle tecniche di valutazione, si deve aggiungere che la valutazione tende per sua natura a premiare la ricerca disciplinare, a discapito di quella interdisciplinare, ed a favorire la ricerca mainstream rispetto a quella eterodossa. Frederic S. Lee et al. (2013) hanno per esempio documentato la progressiva eliminazione dell’economia eterodossa in Gran Bretagna a partire proprio dai risultati del RAE 2008.
Sembra quindi di poter affermare che nessuno dei cinque argomenti che giustificano la valutazione massiva della ricerca sia solido.
Ma a che serve allora la valutazione massiva della ricerca?
Ma allora a che serve davvero la valutazione massiva ex-post della ricerca? Una prima possibile risposta proviene dalla letteratura sulla governmentality: la valutazione della ricerca è lo strumento attraverso cui i governi tengono sotto controllo i comportamenti accademici (V. Pinto, 2013). Una seconda risposta è suggerita da Samuel Moore et al. (2016): la valutazione serve per placare “semi-outsiders: funders, governements, university administrators, a suspicious general public” e ricevere in cambio risorse. Di fatto la valutazione è il prezzo che le università pagano per ricevere fondi. Si pensi a molti interventi recenti della CRUI dove si sostiene che l’università è l’unico settore della pubblica amministrazione italiana che ha accettato di essere valutato, e che per questo merita un aumento dei finanziamenti:
“L’Università vuole essere valutata, tanto nella didattica quanto nella ricerca, vuole procedure di reclutamento trasparenti e severe, vuole che sia dato un vero diritto allo studio per i capaci e i meritevoli anche se privi di mezzi, vuole inserire le nuove leve nella ricerca. Per far questo occorrono poche cose sulle quali la CRUI farà presto proposte precise: autonomia responsabile, semplificazione delle procedure, apertura internazionale e misure per la competitività e la cooperazione del sistema e infine, non meno importante, un nuovo modello di finanziamento, adeguato, ben definito e stabile”. [CRUI1; CRUI2; ANVUR]
Una terza spiegazione, derivata dalla letteratura sul capitalismo cognitivo, sostiene che la valutazione è lo strumento attraverso cui si attua lo sfruttamento del lavoro cognitivo (F. Coin, 2014). Il meccanismo della valutazione e della competizione seduce i ricercatori cui è promesso un premio che è solo simbolico e continuamente rimandato nel tempo: l’eccellenza. Il lavoratore cognitivo rinuncia al suo tempo di vita, sostituendolo con tempo di lavoro (autosfruttamento), ed accetta condizioni di lavoro precarie; il tutto mascherato dietro l’apparenza della libertà accademica, del progresso della scienza e della modernizzazione.
Collaborazionisti o resistenti?
In questo contesto partecipare alla valutazione e al contempo reclamare spazio per il pluralismo all’interno delle procedure, appare una opzione votata al fallimento, perché del tutto inefficace nel modificare sostanzialmente le conseguenze volute e non volute della valutazione.
Stefan Collini (2012) ha suggerito di usare le categorie dei “collaborazionisti” e dei “resistenti” per classificare i membri della comunità accademica sulla base del modo in cui ciascuno reagisce all’occupazione dello spazio della didattica e della ricerca da parte di una agenzia di valutazione burocratizzata.
Il primo passo perché diventi possibile la diffusione della resistenza alla valutazione è un cambio di retorica. Moore et. al (2016) suggeriscono che si debba passare dalla retorica dell’eccellenza a quella della soundness. La ricerca socialmente desiderabile non è la ricerca eccellente, è la ricerca solida. La ricerca solida è la buona ricerca.
La ricerca solida:
- adotta standard descrittivi appropriati,
- è basata sull’evidenza,
- è il frutto di comportamenti eticamente corretti da parte dei ricercatori;
- garantisce la completa riproducibilità dei risultati
- garantisce la completa disponibilità pubblica dei dati su cui è basata (open science)
La ricerca solida ha a che fare con l’ineccellenza, cioè con i principi di comportamento descritti nella carta dell’ineccellenza elaborata da un gruppo di ricercatori dell’università libera di Bruxelles e adattata in italiano da Maria Chiara Pievatolo:
Che fanno allora i resistenti? Adottano la retorica della ricerca solida contro quella l’eccellenza. Adottano la retorica dei comportamenti corretti contro quella della valutazione. Contribuiscono a definire specificamente per ogni area della ricerca cosa significhi ricerca solida. Rifiutano di collaborare a valutazioni e procedure che non rispettino i principi della ricerca solida.
Testo dell’intervento tenuto al XIII convegno STOREP, Catania, 24 giugno 2016.
Riferimenti.
Baccini, A. 2013. “Come E Perché Ridisegnare La Valutazione.” Il Mulino, 2013(1), 80-87.
Brembs, Björn; Katherine Button and Marcus Munafò. 2013. “Deep Impact: Unintended Consequences of Journal Rank.” Frontiers in Human Neuroscience, 7.
Coin, F. 2014. “Turning Contradictions into Subjects: The Cultural Logic of University Assessment.” Knowledge Cultures, 1(4), 145-73.
Collini, Stefan. 2012. What Are Universities For? London: Penguin books.
Farla, Kristine and Paul Simmonds. 2015. “Ref 2014 Accountability Review: Cost, Benefits and Burden,” Technopolis Gropu,
Geuna, A. and B. R. Martin. 2003. “University Research Evaluation and Funding: An International Comparison.” Minerva, 41(4), 277-304.
Geuna, Aldo and Matteo Piolatto. 2016. “Research Assessment in the Uk and Italy: Costly and Difficult, but Probably Worth It (at Least for a While).” Research Policy, 45(1), 260-71.
Ioannidis, John P. A.; Kevin W. Boyack and Richard Klavans. 2014. “Estimates of the Continuously Publishing Core in the Scientific Workforce.” PLoS ONE, 9(7), e101698.
Jenkins, Simon. 2007. Thatcher and Sons. A Revolution in Three Acts. London: Penguin Books.
Keating, Michael. 2011. “Research Assessment in the United Kingdom.” EUI Review, (Winter), 19-20.
Lee, Frederic S.; Xuan Pham and Gyun Gu. 2013. “The Uk Research Assessment Exercise and the Narrowing of Uk Economics.” Cambridge Journal of Economics, 37(4), 693-717.
McNay, Ian. 2010. “Research Quality Assessment,” P. Peterson, E. Baker and B. McGaw, International Encyclopedia of Education. Oxford: Elsevier, 307-15.
Moore, Samuel; Cameron Neylon; Martin Paul Eve; Damien Paul O’ Donnell and Damian Pattinson. 2016. “Excellence R Us: University Research and the Fetishisation of Excellence,” figshare:
Pinto, V. 2013. “La Valutazione Come Strumento Di Intelligence E Tecnologia Di Governo.” Aut Aut, (360), 16-42.
Todeschini, Roberto and Alberto Baccini. 2016. Handbook of Bibliometric Indicators. Quantitative Tools for Studying and Evaluating Research. Wiley-VCH.
Viesti, Gianfranco ed. 2016. Università in Declino. Un’indagine Sugli Atenei Da Nord a Sud. Roma: Donzelli.
Wouters, P. 2014. “The Citation: From Culture to Infrastructure,” B. Cronin and C. R. Sugimoto, Beyond Bibliometrics. Harnessing Multidimensional Indicators of Scholarly Impact. Cambridge, Ma.: MIT Press,
Yanovsky, V.I. 1981. “Citation Analysis Significance of Scientific Journals.” Scientometrics, 3, 223-33.
[…] via Collaborazionisti o resistenti. L’accademia ai tempi della valutazione della ricerca — ROARS […]
In UK vi è stato storicamente un motivo più solido (rispetto all’Italia) per fare una valutazione **comparativa** della ricerca fra Università: e cioè quello di distribuire una parte del Finanziamento Ordinario in base alla diversa intensità di ricerca delle stesse IN QUANTO tale diversità (1) era un fatto, dato e accettato, della politica britannica di settore, e (2) l’istruzione superiore viene erogata in una quantità di istituzioni molto elevata, mentre la ricerca si concentra (più o meno) diversamente nelle Università in base a legittime scelte, appunto, delle singole Università.
In Italia NON E’ LEGITTIMO per le singole Università scegliere di fare o non fare ricerca in un certo settore (area) scientifico-disciplinare: il singolo accademico deve fare ricerca, e quindi deve **poter** fare ricerca. Non sto qui a discutere la sensatezza, o solidità, dell’insegnamento superiore senza ricerca, come praticato in altri Paesi (tra cui, appunto; l’UK), dico solo che quello è un dato strutturale del settore, rispetto al quale si pone “naturalmente” la questione di una ripartizione “difforme” del “Finanziamento Ordinario”.
Vorrei aggiungere qualche particolare a quanto già precisato da Rubele sui research assessment exercises (RAE) britannici. Fino ai primi anni novanta l’istruzione superiore in GB era impartita non solo dalle università, ma anche da istituzioni, denominate “technical colleges”. La metà circa dei BA conseguiti annualmente era conseguito a seguito di studi presso i technical colleges (formalmente non era il technical college a rilasciare il diploma, ma un organismo centrale). Non c’era alcun obbligo o aspettativa che i docenti dei technical colleges svolgessero ricerca scientifica originale. Nel 1990 circa i technical colleges furono promossi “ope legis” a università. Naturalmente si pose il problema del maggior costo delle università dove si svolgeva ricerca scientifica. Questo problema fu risolto dai RAE che all’incirca alla stessa data cominciarono ad essere utilizzati per distribuire circa un terzo del finanziamento ordinario. Fu così che, con qualche piccola modifica, fu possibile ripristinare di fatto la distinzione tra Technical Colleges e Università, cancellata nominalmente. Dobbiamo aggiungere che i RAE ebbero anche effetti ritenuti positivi da gran parte del mondo accademico britannico (a giudicare dai commenti dei colleghi che frequentano i convegni internazionali). Tra questi effetti l’aumento delle posizioni apicali specialmente nelle università di élite (Cambridge e Oxford), l’aumento dei compensi dei docenti più impegnati nella ricerca, il maggior credito e la riconosciuta importanza della ricerca scientifica nella opinione pubblica e nel mondo politico. Si deve anche aggiungere che molto precocemente i RAE pur identici nella organizzazione furono svolti separatamente per le diverse macro aree (Inghilterra, Scozia, Galles, Irlanda del Nord) evitando quindi che il finanziamento delle università fosse influenzato dalla posizione geografica. In pratica le università della Scozia si confrontavano per i finanziamenti con altre università della Scozia e non con le università dell’Inghilterra. In questo ed in molti altri aspetti i RAE erano molto diversi dalla VQR.
Ho letto con grande interesse, anche perché ha messo ordine nelle mie idee e riflessioni. Una di queste riguarda da tempo ciò che in questo studio è chiaramente un dettaglio, con il quale ho dovuto però fare i conti in qualche occasione: il salami slicing. Non so come sia nelle discipline non umanistiche, ma in quelle umanistiche produce, come risultato ultimo, una poltiglia ingestibile ai fini di un giudizio analitico basato anche sull’avanzamento cronologico del processo di ricerca; il singolo lavoro è simile, su scala ridotta, all’insieme della classe di lavori cui appartiene.
Davvero un bel contributo.
Sarebbero tanti i commenti da fare.
Uno. Non sono pochi i collaborazionisti travestiti da resistenti. Sono i peggiori.
Due. Tra i pochi che non ‘producono’ non pochi fanno lavoro sporco che altri non vorrebbero fare. Gli sono grato.
Tre. Tra quelli che risultano ‘produrre’ ci sono molti che davvero non fanno nulla, avendo un lavoro principale ben più lucroso, tanto ci pensano i collaboratori variamente non retribuiti o retribuiti a spese dei contribuenti. Quindi chi ‘valuta’ la ‘valutazione’? ‘Valuta’ chi firma, non chi pensa e lavora.
Ecc.
Grazie.
sono d’accordo con bacini, come sempre del resto. Esiste però una terza categoria oltre a colui che resiste pubblicamente e al collaborazionista: è quello del sabotatore, colui che partecipa ma nel suo piccolo ostacola il sistema. Non si fanno le rivoluzioni, ma si sopravvive…di certo nella melma ma si va avanti senza affogare…consiglio una lettura: “Weapons of the Weak” di James Scott….
Una valutazione seria andrebbe fatta sulle persone (non sulle università) ed essere basata su criteri semplici come il numero di citazioni (ci sono differenze di fattori 10-100 fra persone diverse, quindi inutile sottilizzare sui dettagli), per identificare e licenziare gli incapaci. Questo libererebbe risorse e darebbe anche un ottimo messaggio dissuasivo: è inutile che continuate a truccare i concorsi, tanto dopo 10 anni venite riconosciuti.
Valutazione seria sulle persone ? si puo’ fare (anzi di fatto si fa quotidianamente).
.
Basata su criteri semplici come il numero di citazioni ? No grazie! Non e’ un modo serio di valuatare un docente universitario.
.
Identificare e licenziare gli incapaci ?
I veri incapaci sono tutti identificati in qualsiasi Dipartimento italiano. Ma non sono tanti come vorrebbe il folklore giustizialista-populista che tanto va di moda e che nasconde (neanche tanto) un modo di pensare da “padrone della ferriera”. Molto meno dei cosiddetti inattivi della VQR.
.
Coi concorsi truccati poi la questione non ha praticamente nulla a che fare. Ma tutto questo richiederebbe veramente un discorso serio, purtroppo più complesso dei soliti slogan.
Cosa significa essere incapaci? Credo che qualsiasi ragionamento serio deve iniziare dalla definizione dei concetti di base impiegati nel ragionamento. Altrimenti o si ripetono slogan o si parla a vanvera, per sentito dire, ripetendo cose che hanno poco senso (per chi è minimamente attento a quel che succede nel proprio ambiente).
attenzione a non cadere nel relativismo…
i criteri numerici sulle pubblicazioni non sono esaustivi e possono essere migliorati, ma una quantificazione della qualità è comunque necessaria.
“una quantificazione della qualità è comunque necessaria.” questa me la segno per il futuro.
Chissà come “quantificano la qualità” i critici letterari, musicali, teatrali, ecc. ecc. ecc.
Le metriche per la qualità della ricerca sono come il Body Mass Index, l’indice di massa corporea. Il tuo medico te la deve calcolare, ma uno può avere un BMI di 30 perchè è un obeso o un sanissimo culturista, oppure uno di 20 perchè ha il cancro o è un maratoneta. Ci vogliono i numeri e ci vuole la valutazione soggettiva.
ottimo articolo di baccini, veramente ben fondato e istruttivo: utile anche il corollario di lorenzo, sulla categoria del sabotatore, variante minor del resistente; ma, in pratica, come sabotare efficacemente?
[…] a scrivere non per diffondere le loro ricerche e offrirle alla discussione, ma per farsi citare.8 Le riviste su cui si calcolano questi punteggi, da mezzi che erano, si trasformeranno in fini, e […]
[…] esempio Mario Biagioli, “Watch Out for Cheats in Citation Game”, Nature, 2016; Alberto Baccini, Collaborazionisti o resistenti. L’accademia al tempo della valutazione della ricerca, “Roars”, 2016, […]