Ma quanto costa la valutazione? Meglio non farlo sapere. Anzi, meglio non porsi nemmeno il problema devono aver pensato in Australia. Nell’ultima “VQR australiana”, avevano chiesto agli atenei una stima del costo in termini di tempo, ma l’informazione è stata poi secretata. Nel nuovo esercizio di valutazione, si guarderanno bene dal raccogliere informazioni sui costi. Quale potrebbe essere la cifra? Secondo Ksenia Sawczak (Director of Research Services at the University of Canberra), il costo potrebbe superare i 100 milioni di dollari, una cifra che, fatte le debite proporzioni, si accorda bene con i costi stimati della VQR italiana, ovvero non meno di 150 milioni di Euro. La domanda che si pone la Sawczak vale anche per l’Italia: come mai i principi di trasparenza e accountability nel cui nome vengono svolti gli esercizi di valutazione su larga scala (come la VQR) non valgono più quando si tratta di valutarne i costi per la collettività?, L’HEFCE (l’agenzia che ha in carico la valutazione in UK) ha commissionato a una società specializzata una stima “ufficiale” ed “indipendente” dei costi del REF: 250 milioni di sterline (pari a circa 320 milioni di Euro del 2014). Cifra considerata “troppo bassa” dall’Institute of Economic Affairs di Londra. Geuna e Piolatto in un working-paper del 2014 stimavano i costi della VQR in 182 milioni di Euro. Nella versione su rivista peer reviewed, la loro stima è scesa ad appena €70,5 milioni, poiché hanno eliminato dal calcolo i costi opportunità dei revisori e dei membri dei panel. E l’Anvur che dice? Nel suo rapporto biennale 2018, l’Anvur sostiene che la VQR 2011-2014 sarebbe costata solo 14,7 milioni di euro, venti volte di meno della stima ufficiale del REF. A chi dare fede?
Segnaliamo l’articolo “The hidden costs of research assessment exercises: the curious case of Australia” di Ksenia Sawczak (Director of Research Services at the University of Canberra) pubblicato su LSE impact blog, il blog della London School of Economics dedicato al dibattito sull’impatto dell’attività accademica.
Ecco un estratto dell’articolo:
[…] a subtle change made by the ARC to guidelines for the 2018 round […] nearly went unnoticed; namely, the decision not to collect information from universities on the amount of time spent on preparing submissions. This important information was collected as part of the last exercise in 2015, but the ARC has refused to make it publicly available on the grounds it was not part of the evaluation. Clearly, the figure must have been astronomical, and one that is not in the ARC’s interests to disclose, nor to seek information on again. […] how would the public feel to discover that just one round of this standalone exercise has been estimated by some in the sector to cost in excess of $100 million, much of it borne by universities themselves? And those costs are almost entirely administrative, with a high likelihood they are cross-subsidised by student fees. […] Until the hidden costs of assessment exercises in Australia are revealed and a thorough consideration of their general utility is undertaken, they will remain an international curiosity, with the dubious honour of serving as an example of assessment for the sake of assessment and irresponsible use of public monies.
Oltre a questi costi nascosti ce ne sono altri incomparabilmente più consistenti, cioè quelli dovuti ala conseguente eliminazione della ricerca. Un esempio “astratto”. Supponiamo che un filone di ricerca assai complesso e quindi con pochi addetti, che chiamiamo quelli del gruppo A, abbia la sfortuna di far parte di un SSD in cui la maggior parte dei componenti, quelli del gruppone B, lavori su argomenti che potremmo definire “main stream moderno”. Questo gruppone si caratterizza per un’intensa produzione di papers su argomenti che dopo qualche mese vengono rimpiazzati da altri filoni dove tutti si buttano a capofitto. Si tratta di papers conditi di paroloni senza alcuna sostanza ripetuti pedessiquamente da chi probabilmente si è persino dimenticato l’ABC della disciplina. Il motivo di tanto proselitismo è ovvio: lavorare su campi di ricerca con il valore d’aspettazione dell’indice h che sia il più alto possibile.
L’effetto è devastante: con le valutazioni un tanto al chilo i supercitati diventeranno ordinari, andranno in tutte le commissioni dove faranno vincere i “più anvurianamente meritevoli”, cioè quelli del gruppone B. Il gruppo A è quindi destinato a diventare abeliano in quanto prima o poi sarà composto da un solo elemento.
La situazione descritta si può applicare praticamente a tutti gli SSD. Gli effetti si vedono da anni e sono netti, inequivocabilmente drammatici. Oltre alla quasi scomparsa delle eccellenze non anvuriane, la valutazione ha introdotto un clima dove regna il più sfrenato paraculismo, peraltro assai fastidioso se si pensa che l’Università dovrebbe essere il punto di riferimento dell’intelligentia. Il costo della valutazione anvuriana è quindi enorme, un danno gravissimo e irreversibile per tutta la società. Sorprende, ma dati i tempi, neppure tanto, che nonostante quanto esposto sia ben noto a tutti gli universitari, inclusi coloro che ne godono in termini di gestione di potere, la valutazione un tanto al chilo continui imperterrita e indisturbata nella sistematica distruzione della ricerca italiana.
Mi pare una sintesi molto lucida. Così va davvero il mondo.
Io aggiungerei un ulteriore costo. Se le carriere dipendono dalle classificazioni editoriali (bibliometriche o anvur) dei lavori più che dal loro contenuto, la pressione a pubblicare in certe collocazioni sarà e resterà altissima. Svuotando fin dall’inizio la possibilità pratica di negoziare con gli editori su costi di pubblicazione/abbonamento. Con buona pace dell’ Accesso Aperto e dintorni. Finché quella battaglia non si salderà con una revisione completa di questo modello di valutazione/produzione resterà una petizione di principio con poco effetto pratico sui costi.
Solo un breve commento su come funziona il ministero giapponese per l’educazione e ricerca. Il metodo di massima include l’enunciazione di principi condivisi e di politiche di lungo termine, il riconoscimento di risultati raggiunti. Noterei anche il fatto che il nome di quel ministero include le parole “scienza e tecnologia”
http://www.mext.go.jp/en/about/mext/index.htm
Boh. A me invece sembra che senza un raffronto bibliometrico viga invece il più totale arbitrio. Naturalmente la bibliometria non va usata da sola e va usata solo con soglie che identificano le code (conta per dati molto alti e molto bassi). Ma senza la bibliometria si apre, come testimoniato da decenni di vita accademica, la porta alle distorsioni più arbitrarie. La bibliometria presenta infatti un vantaggio: è trasparente e chi trucca lo si può vedere chiaramente. Meno facile invece è individuare le distorsioni quando tutto si svolge a porte chiuse e dietro anonimato. Non a caso i peggiori baroni sono sempre stati contro la bibliometria.
ps per bibliometria non intendo ovviamente IF o collocazione editoriale, ma impatto del singolo lavoro
@Mingione Certo, l’ impatto del singolo lavoro e’ un parametro utile. Ma inutile far finta di non vedere come viene usata relmente la bibliometria nell’ Italia anvuriana. L’ IF delle riviste viene usato a piene mani come proxy per giudicare le singole ricerche con buona pace della dichiarazione di San Francisco e del più banale buon senso. Le distorsioni a livello di politica individuale di pubblicazione dei lavori le vedo ogni giorno.
Ma, non dimentichiamolo, qui si sta parlando dei costi della valutazione nazionale (VQR). Qui le distorsioni arbitrarie della valutazione anvur sono altrettanto gravi e non più trasparenti delle valutazioni a porte chiuse. O forse vogliamo considerare trasparente il meccanismo con cui si è arrivati alla famosa classifica di tutti i dipartimenti per la scelta dei dipartimenti di “eccellenza”?
Ma certo, meglio la valutazione arbitraria fatta da poche persone che nel segreto fanno i loro comodi. La bibliometria serve, ed usata bene è il miglior sistema contro le baronie. Me ne accorgo ogni giorno sempre di più.
è proprio così: sono contenta che altri abbiano notato la mostruosità dell’emergere di un pensiero unico fatto di parole d’ordine. La ricerca è morta
Chi imbriglia la ricerca e vuole standardizzarla in fasce, rating e cose varie finirà sempre sotterrato dalle risate della storia.
Abbiamo avuto premi Nobel che erano sconosciuti fino a poco prima di essere diventati famosi, e guarda caso, dopo che sono diventati famosi le loro pubblicazioni sono state magicamente rivalutate (sapete, mio nonno sculacciava mio padre da bambino quando trovava buona l’insalata solo se gli prometteva un soldo per mangiarla, qui che si dovrebbe fare?).
Nella ricerca ci vuole lo spirito del martire onesto integerrimo e disinteressato. Trovo ad esempio scientificamente più affascinante un ragazzino di 10 anni che risolve un Cubo di Rubik (ne esistono pure tanti) che questi “esperti” alle prese con un test del QI… Poi ci meravigliamo che per pubblicare perdono anni a fare convegni per ingraziarsi i referees (o meglio ancora l’editor).
A me questo mondo fa sinceramente pena, perchè produce solo inutilità incommerciabili così com’è oggi. Onore e gloria a chi si alza la mattina tutti i giorni e si spacca la schiena, almeno produce qualcosa di socialmente utile. Questi invece passano una vita intera a crogiolarsi per cose di cui s’infischia almeno il 90% del mondo civilizzato.
Infatti mi chiedo: ma che ricerche può fare uno che non ha mai lavorato in vita sua? Uno che è sempre stato nel mondo accademico, che non si è confrontato mai con la realtà quotidiana, quella che abbatte le certezze della teoria? Uno che aspetta la soffiata del momento da parte di qualche imprenditore o politico da spacciare come scoperta accademica (perchè da solo non ci arriverebbe mai)? Uno che sa solo seguire il relatore come un’anatra di Konrad Lorenz? Uno che fa pubblicazioni-salame o peggio coauthorship-cammellate?
Se danno la fascia A a questi, allora diamo di default il premio Nobel a tutti i lavoratori e professionisti del mondo (che senza saperlo stanno in fascia AAA ogni giorno)!
Si chiama pulizia etnica. Il problema non è solo italiano, tocca anche i fondi europei in particolare ERC. Dove i panels contengono spesso vincitori dei grant Senior. Spesso accade che il commissario salti un turno e poi voinca un secondo ERC senior. Una persona importante che lavora alla Commissione mi ha detto che ciò è voluto al fine di creare una classe dirigente che costituisca l’aristocrazia della ricerca europea.
Pienamente d’accordo Piero. E infatti quando tutto si svolge nel chiuso di uno sgabuzzino, dietro anonimato, le cose si fanno spesso arbitrarie. Ma è il problema della comunità scientifica di oggi: adotta un sistema basato sul gentlemen’s agreement, quando invece di gentiluomini ve ne sono ormai rimasti pochissimi.
Vorrei segnalare anche la morte di un’editoria di provincia, che ha vissuto con sempre più difficoltà, perché gli accademici sono stati indirizzati verso certe case editrici. La colpa è anche di chi ha accettato
Aggiungerei, almeno per la mia esperienza personale, che ormai si tende a non invitare più i dottorandi a fare qualcosa di “nuovo e incerto”. Troppo alto, sia per il dottorando che per il docente guida, il rischio di non pubblicare qualcosa.
E pure questo “effetto collaterale” mi sembra abbastanza drammatico, perché attacca la ricerca alle sue fondamenta.
Alla faccia della Dichiarazione di San Francisco.
Emanuele Martelli
Concordo in pieno, purtroppo. Una cultura basata sulla volontà di far carriera, invece che sulla curiosità, sta distorcendo anche la base del nostro sistema di ricerca, sta portando sulla cattiva strada anche chi, essendo giovane, dovrebbe essere appassionato ed avere “la testa tra le nuvole”, per sognare cosa ci potrà essere domani.
Traviare i giovani è considerato dalla nostra cultura un abominio (e a buona ragione, direi, visto il danno che si fa nel lungo termine).
In generale, le valutazioni basate sull’ammontare dei fondi raccolti, sul numero di pubblicazioni e di citazioni, ecc. possono portare solo in una direzione.
Per chi è abituato a considerare i sistemi dinamici, la scelta della grandezza da misurare (su cui quindi fare feedback oppure ottimizzazione) è intrinsecamente una scelta su quale direzione si vuole imprimere al sistema. Far finta di non saperlo è ipocrita.
La cosa che trovo triste è che, a tu per tu, quasi tutti concordano su queste cose, ma non ci si esprime perché si crede che sia pericoloso esporsi. Come precario, capisco bene la situazione, ma comprendo molto meno il caso di chi non lo è.
Scommetto che, fra qualche anno, qualche personalità di spicco dirà (magari per interesse) che il re è nudo. Allora tutti si stracceranno le vesti…
Vediamo i lati positivi di quanto ha scritto Marco 2013 e gli altri colleghi. Anzi, uno solo, l’unico, di cui ultimamente ho avuto un ottimo esempio. Si fa ricerca su un argomento che già in partenza è inconsistente, contrastato già in partenza dai dati empirici che gli addetti conoscono, perché se no, dovrebbero far altro. Ma l’argomento è altisonante, politicamente corretto e globalizzante. Su questo si fa didattica, dunque si riempie la testa degli studenti con qualcosa di non verificato, anzi non dimostrabile in partenza. Anni dopo, all’interno del relativo progetto ‘internazionale’, si tiranno le somme per dire che , appunto , non si è approdati a nulla di nuovo e l’argomento non regge (come si sapeva già in partenza). Poiché comunque bisogna arrivare a una conclusione, si sviluppa un apparato retorico-sintattico-lessicale straordinario, dove il ‘fallimento’ si intravede tra le righe, come gli occhi di un uccellino piccolo piccolo nascosto tra le fronde folte folte. Non è un successo totale a vantaggio della competenza linguistica di tutti? (Applausi!)
@p.marcati
Penso che lei abbia ragione. Si tratta proprio di creare “una classe dirigente che costituisca l’aristocrazia della ricerca europea”.
È lo stesso processo di selezione mercantilistica che avviene anche in altri ambiti sociali: escludere i più per restringere a pochi il potere.
Penso che serva grossolanamente a formare una massa di pecore facilmente utilizzabile come manodopera a basso costo.
D’altra parte purtroppo, per dirla alla Maggie, non si vede alternativa all’orizzonte.
@ Dart Vader
penso che siano pochi quelli che rimpiangono i baroni chiusi nelle stanzette. Tra l’atro questi ultimi si sono spesso ben adattati (e con sorprendente anticipo) in funzione parametrica anvuriana.
Resta valida la sua affermazione dei pochi gentiluomini rimasti, il che però non esclude per nulla (anzi) che gli arbitri non si possano commettere ugualmente attraverso l’uso e l’abuso di parametri valutativi gonfiati ad hoc.
Non vedere questa parte consistente del problema connesso alla valutazione (e non è il solo problema) è sintomo di credenza cieca (proprio come una credenza religiosa) che sia fattibile e possibile l’oggettività del giudizio, magari attraverso qualche algoritmo bibliometrico.
E lei lo sa quanto male possono fare le credenze tipo quelle dei Sith.
Senza offesa secondo me potrebbe servire una piccola revisione all’autorespiratore.
The Rebellion
@Mingione. Ci sono innumerevoli esempi della distorsione provocata dalla bibliometria anvuriana. Tra i più eclatanti basti pensare ai fisici sperimentali che lavorano al CERN che, per il tipo di ricerca e numerosità dei colleghi impegnati, hanno indici bibliometrici astronomici. Tali indici alzano le mediane a livelli inarrivabili e con cui gli altri sperimentali dello stesso SSD devono confrontarsi. Così, chi come questi ricercatori si occupa di argomenti importantissimi, ma ancora di nicchia, è destinato a soccombere. Un altro esempio riguarda un argomento di estrema difficoltà, più consono al background di Mingione: la determinazione della misura di superstringa, aspetto di tale complessità da richiedere l’introduzione di nuove strutture di grande interesse, tra l’altro, anche nell’ambito della geometria algebrica (supermoduli, super-Schottky problem, etc.). I pochi “incoscienti” tra i fisici che ci lavorano possono aspirare al massimo ad una citazione da una Fields Medal, e si sa che anvuraniamente una citazione da un anonimo qualsiasi conta quanto quella di Pierre Deligne. D’altronde l’SSD della superstringa è lo stesso di quello della fisica delle astroparticelle e della fisica teorica fenomenologica, i cui indici bibliometrici sono incomparabilmente più alti. Il risultato è demenziale: se oggi un giovane fisica teorico risolvesse il problema della misura di superstringa non potrebbe comunque mai aspirare ad una carriera accademica.
Quindi è del tutto ovvio che l’impatto di un lavoro è solo uno dei parametri di cui tener conto, raffrontandolo comunque con il tipo specifico di ricerca. Ci sono eccellenti scienziati senior con indici bibliometrici che sono un decimo di quelli di un postdoc afferente allo stesso SSD. Che senso ha?
Al contrario, l’Anvur considera il superamento delle mediane bibliometriche come conditio sine qua non per avere l’abilitazione, ed in più calcola le mediane riducendo gli argomenti di ricerca a poche decine, quando, di fatto, l’insieme in questione è assai più numeroso e caratterizzato da un’infinità di sfaccettature. Il risultato della bibliometria anvuriana non può che essere come è, cioè devastante. Questo implica la scomparsa dei filoni di ricerca più complessi, tipicamente quelli da dove arrivano i progressi più rilevanti. Non solo, la tendenza a pubblicare a qualsiasi costo abbassa inevitabilmente e notevolmente anche il livello della ricerca relativo agli argomenti più popolari.
Il fatto che prima la baronia decidesse di nascosto non toglie nulla alle dimensioni della catastrofe indotta dalla bibliometria. Nessuno nega che la situazione pre-anvuriana fosse tutt’altro che ottimale, ma non si erano mai visti i “formidabili eccessi” regalo dell’Anvur. Presumibilmente le esperienze dirette di Mingione sono ben diverse da quelle sopra descritte, e sarebbe utile se Mingione ampliasse l’analisi agli innumerevole casi negativi riportati da più prti, su ROARS in primis. La sensazione è che l’argomento di Mingione ignori un’ovvia regola di sopravvivenza: se una barca galleggia, magari con qualche tarlo, questo non implica che affondarla con una cannonata sia comunque preferibile. Se questa è l’alternativa non ho dubbi a tenermi la compagnia dei tarli.
Concordo al 100%. L’agomento di Mingione (prima i baroni decidevano tutto di nascosto), apparentemente corretto, astrae completamente dallo stato di fatto della ricerca in Italia e non tiene conto dell’effetto “a cascata” delle scelte anvur che, dalla VQR passano senza cambiamenti alle mediane e, soprattutto innescano anche a livello di finanziamento della ricenca nei singoli atenei l’adeguamento all’anvur-pensiero. Per chi non si faccia incantare dei soliti mantra del “il meglio e’ nemico del bene”, “adesso non sono più’ i baroni che decidono di nascosto” etc. il risultato netto e’ una spinta potente all’ uniformarsi a poche linee di ricerca dominanti, eliminando quella diversità culturale e di approcci che è sì “rischiosa”, ma contiene il germe della vera innovazione. E anche questo è un costo nascosto, anche se non facilmente quantificabile. Col che nessuno vuole sdoganare l'”effetto Caligola”.
Porsi il problema di quanto le ricetta anvur costino e avere dubbi sulla bibliometria anvuriana non equivale a chiedere l’assenza di controlli. Accusare chi avanza dubbi di volere un ritorno alle decisioni segrete di pochi è solo un artificio retorico per lasciar spazio a scelte anvur (quelle sì) poco traspearenti e ancor meno verificate. Con buona pace della valutazione tra pari che apparentemente nessuno afferma di voler mettere in discussione.
creiamo un nuovo indice: l’IN. l’indice della nicchia. Prima lo brevetto e poi ce lo spiego. Ci sarebbe da ridere se non fosse drammatico
[…] “iper-normato e iper-controllato” e non è più libero, perché la bibliometria lo condiziona a scegliere argomenti alla moda,9 o comunque prediletti nelle riviste delle liste sanzionate dal governo, e, soprattutto, non può […]