Mentre tutti consultano con ansia i “valori soglia” per l’Abilitazione scientifica nazionale appena pubblicati, sarebbe piuttosto il caso di domandarsi quali siano gli effetti dei metodi di valutazione adottati in Italia e se esistano delle valide alternative. In che misura i professori ordinari dopano i loro indicatori per prendersi gioco delle regole bibliometriche? E tutti gli altri? Lo fanno anche loro? La deriva italiana è ormai un caso internazionale: “Italian scientists increase self-citations in response to promotion policy” è quello che si legge su Nature Index. Mentre gli effetti negativi di una valutazione quantitativa massiva sono ormai ben evidenti nelle scienze dure, nelle scienze umane ed in particolare nell’ area 10 (Scienze dell’antichità, filologico-letterarie e storico-artistiche) la situazione non pare così ben delineata. In particolare, gli articoli continuano a NON rappresentare il canale privilegiato per la comunicazione dei risultati di ricerca. A questo secondo punto si aggiunge l’inutile enfasi posta sulle riviste di fascia A e l’inconsistenza di analisi costruite sull’indicatore “numero di articoli e qualità degli articoli pubblicati in riviste di classe A”. È proprio a partire dalle discipline umanistiche, quindi, che si potrebbe avviare un ragionamento su modalità di produzione, validazione e valutazione della ricerca che si incrocino meglio con le politiche europee di sostegno all’Open Science. Ma quali sono le proposte alternative? Eccone alcune: 1) separare il momento della valutazione dalla distribuzione automatica di fondi (in tutte le situazioni in cui il finanziamento viene distribuito in maniera automatica sulla base di indicatori si sono innescati meccanismi che hanno moltiplicato i casi di frode scientifica); 2) apertura dei contenuti; 3) apertura della peer review (non più decisione «binaria» – dentro o fuori – da parte di uno o due esperti, ma come discussione pubblica all’interno della comunità scientifica).
__________
Pubblichiamo di seguito le slide dell’intervento di Paola Galimberti presentato nel corso del convegno La valutazione della ricerca umanistica: modelli e prospettive, 8 giugno 2018, Università Roma Tre.
“ La deriva italiana è ormai un caso internazionale: “Italian scientists increase self-citations in response to promotion policy” è quello che si legge su Nature Index.”
Bella roba: possiamo aggiungerlo alla lista dei luoghi comuni che girano nel mondo, tra i benpensanti e gli eternamente corretti? Italia paese dell’oh sole mio, mandolino, vesuvio, pizza, mafia, di gente che guida come matti, e che altro? Ora anche universitari che fanno i furbi, en bloc, nessuno escluso, come risposta ad una politica anch’essa furba. Che però noi sappiamo ricevere la sua forza dalla democrazia formale e dall’iperburocratizzazione massacrante?
Valuto positivamente questo articolo, perché apre una discussione su ciò che sta accadendo a questa istituzione, per riflesso a noi come ricercatori e individui, e ai nostri studenti. Avevo tanto sperato per loro in un avvicinamento gioioso alla conoscenza. I migliori, però, si dovranno piegare a tattiche per riuscire.
Non so se ciò che si propone possa portare ad una serena discussione. Purtroppo, abbiamo sperimentato come si possa semplicemente far scivolare il silenzio su ‘idee’, ‘proposte’ di qualcuno, per poi riproporle, anche anni dopo come proprie e del proprio gruppo, e farle accettare come innovative.
C’è un tanto, ciò che pertiene all’etica individuale e di gruppo, che non si può governare. Mi dispiace enormemente dire questo, ma i docenti universitari hanno tirato fuori di sé il peggio in questi ultimi anni. Vedere che su Roars si propongono articoli di buonsenso, studi documentati, è per me un segnale buono, ma che mai sembra concretizzarsi in una modifica. Credo che, se non si agisce in fretta, quanto di buono c’era (in fondo, anche persone non di potere, non clienti di gruppi di potere, nel passato sono riusciti a far ricerca), verrà perso.
Grazie. Noi ci abbiamo provato e ci proviamo, nell’illusione che in un ambiente come quello accademico le idee abbiano una loro forza anche nei confronti delle mode, del conformismo e del desiderio di compiacere il “Principe”. Potremmo esserci sbagliati. Ci rimarrà la consolazione di riuscire a guardarci allo specchio quando ci alziamo alla mattina. È poco, ma a volte bisogna accontentarsi.
Al contrario di molti commentatori in questo sito, sono sempre stato favorevole agli indicatori bibliometrici, ovviamente per tali settori. Sono indicatori che non garantiscono la qualità, ma almeno alzano l’asticella impedendo la presentazione di candidati che non sono stati nemmeno in grado di soddisfare ai tre indicatori.
Tuttavia, sin dall’inizio ho pensato che le autocitazioni dovessero essere escluse dal calcolo, perché ovviamente sarebbe successo quello che in effetti è successo: il raddoppio delle autocitazioni in pochi anni. Non credo che il CINECA abbia problemi nell’effettuare il calcolo togliendo le autocitazioni, e nemmeno nel ricalcolare opportunamente l’indice H.
Resterebbe il problema delle citazioni ricorrenti (autori di un gruppo A citano sistematicamente autori di un gruppo B disgiunto da A, e talora anche viceversa), anch’esse comunque elaborabili in maniera automatica; l’eliminazione delle autocitazioni sarebbe già un buon primo passo.
… per dare una bella spinta ai cosiddetti “ring citazionali”. Ma se nel panorama del mondo civile i nostri criteri sono un caso internazionale (https://www.natureindex.com/news-blog/italian-scientists-increase-self-citations-in-response-to-promotion-policy) e invece ci si preoccupa di arginare la “metric tide” (https://responsiblemetrics.org/the-metric-tide/), non ci sarà forse una ragione? L’appello agli standard internazionali e al rigore scientifico deve valere per tutto tranne che per la valutazione della ricerca dove invece noi adottiamo l’equivalente bibliometrico del “siero Bonifacio”? (https://it.wikipedia.org/wiki/Siero_Bonifacio)
Tutto ciò serve proprio per bloccare alcuni. In effetti, spesso lavori non citati anche per decenni vengono ‘riscoperti’ in seguito, aprendo riflessioni nuove. Le motivazioni sono molteplici, riconducibili credo a quel tanto di umano che vi è sempre nei gruppi di lavoro (opere troppo innovative? non in accordo con il mainstream criticism? di autori non famosi e quindi non spendibili con successo per conquistarsi attenzione?).
In altre parole, il dato oggettivo nasce da opportunismi, mancanza di conoscenza, invidie persino … Davvero è questo che vogliamo?
I dati ci dicono che qualcosa è mutato nel comportamento dei ricercatori dalla introduzione della Gelmini.
Nelle cosiddette scienze dure è aumentato il numero di pubblicazioni e il numero di autocitazioni in particolare per chi deve scalare di ruolo. E’ una criticità? Forse dovremmo parlarne. Forse Anvur potrebbe chiedersi se l’obiettivo auspicato, quello di un miglioramento della ricerca, sia stato effettivamente raggiunto e in che modo e lo dovrebbe fare condividendo i dati su cui basa le sue conclusioni. Se molti ricercatori e ancor più l’organo che li rappresenta esprimono delle perplessità, forse Anvur potrebbe ascoltarle, prenderle sul serio e verificarne la fondatezza. E’ quello che chiede di fare agli atenei con il processo di autovalutazione (su questo punto gli atenei e i corsi di studio vengono accreditati). Perché la stessa cosa non vale anche per l’Agenzia?
E per tornare al tema del convegno della CUSL, per alcune aree è ancora possibile prendere le distanze dalla deriva bibliometrica? Dalla classificazione delle riviste? Dall’enfasi posta sul contenitore invece che sul conenuto? Dall’assorbimento di modalità di fare ricerca e di strategie di pubblicazione proprie di discipline molto diverse? Dall’indicatore come unico obiettivo? Se un cambiamento ci deve essere, esso deve avvenire nell’ottica dell’apertura e della trasparenza, della condivisione e della collaborazione.
Lontano da me il non apprezzare lo sforzo di razionalizzare ciò che oramai è vicino all’implosione. Ma c’è nell’intervento/risposta di Paola Galimberti, e questo non è in contraddizione con il senso della prima frase, qualcosa che mi disturbava. Ho quindi provato, per fare in fretta, a verificare attraverso https://www.jasondavies.com/wordcloud/ la frequenza delle parole. Tolte le particelle funzionali “di e che per della dalla” ecc. che stanno al centro della nuvola, il successivo anello consiste in “forse potrebbe fare deve anvur atenei ricerca ricercatori” e qualche altra. Quest’insieme “forse potrebbe fare deve anvur atenei ricerca ricercatori ” contiene l’essenza: l’Anvur forse potrebbe fare …, FORSE e modo CONDIZIONALE. Perché “forse ecc.” davanti al palese fallimento (di un procedimento destinato al fallimento perché inaffidabile, e lo si sapeva) che però ha avuto ed ha costi rilevanti? E perché – ma questo è rivolto ad altri – questo disperato bisogno di aggrapparsi ai numeri che in sé non dicono niente se non che qualcuno li ha indicati e che altri vogliono superarli, facendo e inventando quel che possono?
Il conformismo del corpo docente nell’assecondare questo fenomeno è una questione politica e ideologica, e non più di numeri.
L’intervento di Roma partiva dai dati. Dati che ho verificato e certificato e che ritengo quindi affidabili. Per cosa? per costruire analisi anche diacroniche mancando in particolare nell’area 10 così come nella 12 banche dati esaustive (la situazione nelle altre aree è più sfumata). I dati ci dicono della cose su questa area che non corrispondono con quanto ad esempio sostiene Graziosi in un incontro con le società scientifiche di area 10. Io sono convinta che il sistema non funzioni, ma la convinzione non basta se non si portano evidenze. Il forse e il condizionale sono retorici. Un ente che promuove la autovalutazione a 360 gradi e che per primo non è capace di riflettere su se stesso in maniera critica (ricordo qui il tema della fascia A, o quello dell’accordo fra peer review e bibliometria nelle scienze umane) secondo me si mette in una posizione di debolezza.
Ma il vero punto non è questo, l’intervento romano faceva delle proposte connesse all’apertura, su queste mi piacerebbe (condizionale non retorico) che soprattutto le aree umanistiche riflettessero, e che lo facesse soprattutto chi proviene da un ateneo che su questi temi ha investito e che (non a caso) sarà sede del prossimo convegno di AISA http://aisa.sp.unipi.it/attivita/iv-convegno-annuale/.
Mi sarò espressa male e me ne scuso. Con “numeri” non intendevo i dati dell’analisi, ma “sono sempre stato favorevole agli indicatori bibliometrici, ovviamente per tali settori. Sono indicatori che non garantiscono la qualità, ma almeno alzano l’asticella impedendo la presentazione di candidati che non sono stati nemmeno in grado di soddisfare ai tre indicatori.” (M.Marchesi). Da questo innalzamento di asticella che non garantisce la qualità (mentre nel salto-sport l’asticella la garantisce, dunque stiamo attenti con le analogie e le metafore) è venuto fuori il salami slicing, il continuo remixing o il rifrullare (togliendo qualcosa e aggiungendo qualcosetta) e il rinominare la stessa cosa (la me^me Jeannette autrement coiffée), e l’autocitazionismo, dal momento che l’uomo non è un robot ma è creativo e furbot. E chi dice che chi sta sotto l’asticella valga meno di chi sta sopra, se l’asticella garantisce soltanto quantità (trasformabile in numeri)? La grande quantità non è nemmeno leggibile e valutabile decentemente: invece i commissari anvuriani sì che sono dei robot o degli stachanovisti. Tanto da utilizzare la stessa formulazione se ad es. il medesimo candidato è valutato come possibile associato e possibile ordinario.
lo dico con grande difficoltà, perché l’immane tragedia del ponte di Genova supera ogni possibilità di ragionamento di uno che non è del mestiere, ma ci potrà insegnare qualcosa su cose (diventate) inadeguate e pericolose che vanno tempestivamente rase al suolo? I costi umani non contano proprio niente?
Le conseguenze, personali e collettive, di una valutazione bizzarra (non parlo solo dei valori soglia) chi le pagherà? Coloro che, siano all’ANVUR, siano commissari, hanno creato questo panorama distorto degli studi in Italia dovrebbero essere ritenuti responsabili e, in qualche modo, risarcire.
Le soglie bibliografiche devono essere solo per l’appunto una soglia. La valutazione complessiva dell’attivita` di ricerca e produzione scientifica deve essere fatta dalla commissione, che puo` benissimo tenere conto delle autocitazioni o dei “citation rings” nell’elaborare il giudizio finale. Al di la` dei meriti e demeriti del presente sistema su cui si puo` discutere (e si sta discutendo) a lungo, vedo due aspetti critici che permangono anche nelle soglie attuali. Uno e` il fatto che effettivamente sarebbe stato meglio escludere le autocitazioni, perlomeno si sarebbe evitato di incoraggiare i candidati ad autocitarsi per pompare i numeri (ma questo temo richieda modifiche di legge). L’altro e` che spesso le soglie per ordinari mi sembrano ancora troppo basse rispetto a quelle per gli associati. Dato che gli intervalli temporali sono diversi non mi meraviglierei che si possano superare le soglie di prima fascia senza superare quelle di seconda fascia! O arrivare a superarle entrambe contemporaneamente o a distanza temporale molto breve. Ci ritroveremo con molti ordinari “in-pectore” con scarsissime possibilita` che lo diventino realmente.
In molti lamentano (giustamente) la mancata esclusione delle autocitazioni dal calcolo degli indicatori.
Ebbene, è il caso di ricordare che secondo l’allora presidente dell’ANVUR, Graziosi, “le autocitazioni sono già escluse, le consideriamo solo fino al 25%” (https://www.roars.it/anvur-attacca-report-con-un-taglio-capzioso-si-travisa-la-risposta-del-presidente/).
Come sanno tutti i candidati l’affermazione di Graziosi è totalmente falsa, ma forse la dice lunga sulla consapevolezza dell’ANVUR circa le problematiche legate agli indicatori da essa stessa introdotti.
Dopo quell’intervista, mi sarei aspettato che dentro l’ANVUR qualcuno ricordasse a Graziosi “guarda che le autocitazioni valgono al 100%” e quindi l’Agenzia proponesse al MIUR di escludere le autocitazioni in occasione della ri-definizioni dei criteri. Sono rimasto assai stupito che ciò non sia avvenuto, al punto da pensare che non solo Graziosi, ma anche gli altri componenti del Consiglio Direttivo ignorino il meccanismo di calcolo degli indicatori…
E già, perché, contrariamente a quanto è stato ipotizzato, non era necessaria una modifica di legge per escludere le autocitazioni. E’ la legge stessa che prevede che “Decorso il primo biennio e successivamente ogni cinque anni, il Ministro procede alla verifica dell’adeguatezza e congruità dei criteri, dei parametri e degli indicatori […] e dispone l’eventuale revisione dei criteri, dei parametri e degli indicatori con proprio decreto”. Sarebbe bastato che l’ANVUR nel suo parere (peraltro non pubblico, a differenza di quello del CUN, … alla faccia della trasparenza!) chiedesse al MIUR di rivedere gli indicatori eliminando le autocitazioni….
Più in generale credo che i problemi degli attuali indicatori non si limitino alle autocitazioni. E’ stato già citata la disparità tra indicatori da associato e quelli da ordinario (con questi ultimi paradossalmente più bassi dei primi). Ma vi sono diversi problemi “strutturali”. Per esempio: come mai “Probabilità e Statistica Matematica” e “Statistica medica” sono considerati bibliometrici, mentre “Statistica” è considerato non-bibliometrico? o, viceversa, “Didattica e storia della Fisica” non appartiene alla categoria dei non-bibliometrici come invece vi fa parte “Logica, storia e filosofia della scienza” (tra l’altro “Logica matematica” è bibliometrico!).
Quello che si nota in maniera chiara è che mentre sulla VQR c’è stata una declinazione dei criteri (giusti o sbagliati che siano) molto particolareggiata, fino al singolo SSD, che anche all’interno della stessa Area distingueva quei settori dalle modalità tipiche “non-bibliometriche” (per esempio MAT/04 in Area 01 o FIS/08 in Area 02, o SECS-P/12 in Area 13) dagli altri settori della stessa area dove invece erano definiti criteri (bibliometrici o semi-bibliometrici) molto dettagliati per determinare la “qualità” delle riviste e degli articoli, …. per la ASN, invece, si è deciso di adottare i medesimi indicatori per intere macro aree disciplinari, senza considerare la significatività di tali indicatori per i singoli SSD.
Per esempio, citazioni e h-indice hanno una significatività quasi nulla per valutare la qualità scientifica di giovani ricercatori in matematica pura. Questa è la ragione per cui in questi settori le soglie sono state tenute molto basse (e quindi “scalabili” facilmente con le autocitazioni) … se fossero state più alte avrebbero ingiustamente tagliato fuori ricercatori validi. Peraltro, considerare “tutte” le possibili riviste WoS / SCOPUS dà il chiaro messaggio “pubblicate anche la spazzatura”, diametralmente opposto a quello che ci si proponeva, per esempio, con la VQR.
Altro esempio. Vi sono diversi settori nei quali una soglia è 0, e per i quali quindi quella soglia viene raggiunta “by default”. Anche qui si nota l’imbarazzo dell’ANVUR, nel trovarsi di fronte al problema di aver affibbiato ad alcuni settori indicatori non pertinenti … l’unica soluzione per non penalizzare i docenti di quei settori è stata porre le soglie zero. E’ il caso di “Metodi matematici per l’economia”, dove si tende a pubblicare articoli su rivista e non monografie, e quindi la terza soglia – “numero di libri” – è 0 (e quindi sempre raggiunta).
Ma si potrebbero citare molti altri casi di problematicità evidenti. Talmente tanti da concludere che il problema è proprio “a monte”, nei criteri.
Per questo credo che si sia davvero persa una occasione. La legge (il DM 120/2016) infatti chiedeva appunto di fare una riflessione al termine del primo biennio “anche tenendo conto della valutazione delle politiche di reclutamento”, “nonché delle migliori prassi diffuse a livello internazionale”, ed eventualmente di cambiare, anche radicalmente, i criteri stessi.
Con grande superficialità, sia da parte del MIUR che di ANVUR, tutto è stato lasciato così com’era, ignorando i troppi problemi di questi criteri e soprattutto il pericoloso messaggio che si sta lasciando passare (“pubblicate qualunque cosa, anche spazzatura e autocitatevi o fatevi citare).
Sempre in base a quanto dispone la legge, tali criteri potranno essere rivisti soltanto tra 5 anni. Spero non sia ormai troppo tardi.
“Con grande superficialità, sia da parte del MIUR che di ANVUR” . Si tralasciano sempre Crui, Cun, organi composti da eletti, che dovrebbero rispondere all’.elettorato. A questo punto tutti dovrebbero andare a casa.
Non per tutti settori gli associati hanno soglie troppo alte…
Le commissioni sono ritenute responsabili per giudizi errati? Autoreferenziali (non è innovativo, originale, rigoroso, non è maturo perché…lo dico io!)? No!
Non sono in principio contrario alle soglie, se usate con criterio, ossia come indicato da lformaggia.
Tuttavia il sistema attuale, che lega la soglia di abilitazione alla mediana delle persone in ruolo, porta rapidamente ad una crescita della stessa fino ad un valore che distorce completamente la ricerca. All’aumentare delle richieste, per l’abilitazione a seconda fascia chi sarà così temerario da investire tempo per iniziare ad interessarsi di un campo per lui nuovo?
Caro Moebius1927, hai colto il punto. Chiunque lavori in un settore bibliometrico sa bene che oggi è praticamente impossibile (e per certi versi persino poco etico, viste le conseguenze) coinvolgere un giovane in un progetto di ricerca, magari di ampio respiro e grandi potenzialità, ma che non dà grosse speranze di pubblicazioni immediate. Come dargli torto, viste le condizioni al contorno? A parte le ovvie deleterie conseguenze sulla qualità generale della ricerca, si crea anche un’altra distorsione (oltre alle autocitazioni e ai citation circles): i gruppi di ricerca che vogliano “spingere” un giovane nella carriera, non possono far altro che includerlo fra gli autori di qualunque lavoro venga fuori dal gruppo, a prescindere dal reale contributo. E’ evidente che tale giochino riesce meglio ai gruppi più grandi… con buona pace del Merito (non quello anvuriano, ovviamente).
[…] molti aspetti, decisiva: ne ha parlato Paola Galimberti proprio sul sito di ROARS in questi giorni (A proposito di “valori soglia”. Valutarsi e aprirsi: alternative per la valutazione), la fascia A è un autentico regalo agli editori e ai comitati di direzione più potenti – i cui […]