L’introduzione di incentivi che premiano le metriche di produzione e citazionali corrompono le norme sociali e i valori che dovrebbero regolare le interazioni nella scienza. La priorità nella scoperta cessa di essere l’obiettivo principale di uno scienziato; il nuovo obiettivo diventa ottenere etichette appropriate e prestazioni migliori sulle metriche. Le verità provvisorie della scienza emergono dalla battaglia di idee contrastanti e sono il risultato dell‘«uso pubblico della ragione». Nel sistema attuale, la verità scientifica definitiva è garantita da classifiche di scienziati o riviste. Nei sistemi istituzionalizzati di valutazione della ricerca, la verità scientifica definitiva è garantita da una qualche classifica governativa.
La scienza aperta e l’accesso aperto, senza una modificazione delle condizioni istituzionali in cui si svolge la ricerca, sono destinate a piegarsi alle regole del publish or perish e/o della valutazione istituzionale. Per disporre di «buoni consigli» per le politiche (economiche) ci sarebbe bisogno di «buona scienza». Ma la «buona scienza» è danneggiata dai sistemi di valutazione della ricerca. I «buoni consigli» non nascono dalla battaglia per ottenere etichette o conquistare un posto in una rivista ad elevato IF. Che fare? 1.Ridurre al minimo l’impatto dei sistemi di valutazione della ricerca sulla scienza. 2.Eliminare i sistemi di valutazione istituzionale massiva della ricerca. (Almeno disaccoppiarli dal meccanismo di finanziamento automatico). 3.Considerare seriamente la crescente pressione dal basso per sostituire l’«eccellenza» con la «scienza sana». 4.Considerare seriamente proposte innovative per il finanziamento della ricerca al fine di promuovere il pluralismo.
Ecco il video e le slide dell’intervento all’Open access week del Politecnico di Torino.
Far sì che i valutatori quando necessari (ASN, concorsi) siano almeno esperti delle discipline … e non perché lo dicono loro
Credo che Roars debba considerare seriamente questa opzione: nel condurre una sacrosanta battaglia sui sistemi di valutazione, assicurarsi che tale battaglia trovi una sponda importante nelle realtà di altri paesi del mondo. Infatti io purtroppo ho una fiducia molto bassa nella capacità dello Stato Italiano di essere condizionato da un ragionamento, per quanto giusto, piuttosto che da un esempio contrario (ad es: In Francia, o in Germania, o negli USA il sistema funziona diversamente: solo un esempio del genere potrebbe, e il condizionale è d’obbligo, convincere un ministro ad agire). Se così non è secondo me Roars dovrebbe prima spostare il dibattito ad un livello internazionale (iniziando a creare un sito in lingua inglese).
Una domanda dopo aver letto l’interessante articolo, lei professore insegna economia dopo in dottorato in storia economica e un corso di laurea di letteratura?
Per essere precisi: laurea in lettere (all’epoca c’erano i piani di studio cosiddetti liberalizzati: io disegnai un percorso con esami di logica, filosofia della scienza, statistica, economia, econometria e una tesi in storia economia quantitativa). Ho un dottorato in Storia delle dottrine economiche. Poi ho vinto un posto da ricercatore a tempo indeterminato in Economia. E due concorsi successivi per associato e per ordinario sempre in Economia.
Il mio era un dubbio critico sulla formazione del corso di laurea in letteratura ma non sapevo della possibilità dei piani di studio, ciò che più conta in effetti, non ho difficoltà a riconoscerlo. Non avevo nessuna difficoltà invece a riconoscere importante ai fini dell’insegnamento il percorso successivo alla laurea e che per l’insegnamento sono necessari dei concorsi da superare. Sono convinto anche che in tutte le discipline sociali, che siano corsi di scienze politiche, scienze sociali o scienze economiche, siano necessarie competenze di storia, di filosofia e in particolar modo di logica e della materie propriamente umanistiche.
Chiaramente, con tutti i limiti attribuibili alla valutazione quantitativa della ricerca scientifica, un conto è perfezionare i metodi quantitativi, un’altro è squalificarne il valore conoscitivo rispetto altri metodi qualitativi. Questi ultimi precludono per presupposto ogni comparazione e implicano problemi di arbitrarietà con tutte le conseguenze del caso. E’ vero che la valutazione quantitativa può deresponsabilizzare ed avere molte altre distorsioni, tanto che c’è molto letteratura critica e uno degli ultimi ultimi testi divulgativi di successo, The Tyranny of Metrics di Jerry Z. Muller ne evidenzia una buona parte di aspetti negativi. Malgrado tutto, i metodi quantitativi sono ciò che di più rigoroso abbiamo.
Non c’è niente di rigoroso, basta cambiare database e cambiano tutte le metriche. Basta avere un accento strano nel nome, o comparire con ortografie diverse per vedersi dimezzare le metriche. Infatti i dati bibliometrici non sono riproducibili, è dimostrato, quindi non hanno nulla di scientifico.
Anche ci fosse un database perfetto e senza errori, chi decide quali riviste inserire e quali no? E’ lo stesso rigore di una madre che giudica il figlio in base al parere delle sue amiche (che sceglie lei…)
E. De Candia: “… i metodi qualitativi. Questi ultimi precludono per presupposto ogni comparazione e implicano problemi di arbitrarietà.” Detto in tutta tranquillità umiltà e serietà, quando, per es., “letteratura” è ritenuto = “lettere”, non se ne può logicamente dedurre che possa esistere la c.d. “letteratura comparata”, cioè “… une approche multi-disciplinaire qui consiste en l’étude conjointe ou contrastive des littératures de différentes aires linguistiques, mais aussi de différents médias et types d’arts.”. Molto interessanti, anche comparativamente, le due voci, francese (da cui cito), ed inglese, di Wikipedia sulla “comparative literature: an academic field”: dalla seconda si ‘scopre’ una cosa ‘tipicamente anglo-americana’, e cioè che ogni sorgente di ‘mostruosità’ moderna (anche comparativo-letteraria) è la Transilvania. Il che mi sta facendo cadere dalla sedia dal gran ridere :-)) . Ma che mi torna anche molto molto utile (e sono grata per lo spunto, veramente!) per un mio futuro intervento, ovviamente sui vampiri :-( .
2. “possibilità dei piani di studio [individualizzati]”. Roba da preistoria sessantottina, se non erro. Ma che ha una versione più recente (dovuta, di nuovo se non erro) al ministro Fabio Mussi (appartenente ad una preistoria di 15 anni fa), il quale aveva inserito in qualche testo normativo la possibilità e anzi l’obbligo della flessibilità (“curricolare”) dei piani di studio, attentamente disattesa in seguito, per arrivare alla quasi completa ed incontrastata incorsettatura dei medesimi.
Franco, suppongo che usi il termine metriche al posto di risultato. Comunque no, malgrado tanti possono essere i problemi della valutazione usata dal VQR, quello che menzioni non rileva. Gli indicatori bibliometrici sono forniti da ISI WoS, Scopus e Google Scholar per la lista delle riviste da includere e questo processo di inclusione è sottoposto a revisione, quindi anche a correttivi motivati se del caso richiesti e sottoposti al Gruppo di Esperti della Valutazione. Comunque sia la classificazione di merito delle riviste utilizza un algoritmo che combinerà indicatori bibliometrici dei tre data base sopra se l’articolo risulta indicizzato in tutti, oltre a prevedere delle limitazioni per impedire che una rivista indicizzata ottenga una classificazione inferiore a quella di una rivista non indicizzata associata a un indice h minore. Una curiosità, quindi secondo lei, quale sarebbe il metodo scientifico rigoroso?
Emanuele De Candia: ma lei ha la palla di cristallo per vedere il futuro o ha informazioni sulla prossima VQR cui il resto dei lettori di roars non ha accesso?
Quello replicabile, che io sappia.
No. Da dove evince che facevo riferimento alla prossima VQR professore?
Usa il futuro in alcune parti del commento. Per quanto riguarda il passato, il commento contiene una descrizione del modo in cui è avvenuta la valutazione bibliometrica nelle due VQR che non è corretta.
Mi pare una giustificazione per dire che non si ha tempo per leggere e quindi giudicare la produzione scientifica…
Questi algoritmi non mi assicurano proprio niente
Un giudizio personale mi assicura molto meno di un algoritmo che è almeno imparziale. In realtà un giudizio personale, per come è stata sempre valutata la ricerca nelle nostre università pre riforma 2010, non era altro che il modo istituzionalizzato per concedere favori ad amici del valutato.
Però prima di venire a commentare qua, sarebbe il caso si leggesse un po’ di cose che abbiamo scritto in questi anni. Questo a proposito dell’imparzialità degli algoritmi nella VQR1 per esempio: https://www.roars.it/vqr-tutte-le-valutazioni-sono-uguali-ma-alcune-sono-piu-uguali-delle-altre/ e questo per la vqr2: https://www.roars.it/nei-criteri-vqr-ce-un-fatal-error-noto-da-piu-di-20-anni/.
Più complicata questo preprint uscito da poco: https://arxiv.org/abs/1810.12430
EC ad amici del valutatore.
“Un giudizio personale mi assicura molto meno di un algoritmo che è almeno imparziale.” No, perchè l’algoritmo si basa su un giudizio personale comunque, quello del referee che ha valutato il lavoro, e magari quello dell’editor che ha scelto il referee. Si sposta solo, nei casi in malafede, e per fortuna isolati, la sede in cui “concedere favori”. Senza contare, ripeto, che i dati inseriti in bocca all’argoritmo, ad esempio, l’elenco delle riviste, sono scelti in maniera completamente arbitraria. Vedi i vecchi articoli di Figà Talamanca, o gli articoli di Roars sulle classi di riviste ANVUR. Certo, il barone locale avrà meno potere, ma solo a scapito del metabarone tecnocrate anvuriano che deciderà chi farà carriera in tutta Italia, non solo in un singolo ateneo. Risultato: la scomparsa di intere tematiche di ricerca.
In quanto al metodo scientifico, non solo deve essere riproducibile e verificabile, almeno teoricamente, da chiunque (e ovviamente qui sorgono grossi problemi, perchè non posso costruirmi a casa un acceleratore di particelle artigianale per controllare se esiste davvero il bosone di Higgs :) Ma alla base del metodo scientifico dovrebbe esserci una teoria, da verificare (o confutare, alla Popper). Allora, quale sarebbe la teoria che sta dietro a queste “valutazioni”? Quale è la descrizione delle “entità” o altro che si vogliono misurare? Cosa corrobora l’idea che gli indicatori misurino davvero queste entità, che nessuno descrive? Addirittura anche INVALSI propone una pseudoteoria e descrive cosa i test dovrebbero misurare, almeno INVALSI ha una vaga idea di come dovrebbe funzionare una verifica scientifica. Ovviamente la metodologia di INVALSI è debole e ridicola, ma almeno non palesemente contradditoria, circolare e autoreferenziale come la VQR.
Ora capisco, nella frase “utilizza un algoritmo che combinerà indicatori bibliometrici” ha attribuito implicitamente il presente alla mia enunciazione mentre era riferita al tempo dell’enunciato. Trascurando l’equivoco da ambiguità semiotica, quello che ho affermato è ciò che prevede la Valutazione della Qualità della Ricerca 2011‐2014 (VQR 2011‐2014) – Appendice A – Criteri di valutazione per l’Area 13 che dovrebbe conoscere, considerando che l’area 13
Scienze Economiche e Statistiche. In pratica lei afferma che il GEV sconfessa i criteri di valutazione ai quali deve attenersi.
Per Area13 nel 2011-2014 e nel 2004-2010, il GEV è stato l’unico che ha usato SOLO liste di riviste e non indici citazionali. Questo il link ai criteri dell’area: https://www.anvur.it/wp-content/uploads/2017/01/IT_criteri%20GEV%2013.pdf.
Mancava soltanto la semiotica, la quale, come ognuno sa, è una scienza esatta.
Il discorso professore verteva sulla validità della valutazione con indicatori bibliometrici (e non citazionali), proprio per questo ho voluto prendere come riferimento l’area 13. Per capire, quando asserisce nell’articolo alle “metriche di produzione e citazionali” corruttive della ricerca scientifica quale sarebbe il riferimento del discorso? Le critiche di Roars sono conosciute in questo tema. L’articolo a cui rimanda sulla concordanza tra indicatori bibliometrici e peer review è diverso ma come saprà il livello di variabilità non è più ampio di quello tra sole valutazioni tra pari. A questo punto mi viene da chiederle se lei è contrario anche alle valutazioni tra pari.
Gli indicatori citazionali sono indicatori bibliometrici. Il link all’articolo sulla concordanza contiene la demolizione delle ultime due VQR (aree bibliometriche).
Sui “non citazionali” ho usato impropriamente il termine, intendevo quelli riferiti non alle citazioni degli autori ma diretti a valutare solo l’impatto di una rivista scientifica (Impact Factor da ISI Thomson Reuters). La distorsione dell’area 9 nel link non la conoscevo.
Franco grazie per le delucidazioni epistemiche sulla natura non imparziale dell’algoritmo. Ripeto, non ho detto che siano creature divine ma solo che il loro obiettivo conoscitivo, giusto o sbagliato che sia, è applicabile a tutti senza alcuna differenza, questa è la definizione di imparzialità. Se il riferimento invece è agli indicatori bibliometrici, non ho alcun dubbio che non sia il burocrate di turno il problema. Qualsiasi sia l’indicatore bibliometrico, anche il peggiore, non nasce da un burocrate ma dalla comunità scientifica.
E cosa c’è di più imparziale di far ruzzolare un icosaedro sulle cui facce ci siano i giudizi da A ad E (per rispecchiare i giudizi della futura vqr), ogni giudizio replicato su 4 facce?
Sui grandi numeri (di pubblicazioni giudicate) verrebbero anche rispettati pure i vincoli >5% e < 25% tanto cari ai luminari di anvur – in media sarebbero circa 20% ognuno.
Ed oso di più: magari il risultato si discosterebbe da quello che dovrebbe essere un reale giudizio di merito meno di altre amenità!
sandroamt: zitto, che a qualcuno non venga l’idea di far ruzzolare i docenti in carne e ossa! ;P