Ricevere una medaglia d’oro, d’argento o di bronzo nella VQR è di fondamentale importanza per le politiche di comunicazione di un ateneo. Ognuna delle sedici aree in cui è suddivisa la VQR ha attribuito ben 9 medaglie, con un podio diverso per atenei grandi, medi e piccoli. I posti sul podio dipendono dal modo in cui i GEV hanno collocato le soglie dimensionali che separano atenei grandi, medi e piccoli. In Area 01, Scienze matematiche e informatiche, tra tutte le centinaia di modi in cui sarebbe stato possibile fissare tali soglie, il GEV ne ha scelto uno (diverso da quello della precedente VQR) che ha permesso di attribuire tre medaglie agli atenei del presidente (oro) e di due coordinatori del GEV (argento e bronzo). Secondo il coordinatore del GEV, Marco Abate, la scelta delle soglie è avvenuta “a sua insaputa”. Infatti, in un articolo apparso su MaddMaths!, sostiene che «la determinazione delle classi dimensionali dell’Area 01 per la VQR 2011-2014 è stata univocamente dettata dalla normativa e dalla distribuzione statistica del numero di prodotti attesi dalle varie università, senza alcuna scelta arbitraria da parte del GEV». Ma è davvero così? Abate basa le sue argomentazioni su una serie di errori fattuali (ne abbiamo contati sei) che, a beneficio dei nostri lettori (e dei colleghi di Area 01), evidenziamo nell’ordine in cui appaiono nel testo del suo articolo.
Marco Abate, “super-esperto” (cit. Andrea Graziosi) presidente del GEV di Area1, ha pubblicato un articolo sul sito MaddMaths! in cui “risponde” al nostro post dedicato alle classifiche prét-a-porter.
Nel nostro articolo abbiamo mostrato che il GEV di Area01, insieme ad alcuni altri GEV, non tutti, ha adottato soglie dimensionali per la VQR 2011-2014 diverse da quelle della VQR 2004-2010. Questo ha modificato sensibilmente i medaglieri di area. Secondo Marco Abate nella nostra analisi avremmo affermato : “ le modifiche sono andate a vantaggio degli atenei di afferenza dei coordinatori dei GEV o dei coordinatori dei sub-GEV.
Abate, forse accusato di alterazione delle soglie, ma non certo da noi, scrive dunque un articolo, lungo due pagine ed accompagnato da una tabella, nella cui conclusione sostiene di aver mostrato che:
la determinazione delle classi dimensionali dell’Area 01 per la VQR 2011-2014 è stata univocamente dettata dalla normativa e dalla distribuzione statistica del numero di prodotti attesi dalle varie università, senza alcuna scelta arbitraria da parte del GEV; inoltre, la procedura usata per la determinazione della classe dimensionale “grande” per l’Area 01 nella VQR 2011-2014 è esattamente identica a quella usata per la VQR 2004-2010.
Questa conclusione arriva dopo una serie di errori fattuali che è quasi imbarazzante dover commentare, e che comunque rileviamo nell’ordine in cui appaiono nel testo di Abate.
ERRORE 1. Le regole per la classificazione dimensionale della VQR2011-2014 non sono quelle descritte da Abate.
Scrive Marco Abate:
“La procedura usata nella VQR 2011-2014 per la determinazione delle tre classi dimensionali è stata la stessa per tutti i GEV, ed è descritta nella Sezione 6 del Rapporto Finale della VQR 2011-2014. Dopo aver elencato gli Atenei in ordine decrescente di numero di prodotti attesi è stata calcolata la differenza fra il numero di prodotti attesi di un’università e il numero dei prodotti attesi dall’università che la precede; la demarcazione fra una classe dimensionale e la successiva è stata posta dove tale differenza aveva un massimo locale elevato, in modo da ottenere una separazione significativa fra l’ateneo più piccolo di una classe e l’ateneo più grande della classe successiva. Inoltre si è evitato di creare classi dimensionali contenenti pochi atenei.”
La regola descritta nella Sezione 6 del Rapporto finale VQR e riportata letteralmente nel nostro articolo è diversa da quella che racconta Abate. Soprattutto perché il primo criterio è “utilizzare classi dimensionali non troppo diverse nelle due VQR”. Il criterio del “salto” viene solo al secondo posto. Non rileva ai fini di questa discussione, ma non è vero neanche che la regola dicesse di evitare “classi dimensionali contenenti pochi atenei”. Per comodità dei lettori riportiamo per esteso la regola adottata dai GEV come descritta nel rapporto finale:
“Per le graduatorie di area degli atenei le soglie dimensionali per le 16 aree sono indicate nella Tabella 6.1. Le soglie sono state definite in modo da:
1. utilizzare classi dimensionali non troppo diverse nelle due VQR (ovviamente tenendo conto del numero diverso di prodotti attesi nei due esercizi di valutazione);2. inserire il “salto” dimensionale in corrispondenza di differenze significative di numeri di prodotti attesi; in altre parole, distanziare opportunamente l’ultimo ateneo di una classe dal primo della successiva;
3. tenere conto di outlier in alcune aree (tipicamente la Sapienza di Roma), che presentano un numero così alto di prodotti attesi da ridurre eccessivamente il numero degli atenei nella classe G.” (p. 47-48, Rapporto Finale VQR 2011-2014)”
ERRORE 2. Le regole per la classificazione dimensionale della VQR2004-2010 non sono quelle descritte da Abate.
Subito dopo aver riportato una regola diversa da quella del Rapporto, Abate scrive:
“La procedura qui descritta è una procedura statistica standard, ed è esattamente la stessa usata dal GEV01 nella VQR 2004-2010.”
Anche in questo caso, i documenti ufficiali dicono cose diverse da quelle scritte da Abate. Basta verificare cosa c’era scritto nel Rapporto Finale e nel rapporto del GEV 01 della VQR 2004-2010:
“Come già anticipato, nel rapporto sono state calcolate graduatorie separate per gli atenei, gli enti di ricerca e i consorzi interuniversitari. Inoltre, all’interno di ciascuna categoria di strutture, quando ritenuto utile a una migliore lettura dei risultati, le tabelle e i grafici mostrano separatamente le strutture grandi, medie e piccole, determinate da soglie sul numero di prodotti conferiti che dipendono dalle aree e sono specificate nelle tabelle.” (p. 46, Rapporto Finale VQR 2004-2010)
Per gli atenei, escludendo quelli con meno di 10 prodotti attesi nell’area, sono stati definiti piccoli gli atenei con un numero di prodotti attesi fra 10 e 80; medi gli atenei con un numero di prodotti attesi fra 81 e 249; e grandi gli atenei con almeno 250 prodotti attesi. (p. 68, Rapporto GEV01 – VQR 2004-2010)
Insomma, da nessuna parte si fa cenno alla regola del “salto”, che è una novità introdotta nella VQR 2011-2014.
Errore 3. La soglia di demarcazione tra medie e grandi nella VQR 2004-2010 non è quella descritta da Abate.
Poiché Abate crede che nella VQR 2004-2010 sia stata applicata l’inesistente regola del salto, propone agli ignari lettori di MaddMaths!, una soglia di demarcazione tra medie e grandi che non è quella dei documenti ufficiali ANVUR. Secondo Abate:
“C’erano quattro punti in cui poteva essere naturale [sic!] inserire la separazione: Padova, Firenze, Milano Politecnico e Bari. Fu scelta Milano Politecnico perché corrispondeva a un altro criterio [sic!] di demarcazione naturale [sic!]: il dichiarare grandi Atenei con almeno 300 prodotti attesi, cioè con tipicamente almeno 100 addetti (in quanto nella VQR 2004-2010 ogni addetto doveva tipicamente presentare 3 prodotti).”
Come abbiamo appena visto dal rapporto finale di Area1, risulta che la soglia effettivamente usata nella VQR 2004-2010 non fu quella “naturale” pensata da Abate (300 prodotti, 100 addetti), ma una soglia (“innaturale?”) di circa 240 prodotti, corrispondenti a 80 addetti.
Quanto scritto da Abate non ha quindi riscontro nel rapporto finale di Area1 della VQR 2004-2010.
Errore 4. La classificazione dimensionale degli atenei grandi e medi riportata da Abate non corrisponde a quella pubblicata nel rapporto ANVUR 2004-2010.
A differenza di quanto affermato da Abate, nella VQR 2004-2010 non fu applicata nessuna regola del salto e la soglia fu fissata 60 prodotti (o 20 addetti) più in basso, di quanto affermato da Abate. (Errore 4.1) Il Politecnico di Milano non fu perciò classificato tra le medie università, come sostiene Abate, ma tra le grandi. Furono classificate tra le grandi anche Salerno e Bari, che erroneamente Abate ritiene siano state classificate tra le medie (rispettivamente Errore 4.2 ed Errore 4.3). E Roma Tor Vergata non era nel 2004-2010 la più piccola tra le grandi, come appare dalla tabella di Abate, forse per suggerire uno “scivolamento (naturale?)” tra le medie nella VQR 2011-2014. Per fugare ogni dubbio riportiamo la tabella 3.9 del Rapporto finale di Area1 della VQR 2004-2010.
E parte della tabella pubblicata da Abate da cui risultano gli errori di classificazione:
Errore 5. Non è vero quanto sostiene Abate che la soglia di demarcazione delle grandi scelta per la VQR2011-2014 è “esattamente identica” a quella della VQR 2004-2010.
Sappiamo che nella VQR 2011-2014 la soglia di demarcazione scelta dal GEV presieduto da Abate è stata di 100 addetti. Stiamo parlando del GEV01, matematica. Non è quindi il caso di ricordare che una soglia fissata a 100 non è “esattamente identica” alla soglia di 80 addetti fissata per la VQR 2004-2010.
Ed intorno agli 80 addetti, come si vede dalle tabelle fornite da Abate, c’era anche lì un salto tra Bari e Genova. Per cui una soglia intorno ad 80 sarebbe stata identica a quella della precedente VQR (criterio 1 di ANVUR) ed avrebbe rispettato anche la regola del salto.
Ma cosa sarebbe successo se il GEV presieduto da Abate, avesse davvero adottato una soglia “esattamente identica” a quella soglia della VQR 2004-2010?
Quello che abbiamo già documentato, riportando correttamente tutte le soglie nel nostro precedente post. Roma Tor Vergata sarebbe stata classificata prima tra le grandi. Pisa (università di Abate) sarebbe stata così scalzata dall’unico primo posto conquistato nella VQR 2011-2014. E Roma La Sapienza (università di un coordinatore sub-gev), sarebbe scivolata fuori dall’unico podio di cui ha potuto fregiarsi nella VQR; per di più proprio nell’area in cui aveva conquistato la medaglia d’oro nella VQR precedente.
Errore 6. Non è vero, come sostiene Abate, che la legge Gelmini detta le soglie di demarcazione tra Atenei medi ed atenei piccoli
Abate ha il problema di spiegare perché il GEV da lui presieduto ha fissato la soglia tra atenei medi ed atenei piccoli a 45 addetti (90 prodotti) quando nella VQR2004-2010 la soglia era fissata a 25.
Se il GEV avesse adottato l’unica regola del “salto dimensionale”, come Abate ha sostenuto fino a questo snodo del suo articolo, sarebbe stato “naturale”, come risulta dalla tabella di Abate, individuare il salto nell’università della Basilicata: 58 prodotti attesi, quindi 28 addetti. Più o meno la stessa soglia della VQR 2010-2014.
Non è difficile verificare che se fosse stata scelta questa soglia, i tre posti sul podio delle medie sarebbero stati per Pavia, Roma Tre e Verona (a pari merito con Politecnico di Torino).
Secondo la ricostruzione di Abate, il GEV ha deciso di non applicare la sola regola del “salto”. Per la soglia di demarcazione tra piccole e medie, Abate estrae dal cilindro addirittura la Legge Gelmini. Scrive infatti:
“per la VQR 2011-2014 la normativa suggeriva la soglia naturale di 40 addetti (cioè tipicamente 80 prodotti attesi), che è il numero minimo richiesto dalla l. 240/10 per la creazione di un dipartimento, mentre per la VQR 2004-2010 non esisteva alcuna indicazione normativa analoga.”
Quindi secondo Abate sarebbe stata la legge Gelmini (l. 240/2010) a suggerire una soglia di 40 addetti (anche questa soglia è definita “naturale”!, ancorché scritta in una norma).
Peccato che il richiamo alla normativa non abbia alcun riscontro nei documenti ufficiali ANVUR. Le regole per definire le soglie le abbiamo riportate sopra, e non c’è riferimento alcuno alla Gelmini, nemmeno nel rapporto del GEV di cui Abate è stato presidente. Molto semplicemente la legge Gelmini non contiene alcun riferimento alle soglie VQR! Ed in ogni caso, Abate dovrebbe spiegare agli ignari lettori di MaddMaths! per quale ragione una legge del 2010 dovrebbe valere solo per 3 aree su sedici, visto che solo 3 aree hanno posizionato la soglia di demarcazione tra medie e piccole nell’intorno dei 40 addetti.
E Abate dovrebbe spiegare anche perché la legge Gelmini dovrebbe valere per la VQR 2011-2014, ma non per la VQR precedente, comunque successiva alla promulgazione. Forse che anche per le norme vale qualche “regola del salto” temporale? Abate dovrebbe spiegare anche ai suoi lettori perché una regola di numerosità minima riferita ai dipartimenti dovrebbe applicarsi alla “dimensione degli atenei”. E dovrebbe spiegare infine, perché il GEV01 non ha applicato quella norma, fissando la soglia di demarcazione, non a 40, bensì a 45 (90 prodotti)!
Segnaliamo ai lettori, che siamo generosi e non inseriamo nel computo degli errori di Abate il fatto che riporta in modo errato anche la soglia dimensionale prevista dalla Gelmini. L’art.2, co.2, lett.b infatti di soglie ne riportava due (40, 35), ed in seguito ad una recente modifica (legge 5/1/2017 n.4, art. 3 comma 1), ne è stata aggiunta una terza (20 addetti). Il che significa che la Gelmini di “soglie naturali” non ne suggerisce una sola:
Quindi, è il combinato disposto di una inesistente previsione normativa e della regola del salto, che fa diventare “naturale” la soglia di demarcazione 45 addetti (90 prodotti) che è poco meno del doppio della soglia adottata nella VQR 2004-2010.
Anche in questo caso se il GEV avesse adottato una soglia “esattamente identica” a quella della VQR2004-2010 i risultati sarebbero stati molto diversi, come abbiamo documentato. Ed il Politecnico di Torino (coordinatore di sub-gev) non avrebbe avuto nessun posto sul podio.
Conclusioni.
La ricostruzione di Abate serve a mostrare l’”oggettività” delle scelte del GEV da lui presieduto. Scrive infatti:
La procedura qui descritta è una procedura statistica standard, ed è esattamente la stessa usata dal GEV01 nella VQR 2004-2010. La differenza nei risultati dipende esclusivamente dal fatto ovvio che negli anni trascorsi fra le due VQR Atenei diversi hanno avuto dinamiche di pensionamenti e assunzioni diverse, per cui le dimensioni relative sono cambiate.
Noi abbiamo mostrato che
- la “procedura” descritta da Abate non ha nulla a che fare con la “statistica”, tantomeno con qualche standard statistico riconosciuto;
- la procedura descritta da Abate nel suo articolo non ha nessun riscontro nei documenti ufficiali ANVUR;
- le procedura usata dal GEV presieduto da Abate è del tutto diversa da quella usata nella VQR 2004-2010.
Abate in un passaggio del suo documento sostiene che la differenza nei risultati sia dovuta esclusivamente al cambio delle “dimensioni relative” degli atenei. Peccato che anche in questo caso i dati gli diano torto. Basta scorrere le due classifiche pubblicate dallo stesso Abate: la gran parte degli atenei ha mantenuto la sua posizione in classifica, come è “naturale” visto che gli atenei statali sono sottoposti a vincoli di turn-over simili. La cosa veramente notevole è che alcuni degli atenei rilevanti al fine dei posti sul podio, pur migliorando la loro posizione nella classifica per dimensione (quindi la loro dimensione relativa) si trovino spostati di classe.
Prendiamo Roma Tor Vergata: passa dal 10° posto per dimensione nella VQR 2004-2010 all’8° nella VQR 2011-2014. Ma viene declassata tra le medie a causa del cambio di soglia. Lasciando libero, come sappiamo, il posto più alto del podio delle grandi per Pisa. Oppure Brescia: che passa dal 39° al 37° posto e che, pur aumentando il numero degli addetti di 4 unità, si ritrova spostata tra le piccole (ed esce dal podio). Oppure Roma Tre: resta nella stessa posizione, ha lo stesso numero di addetti, ma cambia di classe e perde anch’essa il posto sul podio.
Si può quindi tranquillamente ribadire quello che avevamo già visto: il cambio delle soglie ha determinato i posti sul podio. Ed i posti sul podio lo sappiamo sono la sola cosa importante di questa VQR. Strumento di marketing per eccellenza degli uffici comunicazione degli atenei.
Ad Abate resta invece da spiegare in modo convincente perché il GEV di Area1 ha deciso di cambiare le soglie rispetto alla precedente valutazione. Quando altri GEV, segnatamente quelli di Area 2, 4, 5, 6, 7, 8a le soglie non le hanno proprio modificate.
Aggiornamento del 13/04/2017
Il sito MaddMaths! ha pubblicato una versione modificata dell’articolo di Abate e della tabella, senza segnalazione dei passaggi modificati. Qui di seguito i lettori possono scaricare l’articolo di Abate e la tabella nella versione originale.
Le classi dimensionali della VQR nell’Area 01 – Maddmaths!
Leggendo le giustificazioni elencate da Marco Abate (soglie univocamente dettate dalla normativa, dalla statistica, uguali a quelle della VQR 2011-2014, imposte dalla legge Gelmini …mancava solo l’inondazione e le cavallette) mi è venuto in mente John Belushi inginocchiato davanti a Carrie Fisher che nei Blues Brothers sgrana un rosario di implausibili ragioni per averla lasciata da sola davanti all’altare, “in trepida e virginale attesa”.
Jake: Ah! Ti prego, non ucciderci! Ti prego, ti prego, non ucciderci! Lo sai che ti amo, baby! Non ti volevo lasciare! Non è stata colpa mia!
[…]
Jake: Non ti ho tradito. Dico sul serio. Ero… rimasto senza benzina. Avevo una gomma a terra. Non avevo i soldi per prendere il taxi. La tintoria non mi aveva portato il tight. C’era il funerale di mia madre! Era crollata la casa! C’è stato un terremoto! Una tremenda inondazione! Le cavallette! Non è stata colpa mia! Lo giuro su Dio!
Excusatio non petita…
Abate su MaddMaths! ha modificato l’articolo ringraziandoci per la segnalazione di un errore fattuale (su sei).
Purtroppo anche nel testo corretto gli errori restano tutti. Anche nella tabella corretta ne resta uno. In effetti resterebbe anche da spiegare su quale base dovremmo credere all’affermazione ribadita nel commento. Perché, come abbiamo mostrato, i documenti ufficiali di ANVUR non sono coerenti con la ricostruzione di Abate.
Su MaddMaths da un lato ci ringraziano, ma dall’altro ribadiscono
«che la procedura usata per determinare i possibili valori di taglio nelle due VQR è quella qui indicata, la stessa in entrambi i casi, e che la scelta dei valori di taglio per la VQR 2011-2014 è stata dettata dalla distribuzione dei prodotti attesi e dai riscontri con la normativa come qui descritto»
http://maddmaths.simai.eu/divulgazione/langolo-arguto/vqr/
Contro replica di Alberto Baccini (da Facebook):
«Madd Maths. Gli errori restano tutti. Anche nella tabella corretta ne resta uno. In effetti resterebbe anche da spiegare su quale base dovremmo credere all’affermazione che riportate tra virgolette nel commento. Perché, come abbiamo mostrato, i documenti ufficiali di ANVUR non sono coerenti con la ricostruzione che avete pubblicato.»
Marco Abate è un matematico serio e stimato, e non ha assolutamente alcun senso sottintendere che abbia intenzionalmente modificato le soglie per avvantaggiare la propria università (anche se non detto esplicitamente, ROARS lo sottintende, su!).
Detto questo, e al margine di possibili, anzi probabili, errori materiali, la VQR è totalmente bacata dall’inizio. Quando a monte si confondono metri con Kilometri, non ha proprio nessun significato poi indagare sugli errori nella misura dei millimetri…
Quello che rimprovero aspramente a Marco Abate, invece, è di non menzionare da nessuna parte le prese di posizione chiarissime di American Mathematical Society, European Mathematical Society e anche Unione Matematica Italiana, secondo cui la bibliometria non andrebbe usata per le valutazioni. Inolte, in quanto matematico, anche se non statistico, Abate dovrebbe riconoscere e menzionare le gravi falle statistiche (e logiche, del resto…) che stanno a monte di tutto questo processo di valutazione.
Questo è gravissimo, e il punto secondo me sta qui, non in eventuali e improbabili trucchetti per far scivolare qualche università nelle classifiche (che, anche fosse vero, lascia il tempo che trova).
Secondo me il dovere più importante di ogni scienziato, oggi, nei confronti della VQR, è di dichiarare apertamente ed esplicitamente che non ha alcun valore scientifico. E ovviamente ringrazio ROARS per insistere costantemente su questo punto. Ma non perdiamoci in dettagli minimi.
Scrive Paolo b: “Secondo me il dovere più importante di ogni scienziato, oggi, nei confronti della VQR, è di dichiarare apertamente ed esplicitamente che non ha alcun valore scientifico.” Sono perfettamente d’accordo. E questo stiamo facendo da tempo.
Ma non meno importante è mostrare l’uso “politico” e di marketing della VQR.
L’intento di ROARS sulla storia delle classifiche era scritto a chiare lettere. Mostrare che senza il ritocco delle classifiche non ci sarebbe stata nessuna convergenza del Sud e miglioramento delle università peggiori. Senza il ritocco delle classifiche sarebbe stato più difficile per ANVUR sostenere che la valutazione ha fatto bene all’università italiana.
Nel fare questo ci siamo accorti che in molti settori il cambio di soglie avvantaggiava i membri dei GEV. Questione di secondaria importanza rispetto al resto? Forse sì, ma significativa della direzione in cui la valutazione sta facendo muovere l’università italiana. E la direzione è la stessa che porta fa dimenticare di citare i documenti dell’AMS, EMS, UMI.
Su Marco Abate. Non facciamo processi alle intenzioni. Ci siamo limitati a riportare fatti e dati. Ognuno da quei dati tira le conclusioni che crede, se crede.
Noi, non sottindendiamo nulla. Presentiamo dei fatti, riassunti in questi due grafici.
Per sostenere che «la determinazione delle classi dimensionali dell’Area 01 per la VQR 2011-2014 è stata univocamente dettata dalla normativa e dalla distribuzione statistica del numero di prodotti attesi dalle varie università, senza alcuna scelta arbitraria da parte del GEV» Abate cita la Sezione 6 del Rapporto VQR, omettendo di ricordare che il criterio n.1 è:
________________
utilizzare classi dimensionali non troppo diverse nelle due VQR (ovviamente tenendo conto del numero diverso di prodotti attesi nei due esercizi di valutazione)
________________
Questo è solo il primo di sei errori fattuali contenuti nella replica di Abate. Dettagli minimi? Non ne sono sicuro. E la ragione sono proprio le “prese di posizione chiarissime di American Mathematical Society, European Mathematical Society e anche Unione Matematica Italiana”. Uno scienziato serio e stimato starebbe alla larga da metodi la cui solidità è messa in dubbio dalla comunità scientifica e anche da classifiche che sommano alle debolezze bibliometriche ulteriori falle scientifiche che, guarda caso, hanno a che fare proprio con le soglie dimensionali. Uno scienziato serio e stimato sa che questo è terreno scivoloso e, se proprio decide di inoltrarvisi, si attiene strettamente alle raccomandazioni della Sezione 6. Da ultimo, uno scienziato serio e stimato non scrive una replica piena di errori fattuali. La prima cosa che pensa uno scienziato serio e stimato è che i suoi colleghi di area 1 potrebbero andare a leggere cosa c’è scritto nella Sezione 6 e a verificare quali erano le vere soglie dimensionali della vecchia VQR. Uno scienziato serio e stimato potrebbe immaginare che i redattori di Roars sarebbero andati a controllare i rapporti e le classifiche citati in modo così disinvolto.
Condivido le opinioni di paolo b (che non conosco). Ho anch’io molta stima di Marco Abate, che non credo assolutamente capace di manipolazioni a vantaggio della sua sede. Sono però convinto che sia giunto il momento per rifiutare decisamente queste valutazioni prive di valore scientifico imposte dall’alto. Il pericolo principale è il messaggio che viene rivolto ai giovani, spinti a inseguire soglie e parametri anziché la loro curiosità.
Il momento era già arrivato con #stopvqr e con l’appello a non partecipare come gev e revisori alla Vqr. La prossima occasione sarà nel 2020. Nel lungo periodo, come diceva Keynes, …
Sarebbe interessante leggere delle risposte puntuali alle critiche mosse da Baccini e De Nicolao dal diretto interessato.
“Ho anch’io molta stima di Marco Abate, che non credo assolutamente capace di manipolazioni a vantaggio della sua sede.”
_____________
Anche noi. Non per niente, abbiamo intitolato “a sua insaputa”.
Sono sostanzialmente d’accordo con Baccini e De Nicolao, ma non con l’ultima parte dell’intervento di quest’ultimo (del 14 aprile).
Abate è un matematico, non uno scientometrista o un bibliometrista. Se, parlando in astratto, Abate avesse commesso un grave errore in un suo lavoro matematico e si rifiutasse di riconoscerlo, la mia stima nei suoi confronti calerebbe di parecchio. Se sbaglia nell’applicare le assurde e astruse regole della VQR, non cambia nulla nel giudizio scientifico che ho su di lui.
Ripeto invece che Abate potrebbe e, anzi, secondo me avrebbe il dovere morale di pronunciarsi sul (non) valore scientifico di questa “valutazione”, anche in coerenza con i documenti da lui sottoscritti in passato, e citati sotto (ovviamente, apprezzo molto il titolo “a sua insaputa” e continuo a credere che rappresenti la realtà effettiva).
Il discorso precedente riguarda solo un caso specifico e un singolo coordinatore. Nel caso generale, quanto sono significative le variazioni statistiche rispetto alla norma? Ci sono coordinatori Gev/subGev la cui sede ha perso posizioni? oppure avrebbe potuto perdere/guadagnare posizioni con aggiustametni delle soglie? Fate un bello specchietto riepilogativo, per favore, voi che potete! Io mi arrendo, in più di un’ora non sono nemmeno riuscito a trovare i nomi di tutti i coordinatori subGev del mio settore, ahimè!
Il discorso precedente non riguarda un singolo coordinatore, ma nemmeno tutti. Abbiamo già documentato tutto: https://www.roars.it/vqr-le-classifiche-pret-a-porter-confezionate-dai-gev-and-the-winners-are/
potrei avere per favore i link ai documenti citati da ‘paolo b’ nel suo commento: “E la ragione sono proprio le prese di posizione chiarissime di American Mathematical Society, European Mathematical Society e anche Unione Matematica Italiana”.”
Grazie. Buone vacanze!
Ad esempio:
http://www.ams.org/profession/leaders/culture/CultureStatement09.pdf
“While a mathematician’s publication record is considered in determining his/her standing, much
greater weight is placed on the substance of the work itself, and its impact on the subject, as assessed by experts
within the field, than on the number of citations to that work, and the IFs of the journals in which it appears.”
Altro domani…
“potrei avere per favore i link ai documenti citati da ‘paolo b’ nel suo commento:”
====================================
In un mio precedente commento (https://www.roars.it/ma-i-ricercatori-non-sono-postelegrafonici-una-asn-da-ripensare-in-modo-radicale/comment-page-2/#comment-30897, che ricopio per comodità) avevo citato il documento dell’European Mathematical Society insieme a molto altro materiale sugli abusi della bibliometria. Nel mio elenco (necessariamente incompleto) mancano American Mathematical Society e Unione Matematica Italiana. Credo però che sia utile avere un’idea della pluralità di voci che si sono espresse sull’argomento. L’ostinazione di ANVUR nell’ignorare lo stato dell’arte internazionale sollecita più di un interrogativo su quale possa essere la vera missione dell’agenzia e/o sulla competenza tecnica dei suoi componenti. E anche sulle autentiche motivazioni e/o la competenza tecnica di chi accetta di collaborare entrando nei GEV e nei gruppi di lavoro.
============================
1. Articles in scientific journals
____________________________
[1.1] D.L. Parnas, “Stop the Numbers Game – Counting papers slows the rate of scientific progress,” Communications of the ACM, Vol. 50, No. 11, 2007, pp. 19-21.
http://ce.sharif.edu/%7Eghodsi/PaP/stop_the_number_game.pdf
“The widespread practice of counting publications without reading and judging them is fundamentally flawed for a number of reasons: It encourages superficial research … overly large groups … repetition … small, insignificant studies … publication of half-baked ideas.
Evaluation by counting the number of published papers corrupts our scientists; they learn to “play the game by the rules.” Knowing that only the count matters, they use the following tactics: Publishing pacts. … Clique building … Anything goes … Bespoke research …Minimum publishable increment (MPI). ….Organizing workshops and conferences …
Those who want to see computer science progress and contribute to the society that pays for it must object to rating-by-counting schemes every time they see one being applied”
____________________________
[1.2] D.N. Arnold (past president of the Society for Industrial and Applied Mathematics), “Integrity under attack: The state of scholarly publishing”, SIAM News. Vol. 42, No. 10, December 2009, pp. 1-4.
http://www.siam.org/news/news.php?id=1663
“The next time you are in a situation where a publication count, or a citation number, or an impact factor is brought in as a measure of quality, raise an objection. Let people know how easily these can be, and are being, manipulated. We need to look at the papers themselves, the nature of the citations, and the quality of the journals.”
____________________________
[1.3] D.N. Arnold and K. K. Fowler, “Nefarious Numbers”, Notices of the American Mathematical Society, Vol. 58, No. 3, March 2011, pp. 434-437.
http://www.ams.org/notices/201103/rtx110300434p.pdf
“Despite numerous flaws, the impact factor has been widely used as a measure of quality for jour- nals and even for papers and authors. This creates an incentive to manipulate it. Moreover, it is possible to vastly increase impact factor without increasing journal quality at all. … The cumulative result of the design flaws and manipulation is that impact factor gives a very inaccurate view of journal quality. More generally, the citations that form the basis of the impact factor and various other bibliometrics are inherently untrustworthy.”
____________________________
[1.4] A. Molinié and G. Bodenhausen, “Bibliometrics as Weapons of Mass Citation”, Chimia 64 No. 1/2 (2010) 78–89
http://www1.chimie.ens.fr/Resonance/papers/2010/Molinie-Bodenhausen-Bibliometrics-Chimia-64-78-2010.pdf
“Just as the ‘value’ of financial products is assessed by irresponsible ranking agencies, the value of scientific research is as- sessed by ill-conceived parameters such as citation indices, h-factors, and worst of all, impact factors of journals… ‘Judging the ability of a scientist by his h- factor amounts to choosing wine according to the price of the bottle, Swiss cheese by measuring the size of its holes, and choco- late by its sugar content.’”
____________________________
[1.5] R.R. Ernst (Nobel prize in Chemistry), “The Follies of Citation Indices and Academic Ranking Lists A Brief Commentary to ‘Bibliometrics as Weapons of Mass Citation’,” Chimia, Vol. 64, No. 1/2, 2010, p. 90.
http://www.chab.ethz.ch/personen/emeritus/rernst/publications
“The present hype of bibliometry made it plainly obvious that judging the quality of science publications and science projects by bibliometric measures alone is inadequate, and reflects the inadequacy of science man- agement regimes staffed by non-scientific administrators or by pseudo-scientists who failed to develop their own personal judgment.”
==============================
2. Articles in newspapers
____________________________
[2.1] D.D. Guttenplan, Questionable Science behind Academic Rankings, New York Times, November 14, 2010
http://www.nytimes.com/2010/11/15/education/15iht-educLede15.html?pagewanted=all
“.. the list [the 2010 Times Higher Education ranking of world universities] also ranked Alexandria [the Egyptian university] fourth in the world in a subcategory that weighed the impact of a university’s research — behind only Caltech, M.I.T. and Princeton, and ahead of both Harvard and Stanford. … Dr. Hazelkorn also questioned whether the widespread emphasis on bibliometrics — using figures for academic publications or how often faculty members are cited in scholarly journals as proxies for measuring the quality or influence of a university department — made any sense. “I understand that bibliometrics is attractive because it looks objective. But as Einstein used to say, ‘Not everything that can be counted counts, and not everything that counts can be counted.”
____________________________
[2.2] D. Colquhoun, “Publish-or-perish: Peer review and the corruption of science,” The Guardian, September 5, 2011
http://www.guardian.co.uk/science/2011/sep/05/publish-perish-peer-review-science?fb=optOut
“To have “written” 800 papers is regarded as something to boast about rather than being rather shameful. … The way to improve honesty is to remove official incentives to dishonesty.”
==============================
3. Institutional reports and statements
____________________________
[3.1] Joint Committee on Quantitative Assessment of Research, Citation Statistics – A report from the International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS), Robert Adler, John Ewing (Chair), Peter Taylor, released: 6 November 2008, corrected version: 6 December 08
http://www.iciam.org/QAR/CitationStatistics-FINAL.PDF
“Thus, while it is incorrect to say that the impact factor gives no information about individual papers in a journal, the information is surprisingly vague and can be dramatically misleading….Once one realizes that it makes no sense to substitute the impact factor for individual article citation counts, it follows that it makes no sense to use the impact factor to evaluate the authors of those articles, the programs in which they work, and (most certainly) the disciplines they represent.”
____________________________
[3.2] Higher Education Funding Council for England (HEFCE), Report on the pilot exercise to develop bibliometric indicators for the Research Excellence Framework , released: September 2009.
http://www.hefce.ac.uk/pubs/hefce/2009/09_39/
“Key points. 8. Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF. However there is considerable scope for citation information to be used to inform expert review. 9. The robustness of the bibliometrics varies across the fields of research covered by the pilot, lower levels of coverage decreasing the representativeness of the citation information. In areas where publication in journals is the main method of scholarly communication, bibliometrics are more representative of the research undertaken.“
____________________________
[3.3] House of Commons, Science and Technology Committee, Peer review in scientific publications, Eighth Report of Session 2010–12, released: 28 July 2011.
http://www.publications.parliament.uk/pa/cm201012/cmselect/cmsctech/856/856.pdf
“David Sweeney [Director HEFCE]: With regard to our assessment of research previously through the Research Assessment Exercise and the Research Excellence Framework, we are very clear that we do not use our journal impact factors as a proxy measure for assessing quality. Our assessment panels are banned from so doing. That is not a contentious issue at all.
Sir Mark Walport: I would agree with that. Impact factors are a rather lazy surrogate. We all know that papers are published in the “very best” journals that are never cited by anyone ever again. Equally, papers are published in journals that are viewed as less prestigious, which have a very large impact. We would always argue that there is no substitute for reading the publication and finding out what it says, rather than either reading the title of the paper or the title of the journal.
Professor Rylance: I would like to endorse both of those comments. I was the chair of an RAE panel in 2008. There is no absolute correlation between quality and place of publication in both directions. That is you cannot infer for a high-prestige journal that it is going to be good but, even worse, you cannot infer from a low-prestige one that it is going to be weak. Capturing that strength in hidden places is absolutely crucial.
Q256 Stephen Mosley: … a concern that the Research Excellence Framework panels in the next assessment in 2014 might not operate in the same way. Can you reassure us that they will be looking at and reading each individual paper and will not just be relying on the impact?
David Sweeney: I can assure you that they will not be relying on the impact. The panels are meeting now to develop their detailed criteria, but it is an underpinning element in the exercise that journal impact factors will not be used. I think we were very interested to see that in Australia, where they conceived an exercise that was heavily dependent on journal rankings, after carrying out the first exercise, they decided that alternative ways of assessing quality, other than journal rankings, were desirable in what is a very major change for them, which leaves them far more aligned with the way.”
____________________________
[3.4] Kim Carr (Australian Minister for Innovation, Industry, Science and Research), Ministerial statement to the Senate Economics Legislation Committee – Improvements to Excellence in Research for Australia (ERA), May 30, 2011.
http://minister.innovation.gov.au/carr/mediareleases/pages/improvementstoexcellenceinresearchforaustralia.aspx
“There is clear and consistent evidence that the [journal] rankings were being deployed inappropriately within some quarters of the sector, in ways that could produce harmful outcomes, and based on a poor understanding of the actual role of the rankings. One common example was the setting of targets for publication in A and A* journals by institutional research managers.In light of these two factors – that ERA could work perfectly well without the rankings, and that their existence was focussing ill-informed, undesirable behaviour in the management of research – I have made the decision to remove the rankings, based on the ARC’s expert advice.”
____________________________
[3.5] Code of Practice – European Mathematical Society, p. 5
http://www.euro-math-soc.eu/system/files/COP-approved.pdf
“1. Whilst accepting that mathematical research is and should be evaluated by appropriate authorities, and especially by those that fund mathematical research, the Committee sees grave danger in the routine use of bibliometric and other related measures to assess the alleged quality of mathematical research and the performance of individuals or small groups of people.
2. It is irresponsible for institutions or committees assessing individuals for possible promo- tion or the award of a grant or distinction to base their decisions on automatic responses to bibliometric data.”
____________________________
[3.6] On the use of bibliometric indices during assessment – European Physical Society, p. 2
http://www.eps.org/news/94765/
“The European Physical Society, in its role to promote physics and physicists, strongly recommends that best practices are used in all evaluation procedures applied to individual researchers in physics, as well as in the evaluation of their research proposals and projects. In particular, the European Physical Society considers it essential that the use of bibliometric indices is always complemented by a broader assessment of scientific content taking into account the research environment, to be carried out by peers in the framework of a clear code of conduct.”
____________________________
[3.7] Du Bon Usage de la Bibliometrie pour l’Évaluation Individuelle des Chercheurs”- Institut de France, Académie des Sciences, p. 5
http://www.academie-sciences.fr/activite/rapport/avis170111gb.pdf
“Any bibliometric evaluation should be tightly associated to a close examination of a researcher’s work, in particular to evaluate its originality, an element that cannot be assessed through a bibliometric study.”
____________________________
[3.8] DORA (la San Francisco Declaration on Research Assessment – http://am.ascb.org/dora/) è stata sottoscritta da 407 organizzazioni (comprese riviste come Science, Plos e PNAS) e 9.492 individui, vedi anche https://www.roars.it/dora/.
“1. Avoid using journal metrics to judge individual papers or
individuals for hiring, promotion and funding decisions.
2. Judge the content of individual papers and take into
account other research outputs, such as data sets, software
and patents, as well as a researcher’s influence on policy
and practice.”
Di seguito alcune delle 407 organizzazioni che hanno sottocritto DORA:
– American Association for the Advancement of Science (AAAS)
– American Society for Cell Biology
– British Society for Cell Biology
– European Association of Science Editors
– European Mathematical Society
– European Optical Society
– European Society for Soil Conservation
– Federation of European Biochemical Societies
– Fondazione Telethon
– Higher Education Funding Council for England (HEFCE)
– Proceedings of The National Academy Of Sciences (PNAS)
– Public Library of Science (PLOS)
– The American Physiological Society
– The Journal of Cell Biology
– Institute Pasteur
– https://www.roars.it :-)
– CNRS – University Paris Diderot
– INGM, National Institute of Molecular Genetics; Milano, Italy
– Université de Paris VIII, France
– University of Florida
– The European Association for Cancer Research (EACR)
– Ben-Gurion University of the Negev
– Université de Louvain
La mozione della Commissione Scientifica dell’Unione Matematica Italiana è stata riportata anche da ROARS:
https://www.roars.it/mozione-della-commissione-scientifica-dellunione-matematica-italiana/
tra l’altro firmata anche da Abate, e certamente non a sua insaputa, perchè l’UMI è sempre stata correttissima sotto questo punto di vista. È vero che la mozione riguarda soprattutto Asn e valutazione di singoli, ma si cita, sembra da un documento EMS: “il Comitato rileva un grave pericolo nell’uso abituale di misure bibliometriche e collegate per valutare la presunta qualità della ricerca matematica e il rendimento di individui o di piccoli gruppi di persone.”, frase applicabile certamente anche a VQR, in quanto tratta di “valutazione della qualità della ricerca”