ANVUR ha pubblicato l’elenco dei dipartimenti vincitori dei Ludi dipartimentali. In palio, 1,35 miliardi euro, ripartiti in tranche da 271 milioni di Euro annui per cinque anni. I dipartimenti vincitori riceveranno tra 1,1 e 1,6 milioni di euro annui più altri 250mila per le “scienze dure”. I dipartimenti del Centro-Nord si sono aggiudicati l’87% dei bollini di eccellenza, quelli del Sud ed Isole appena il 13%. Per avere una idea della sperequazione, basti pensare che le università del Sud e Isole rappresentano il 31% del corpo docente. Già a maggio 2017 avevamo previsto il risultato finale, anche i nomi di quasi tutti i dipartimenti vincenti. Ma non abbiamo capacità divinatorie, solo pazienza nell’interpretare gli astrusi algoritmi MIUR-ANVUR. Nei mesi successivi, in attesa di vedere se le previsioni sarebbero state confermate dal responso, non siamo stati con le mani in mano ed abbiamo chiesto, con le procedure prevista dalla legge Madia, di avere accesso ai dati di base per la costruzione dell’indicatore (ISPD) al fine di replicare i calcoli di ANVUR. Lo abbiamo chiesto a MIUR ed ANVUR. Il MIUR ci ha risposto che il titolare dei dati è ANVUR. ANVUR ha negato l’accesso ai dati perché coperti da privacy. Il MIUR sta distribuendo 1,35 miliardi senza che nessuno possa controllare la correttezza dei dati su cui è basata la distribuzione. Un ottimo esempio di trasparenza, o forse una delle declinazioni dello slogan secondo cui “la scienza non è democratica”: i dati sono buoni e corretti semplicemente perché li produce ANVUR? Perché Raffaele Cantone e l’ANAC non si preoccupano di questo anziché di pensare a chiudere le università del Sud? Per finire, ricordiamo che i soldi dei dipartimenti di eccellenza sono una voce del Fondo di Finanziamento Ordinario (FFO). Perché si possa parlare di un “premio” è necessario che l’FFO 2018 venga incrementato di 271 milioni rispetto al 2017. Dovremo attendere il Decreto FFO per sapere se c’è questo incremento o se invece i ludi dipartimentali si risolveranno in un semplice travaso di fondi presi dai perdenti e trasferiti ai vincenti.
1. A che serve una gara tra dipartimenti?
La gara, prevista dalla legge di stabilità 2017, assegna premi per complessivi 1,35 miliardi di euro, ripartiti in tranche da 271 milioni di Euro annui per cinque anni. I dipartimenti vincitori riceveranno un premio non indifferente (tra 1,1 e 1,6 milioni all’anno, cui vanno aggiunti 250mila euro per i dipartimenti che fanno riferimento alle “scienze dure”). È la prima volta che un premio non va all’ateneo, ma direttamente ad un dipartimento, che potrà usare questi soldi non solo per fare ricerca, ma anche per finanziare posti destinati a reclutamenti dall’esterno o a promozioni per i propri ricercatori. I dipartimenti perdenti saranno costretti a tentare di sopravvivere fino alla prossima gara. Ancor peggio, i dipartimenti vincenti potranno attrarre dai perdenti i loro ricercatori, promettendo carriera e risorse. I ludi dipartimentali, come li ha chiamati Umberto Izzo, metteranno in moto il ben noto “effetto San Matteo”: i dipartimenti ricchi diventeranno sempre più ricchi e quelli poveri si impoveriranno, alcuni verosimilmente fino alla consunzione.
Si tratta di una strategia ben chiara, eppure mai votata dal Parlamento e tantomeno dagli elettori. Sono stati i Renzi Boys che hanno rispolverato il programma del PD del 2008, che accoglieva le ricette thatcheriane proposte dagli economisti de La Voce.info, oggi ormai saldamente assisi in remunerative poltrone di governo e sottogoverno.
La logica sottostante è differenziare le università e creare “poli di eccellenza”. Lo si è tentato di fare con la valutazione all’italiana dell’ANVUR. Tutti i lettori di ROARS ricordano la famosa intervista di Sergio Benedetto, responsabile delle due VQR, in cui profeticamente dichiarava che alcuni atenei sarebbero stati chiusi:
Tutte le università dovranno ripartire da zero. E quando la valutazione sarà conclusa, avremo la distinzione tra researching university e teaching university. Ad alcune si potrà dire: tu fai solo il corso di laurea triennale. E qualche sede dovrà essere chiusa.
Verosimilmente Benedetto, nominato dalla ministra Gelmini, svelava ingenuamente, perché queste cose si fanno senza dichiararle, il mandato esecutivo ricevuto in modalità bipartisan: ridurre, sfrondare strategicamente il sistema universitario italiano.
Perché bipartisan? Perché l’obiettivo della riduzione del sistema universitaria era indicato anche nel programma per le elezioni del 2008 del PD che quelle elezioni le perse. Nel programma firmato da Veltroni e Enrico Morando (tenete a mente questo nome) si leggeva:
1. L’università deve essere un motore essenziale della mobilità sociale e della crescita.
a. Riduzione del numero di sedi universitarie e promozione della loro specializzazione in poche discipline, per raggiungere livelli di eccellenza.
b. Modernizzazione delle Università italiane, esaltando la loro autonomia finanziaria, introducendo forme sistematiche di valutazione efficace dell’utilizzo di risorse, incentivi e disincentivi, aumentando la competizione tra gli atenei. Vogliamo portare in 10 anni il trasferimento pubblico per l’università e la ricerca al livello dei Paesi più attivi e vitali nell’economia globale, ma far sì che una quota crescente, fino ad arrivare almeno 30%, sia trasferita tramite valutazione, avvalendosi dell’Agenzia Nazionale della Valutazione dell’Università e della Ricerca istituita dal Governo Prodi.
Malgrado gli sforzi e l’ingegneria numerica dispiegata da ANVUR e MIUR, la valutazione e le regole di ripartizione dell’FFO non hanno funzionato adeguatamente. Come abbiamo mostrato, l’FFO distribuisce infatti in modo premiale una quota minima di risorse. Ed ecco allora che i Renzi Boys, in primis l’inizialmente morandiano Nannicini, oggi fatalmente fra i più vicini a Matteo Renzi, si inventano i “dipartimenti di eccellenza”, un modo per concentrare risorse finanziarie in modo importante, e produrre artificiosamente “eccellenza” (qualsiasi cosa voglia dire).
2. Come si fa una gara tra lanciatori di freccette e saltatori in alto?
C’è un problema non da poco: come si fanno a individuare i dipartimenti eccellenti? Come si fa cioè a fare una gara tra un dipartimento di fisica e un dipartimento di filologia e glottologia? Lo strumento sarebbe disponibile (la VQR), ma ANVUR ha improvvidamente[1] scritto che quei risultati VQR non possono essere usati per comparare aree disciplinari diverse:
Tra le finalità della VQR non compare il confronto della qualità della ricerca tra aree scientifiche diverse. Lo sconsigliano i parametri di giudizio e le metodologie diverse di valutazione delle comunità scientifiche all’interno di ciascuna area (ad esempio l’uso prevalente della bibliometria in alcune Aree e della peer review in altre). […] Pertanto, le tabelle che per comodità di visualizzazione riuniscono nel rapporto i risultati delle valutazioni nelle varie aree non devono essere utilizzate per costruire graduatorie di merito tra le aree stesse.
Rapporto finale VQR 2011-2014, pag. 7
Ciò significa che sulla base della VQR si possono confrontare due dipartimenti di medicina, ma non si può mai pensare di comparare un dipartimento di medicina e un dipartimento di filosofia. Ancor meno si possono confrontare dipartimenti “misti”, per esempio, un dipartimento di filosofia non è confrontabile con un dipartimento di lettere e filosofia. Come è quindi possibile stilare una classifica che metta in fila dipartimenti di 14 aree diverse sulla base di dati che non lo permettono?
La soluzione tecnica ha origini a Firenze (nei telefilm della signora in giallo, tutto avviene a Cabot Cove; nelle vicende recenti dell’università italiana tutto o quasi avviene in un breve tratto dell’Arno tra Laterina e Firenze, passando ovviamente per Rignano e Montevarchi) dove il prof. Giacomo Poggi escogita la formula dell’ISPD (Indicatore Standardizzato di Performance Dipartimentale). Siamo nel 2014 e, alla sua nascita, l’indicatore viene denominato IPR. Frutto di una “collaborazione ANVUR-CRUI”, l’indicatore viene suggerito come strumento tecnico da usare nelle ripartizioni intra-ateneo “per distribuire ai Dipartimenti risorse non dipendenti dai costi della ricerca quali, ad esempio, i punti organico” (Il confronto basato sul Dipartimento Virtuale Associato e sul “Voto standardizzato). Alla sua prima uscita l’avevamo sperimentato con risultati alquanto bizzarri.
Ciò nonostante, i Renzi Boys devono essersi convinti che era finalmente a disposizione la formula capace di tramutare il piombo in oro, ovvero di trasformare dati sporchi e inadatti in una classifica “oggettiva” in cui, per magia, vengono accomunati saltatori di asta, maratoneti, velocisti, tuffatori e perfino giocatori di freccette. Deve essere proprio in virtù di questa convinzione che nella Legge di stabilità 2017 sono stati varati i “Ludi dipartimentali”. Nel testo di legge veniva attribuito ad Anvur il compito di elaborare un Indicatore standardizzato di performance dipartimentale (ISPD), il cui identikit combacia con quello dell’IPR varato tre anni prima.
In effetti, è proprio l’IPR che viene adottato come formula magica per le classifiche dipartimentali. Quando il MIUR ufficializza l’astrusa formula dell’ISPD, essa viene accolta con un misto di rassegnazione, scetticismo e ilarità.
È Lucio Bertoli Barsotti che riesce a decifrare l’enigma dell’ISPD, rendendolo comprensibile a tutti: si tratta di una gara truccata che punisce le aree di ricerca con i migliori risultati bibliometrici a livello mondiale e premia quelle che arrancano nel confronto internazionale. Per esempio, un prodotto classificato “eccellente” in Fisica nucleare e subnucleare (FIS-04), quando trattato con la formula ISPD vale di meno di un prodotto classificato come “discreto” in economia dei mercati finanziari (SECS-P11). Detto in altro modo: ai fini della classifica tra dipartimenti, un prodotto eccellente in diritto tributario (IUS-12) vale come 4,4 prodotti eccellenti in fisica nucleare e sub-nucleare.
L’apice dell’assurdo viene toccato dal confronto tra il punteggio attribuito a un prodotto giudicato di qualità “elevata” in FIS/04 e quello attribuito all’inattività, ovvero un prodotto “mancante”. Ebbene, un ricercatore che nel settore FIS/04 (Fisica nucleare e subnucleare) ha presentato un prodotto che, pur non essendo nel top 10% mondiale, è pur sempre nel top 30% riceve -1,26 punti, un punteggio peggiore di quello attribuito a un prodotto mancante in ben 29 settori:
ICAR/11; ICAR/17; ING-IND/01; ING-IND/02; ING-IND/29; ING-IND/30; MED/02; MED/18; MED/33; MED/41; MED/43; MED/44; M-PSI/06; M-PSI/07; M-PSI/08; SECS-P/04; SECS-P/06; SECS-P/07; SECS-P/08; SECS-P/09; SECS-P/10; SECS-P/11; SECS-P/13; SECS-S/02; SECS-S/03; SECS-S/04; SECS-S/05; SPS/07; SPS/11
La conseguenza è che i risultati di un dipartimento finiscono per dipendere dal particolare mix di settori disciplinari presenti al suo interno.
Per capire il punto basta fare un semplice esperimento. Consideriamo due dipartimenti mono area (area 13) di 3 persone ciascuno. Ogni docente ha presentato per la VQR due prodotti eccellenti, quindi ogni dipartimento ha prodotto 6 prodotti eccellenti. Ebbene, il Dipartimento B ha uno score ISPD più che doppio rispetto al Dipartimento A.
Una inconfutabile dimostrazione dei poteri magici dell’ISPD, che a questo punto potremmo venir letto anche come: Indice Strategico per Produrre arbitrarie Differenze.
3. Una VQR dai piedi di argilla
Va da sé che la formula magica per l’ISPD, oltre ad avere i suoi problemi, non attenua minimamente gli errori che rendono i dati VQR fragilissimi. Ne abbiamo parlato più volte su Roars, ma forse è il caso di ricordarlo di nuovo.
- Nella aree bibliometriche la VQR adotta un metodo di valutazione duale: in parte bibliometrico, in parte fondato sulla peer review. I due metodi danno risultati di valutazione diversi. Tanto maggiore la quota di peer review, tanto più bassa la valutazione. Quindi, per ogni dipartimento i risultati di sintesi della valutazione dipendono dalla quantità di prodotti che sono valutati in peer review. E questo non ha nulla a che vedere con la qualità della ricerca prodotta.
- Nella aree bibliometriche è stata usata una metodologia di valutazione, le cravatte bibliometriche, metodologicamente errata. Essa non solo induce distorsioni non controllabili sui dati, ma ha anche una capacità di individuare la performance in termini di impatto della ricerca che è molto inferiore al semplice conteggio delle citazioni.
- La VQR è uno strumento pensato per un certo obiettivo, ma lo si usa per fare altro. Se n’era accorto il matematico Giuseppe Mingione: se uno ha in mente di valutare l’eccellenza di un dipartimento non può certo limitarsi a guardare due prodotti per ogni ricercatore (pardon, addetto alla ricerca). Uno star scientist, circondato in dipartimento da qualche strutturato “mediocre” o “scarso”, sarà completamente invisibile nella VQR. Semplicemente perché il disegno dell’esercizio VQR non è concepito per individuare e premiare la mitica “eccellenza”. Come è possibile dunque individuare i dipartimenti “eccellenti” sulla base di dati che non individuano la ”eccellenza”? In via Ippolito Nievo vorrebbero far credere che i “poteri magici” della formula sanano anche questo vizio di fondo.
Riassumendo: la formula dell’ISPD di ANVUR-MIUR-CRUI dovrebbe avere lo straordinario potere di trasformare il piombo in oro, di trasformare cioè dati sporchi, distorti ed inadatti in una classifica “oggettiva” da cui emergono 350 dipartimenti “quasi eccellenti”, da cui poi una commissione seleziona i 180 “davvero eccellenti”.
4. Il paradosso dei gemelli
L’ISPD offre ascensori del tutto particolari per volare nell’empireo dell’eccellenza. Fusioni e scissioni di dipartimenti possono avere effetti miracolosi sul valore finale dell’ISPD.
Si consideri il caso del dipartimento di fisica di Trento che ha superato la prima fase con voto 92/100, ma è poi finito nella lista dei perdenti. Negli ultimi dieci anni, i suoi ricercatori hanno occupato il tempo studiando come inviare Lisa-pathfinder nello spazio. Se invece di tener fisso lo sguardo alle stelle, lo avessero diretto su questioni più prosaiche, ma decisive per l’eccellenza in salsa italiana, avrebbero potuto fondersi con un “dipartimento gemello” come il dipartimento di matematica: stesso voto 92/100 e dimensioni circa uguali. Come avevamo scritto a suo tempo, grazie ai prodigi dell’ISPD, dall’unione dei due dipartimenti gemelli sarebbe scaturito un dipartimento di matematica e fisica con ISPD=98/100, che sarebbe entrato trionfalmente nell’empireo della “eccellenza”. Infatti, l’ISPD permette di scalare la classifica senza alcun miglioramento della qualità della ricerca, semplicemente mettendo mano a un esercizio di prestidigitazione fondato sull’abilità nel miscelare la composizione dei settori disciplinari in seno a una struttura dipartimentale.
Mentre Trento è restato fuori , il migliore dipartimento di fisica d’Italia è risultato essere il dipartimento Neuroscienze, imaging e scienze cliniche di Chieti-Pescara. Il dipartimento ad oggi risulta composto da fisici, biologi, medici, psicologi, studiosi di scienze aziendali, giuristi, docenti di metodi matematici dell’economia e di metodi e didattiche delle attività motorie. Da notare, particolare a questo punto anche secondario, che presso l’ateneo di Chieti-Pescara è assente il corso di laurea in fisica.
5. Gara a porte blindate
Una volta messa a punto la formula i Ludi possono iniziare.
Come i lettori di Roars sanno, la gara tra dipartimenti avviene in due fasi. Nella prima fase sono stati selezionati 350 dipartimenti sui 800 italiani sulla base dell’ISPD. Nella seconda fase sono invece stati scelti i vincitori, sulla base di un punteggio complessivo in cui l’ISPD conta per il 70%, mentre il restante 30% è assegnato da una commissione di sette componenti, che giudica i progetti presentati dai dipartimenti che hanno superato la prima fase.
La prima fase del combattimento nell’arena si è svolta a porte chiuse, nel senso che sono stati pubblicati i risultati, ma nessuno ha potuto assistere e i cruenti duelli sono rimasti segreti. Fuor di metafora: i 352 dipartimenti (invece dei 350 previsti dalla legge – qui il rischio degli sciamani anvuriani si è rivelato giusto, perché nessuno avrebbe impugnato un allargamento destinato evidentemente a rimettere in carreggiata due dipartimenti che non potevano soccombere) sono stati selezionati sulla base di dati e calcoli che non è stato e non è tutt’ora possibile verificare e controllare, perché, semplicemente, questi dati ANVUR rifiuta di renderli disponibili invocando la disciplina dei dati personali (come se non fossero escogitabili, sol che si volesse, accorgimenti in grado di neutralizzare questo timore legalistico che paralizza i burocrati di via Ippolito Nievo, e come se non esistesse nella fattispecie un interesse all’accesso ai dati capace di controbilanciare i vulnera alla protezione dei dati personali dei partecipanti alla VQR).
Abbiamo fatto richiesta di accesso agli atti utilizzando la procedura FOIA (chissà se la ministra Madia ci legge) separatamente nei confronti di MIUR e ANVUR. MIUR ha risposto che il trattamento dei dati è compito di ANVUR. ANVUR ha risposto che non rende pubblici i dati [il grassetto è nostro]:
SINTESI DELLA RISPOSTA NEGATIVA DELL’ANVUR
Si fa riferimento alla richiesta di accesso civico generalizzato trasmesso dalla S.V. in data 4 agosto 2017 concernente l’acquisizione dei dati utilizzati nell’ambito della procedura di cui all’art. 1, commi 314-337, della legge n. 232/2016, con la finalità di riprodurre e verificare la correttezza dell’indicatore (ISPD) utilizzato per la predisposizione dell’elenco dei dipartimenti di cui al comma 320 del citato articolo. Sulla base degli approfondimenti effettuati, si comunica che non è possibile accogliere la richiesta di accesso civico generalizzato avanzata dalla SV, in quanto, ai sensi di quanto previsto dall’art. 5- bis, comma 2, lett. a) del d.lgs n.33/2013, verrebbe arrecato pregiudizio concreto alla protezione dei dati personali di singoli docenti e ricercatori in conformità alla disciplina legislativa in materia.Infatti, tenuto conto che è possibile risalire alla valutazione conseguita dal singolo docente/ricercatore nel caso lo stesso appartenga a settori scientifici disciplinari composti da un numero limitato di membri per ogni dipartimento, l’ostensione dei dati richiesti consentirebbe, in un terzo dei casi, l’associazione della valutazione al singolo docente/ricercatore che vedrebbe pertanto leso il suo diritto all’anonimato.
[…]
Va precisato, altresì, che qualora si omettesse l’ostensione dei dati per un terzo dei prodotti, nel rispetto delle disposizioni in materia di protezione dei dati personali, verrebbe meno la possibilità di riprodurre e verificare la correttezza dell’indicatore (ISPD), obiettivo per il quale è stata avanzata la richiesta di accesso agli atti.
A puro titolo di ipotesi, immaginiamo qualcuno abbia alterato, per errore o per altre ragioni, il voto ISPD di un dipartimento causandone l’esclusione oppure facilitandone la vittoria del premio. Ebbene, se come riconosce l’ANVUR, non è possibile “riprodurre e verificare la correttezza dell’indicatore (ISPD)“, questa alterazione non verrà mai alla luce.
Va anche aggiunto che alcuni dei dati essenziali per il calcolo dell’ISPD erano contenuti nelle Tabelle di area della VQR 2011-2014. In almeno tre casi (Area 11a, Area 11b, Area 13), i file originali, pubblicati il 21.02.2017, non sono più presenti sul sito dell’ANVUR, che li ha sostituiti ex post con file la cui data di creazione è posteriore. Per esempio, consideriamo il file:
http://www.anvur.org/rapporto-2016/files/Area13/VQR2011-2014_Area13_Tabelle.pdf
Basta aprirne le proprietà per scoprire che la data di ultima modifica è 21 aprile 2017, tre mesi dopo la data ufficiale di pubblicazione dei risultati della VQR e meno di un mese prima della pubblicazione degli ISPD.
Quando Laura Margottini sul Fatto Quotidiano aveva denunciato l’avvenuta alterazione dei file originali, ANVUR aveva reagito sostenendo che trattava modifiche minori che non avevano toccato i voti. Essendo però scomparsi i file originali, la rassicurazione non era riscontrabile.
Nella sostanza, nessuna verifica esterna è al momento possibile e stiamo distribuendo 1,35 miliardi sulla fiducia.
5. Specchio delle mie brame chi è il più “eccellente” del reame?
Nella seconda fase della gara, i 352 “quasi eccellenti” si sono contesi i 180 premi a disposizione. Le regole bizantine della gara sono pressoché inaccessibili ai profani. C’è una commissione nominata dalla ministra Fedeli, il cui presidente è la Rettrice di una università privata, la LUISS. Queste le regole del gioco:
un punteggio da 1 a 100, di cui 70 punti sono attribuiti in base all’ISPD del singolo dipartimento e 30 punti sono attribuiti in base al progetto dipartimentale di sviluppo
La seconda parte della gara si è svolta in 14 gironi. Uno per ogni area CUN. Il MIUR ha stabilito, dopo aver visto la classifica ISPD, quanti premi assegnare a ciascuna area, seguendo queste indicazioni:
Il numero dei dipartimenti finanziati, con riferimento a ciascuna delle 14 aree disciplinari del CUN, non può essere inferiore a 5 né superiore a 20. La suddivisione del numero dei dipartimenti finanziati, con riferimento a ciascuna delle 14 aree disciplinari del CUN, è stabilita, nel limite delle risorse economiche di cui all’articolo 43, con il decreto di cui al comma 1 del presente articolo, e tenuto conto:
a) della numerosità della singola area disciplinare, in termini di dipartimenti ad essa riferibili;
b) di criteri informati ad obiettivi di crescita e miglioramento di particolari aree della ricerca scientifica e tecnologica italiana.
Le altre regole della gara prevedevano che in ogni ateneo il miglior dipartimento, il c.d. “campione di ateneo”, avrebbe dovuto essere finanziato, e che non avrebbero potuto essere finanziati più di 15 dipartimenti per ateneo.
Sulla base di queste regole bizantine avevamo a suo tempo simulato i risultati della gara con un articolo eloquentemente intitolato “Al Centro-Nord 87% dei fondi. De profundis per Sud e Isole“. Scrivevamo:
Abbiamo provato a simulare i torneo fino alla determinazione dei 180 vincitori. I dipartimenti del Centro-Nord si aggiudicheranno l’87% delle risorse pari a quasi 1,2 miliardi di € in cinque anni; al Sud ed Isole resterà il 13%, cioè complessivamente circa 180 milioni in cinque anni. Per avere una idea della sperequazione della distribuzione dei finanziamenti basti pensare che le università del Sud e Isole rappresentano il 31% del corpo docente, e che quindi la quota di finanziamento premiale sarà meno della metà rispetto al peso di Sud e isole in termini di docenti.
Qualcuno avrà forse pensato che si trattava di una previsione azzardata, tanto più che l’ex-presidente ANVUR Andrea Graziosi aveva spiegato alla giornalista di report Giulia Presutti che la commissione “avrà largo margine” nella seconda fase.
Peccato che le nostre previsioni fossero esatte quasi al 100%. Si tratta di una caso di preveggenza o semplicemente la commissione si è tenuta largo margine solo per pochi eccellenti casi?
5. Conclusioni?
Quando sono stati annunciati i risultati, alcuni rettori del Sud hanno pianto lacrime di coccodrillo. Come era possibile immaginare che potesse accadere altrimenti? Tutto era ampiamente previsto e voluto.
Per finire, ricordiamo che i soldi dei dipartimenti di eccellenza sono una voce del Fondo di Finanziamento Ordinario (FFO). Perché si possa parlare di un “premio” è necessario che l’FFO 2018 venga incrementato di 271 milioni rispetto al 2017. Ma di stanziamenti aggiuntivi all’FFO nella legge di stabilità non c’è traccia esplicita; o almeno noi non siamo riusciti a trovare una indicazione certa sull’ammontare dell’FFO 2018 (ci piacerebbe essere smentiti). Quindi per sapere se i fondi per i dipartimenti di eccellenza saranno aggiuntivi o sottrarranno risorse al resto dell’università non si può fare altro che attendere il Decreto FFO.
Nel frattempo, state sereni.
__________
[1] “Improvvidamente” perché la comunità accademica italiana è talmente abbagliata dalle luccicanti perline della “valutazione oggettiva” ed è talmente posseduta dal desiderio di adornarsi della paccottiglia ricevuta, che avrebbe accettato qualsiasi criterio che le avesse permesso di esibire una qualsiasi classifica di cui menare vanto e da cui far discendere risorse in grado – questo sì – di fare la differenza sul medio periodo.
“… la comunità accademica italiana è talmente abbagliata dalle luccicanti perline della “valutazione oggettiva” ed è talmente posseduta dal desiderio di adornarsi della paccottiglia ricevuta, che avrebbe accettato qualsiasi criterio che le avesse permesso di esibire una qualsiasi classifica di cui menare vanto …”.
E’ proprio così. Questo significa che ci siamo meritati la bibliometria, la VQR, l’ANVUR, la classifica delle riviste e naturalmente, l’eccellenza. Significa anche che sarà molto difficile uscire dalla palude.
Spero ancora che saremo salvati dagli americani. Certamente la maggioranza dei giovani matematici italiani sarà spinta a lavorare sui problemi più di moda accodandosi a qualche scuola di successo, ma ci sarà pure qualche ambizioso che aspira ad un vero riconoscimento internazionale e che si farà guidare dalla sua curiosità aprendo così nuove strade. Il mondo matematico internazionale (cioè nei fatti gli americani) sarà pronto a riconoscere e a premiare la vera originalità, ed il vero “impatto”. E’ già successo che ricerca scientifica che non superava le “mediane” per l’abilitazione di seconda fascia, è stata premiata con un invito a parlare al ICM (International Congress of Mathematics). Chissà forse nel futuro vedremo una field medal italiana bocciata ad un’abilitazione di seconda fascia per non aver superato le “soglie”.
E’ talmente abbagliata che adesso si permette anche di suggerire della modifiche all’ASN per superare il problema dei 40.000 abilitati che non riescono a collocarsi e di fatto legittimando tutto il lavoro dell’ANVUR. Ormai questi criteri hanno prodotto una vera e propria spaccatura tra accademici e sopratutto sull’approccio alla produzione scientifica.
Alessandro Figà Talamanca, la tua affermazione
“Il mondo matematico internazionale (cioè nei fatti gli americani)….”
mi risulta completamente incomprensibile.
si qualcuno si fa abbagliare dalle luccicanti perline dell’Anvur, e qualcun altro continua a farsi abbagliare dalle perline americane. America è una categoria dello spirito..tale abbaglio è alla base di tutte le storture della metrica. Tutti ad invocare l’AmmeriKa, come se non fosse piena di storture, sacche di ingnoranza abissale e mitologie varie (vedasi i vari Giavazzi). Ovviamente conosco e riconosco il valore xi AFT, che leggo da decenni..
Se guardiamo ai riconoscimenti principali in matematica, vediamo che, essenzialmente, essi si equipartiscono tra Stati Uniti ed Europa. Con una certa prevalenza di quest’ultima. Poi è chiaro che come singola nazione gli Stati Uniti sono matematicamente superiori a tutte le altre. Per forza, sono molto più grandi di tutte le altre.
Veniamo all’uso della bibliometria. In matematica, come in tutte le altre discipline, non ci sono grossi risultati che su un arco temporale di una decina d’anni non diventino molto citati (primo 1%). Insieme magari ad altri che così importanti non sono (ma le distorsioni esistono ovunque, anche nei contesti ritenuti di eccellenza). Poi spesso il concetto di eccellenza varia da sottocomunità a sottocomunità. Quindi la bibliometria rileva la grossa qualità e riesce a volte ad essere più “democratica” di altri criteri, che invece spesso finiscono per diventare autoreferenziali (“è buono perché lo diciamo noi e basta”). Questo forse contribuisce a non renderla simpatica a molte persone.
La mia critica all’uso della bibliometria fatto da ANVUR sta anche nel fatto la valutazione viene fatta su un periodo temporale troppo recente, nel quale essa non dà risultati che non si confondano con fluttuazioni statistiche (1/2/3 anni sono davvero troppo pochi) o, per le basse soglie utilizzate, truccabili. Non solo, la bibliometria funziona bene quando va a valutare le code (autori poco citati, autori molto citati) e funziona bene quando viene usata congiuntamente ad altri indicatori in un paniere equilibrato; in questo senso non si dovrebbe mai farne a meno. Nel mezzo, torniamo di nuovo alla fluttuazione statistica e truccabilità (il falso problema delle autocitazioni si sente sui valori medi, praticamente mai su quelli alti o bassissimi). Altro motivo per cui i criteri ANVUR non possono essere usati per fare valutazioni personali.
Allora perché questo accanimento contro la bibliometria? Per vari motivi. Innanzitutto il sempiterno fastidio per ogni forma di riconoscimento altrui. Poi perché l’uso della bibliometria rompe alcuni schemi autoreferenziali consolidati. Eh sì, perché dovremmo ricordarci che per decenni nella Matematica italiana ma non solo, è stata in uso l’abitudine di dichiarare l’opera di alcuni alcuni autori fondamentale, quando fondamentale non era, ma era tutt’altro. L’uso della bibliometria avrebbe evitato certe situazioni, avrebbe almeno fatto sorgere delle domande, che invece non si sono mai poste. Da questi vizi ho l’impressione che gli americani non ci salveranno. Da questi ci dovremo salvare da noi.
Giuseppe Mingione: “Allora perché questo accanimento contro la bibliometria? Per vari motivi. Innanzitutto il sempiterno fastidio per ogni forma di riconoscimento altrui.”
______________
Viene da sospettare che certe valutazioni derivino da vicende personali. Ammettiamo (per pura ipotesi) che ad un certo punto della mia carriera io non sia stato valutato equamente. Non per questo diventano più sensate valutazioni stregonesche solo perché in quel momento (o dopo o anche oggi) avrebbero impedito (forse!) delle ingiustizie che ho subito. E nemmeno ha senso ritenere che un criterio sia buono per la semplice ragione che evidenzia la mia eccellenza. Io stesso sono discretamente citato (anche se non “Highly Cited” come Mingione) ma non mi metto a difendere criteri fallati. Anzi, non sentendomi poi così eccellente, ho una ragione in più per dubitarne. Se pensiamo alla matematica, rileggiamo quello che ha scritto Douglas N. Arnold:
______________
“The next time you are in a situation where a publication count, or a citation number, or an impact factor is brought in as a measure of quality, raise an objection. Let people know how easily these can be, and are being, manipulated. We need to look at the papers themselves, the nature of the citations, and the quality of the journals.”
http://www.siam.org/news/news.php?id=1663
______________
“We primarily discussed one extreme example, but
there is little reason to doubt that such techniques
are being used to a lesser—and therefore less easily
detected—degree by many journals. The cumula-
tive result of the design flaws and manipulation is
that impact factor gives a very inaccurate view of
journal quality. More generally, the citations that
form the basis of the impact factor and various
other bibliometrics are inherently untrustworthy.”
http://www.ams.org/notices/201103/rtx110300434p.pdf
______________
Ha senso pensare che la ragione per cui Douglas N. Arnold (https://en.wikipedia.org/wiki/Douglas_N._Arnold) ha voluto metterci in guardia sia “il sempiterno fastidio per ogni forma di riconoscimento altrui”? Mi sembra che non avesse proprio nessuna ragione di essere invidioso dei colleghi.
Che dire poi del Premio Nobel per la Chimica Richard Ernst? Anche lui invidioso?
______________
“Bibliometrics may indeed turn out to become the ultimate tombstone of veritable science.
And as an ultimate plea, the personal wish of the author remains to send all bib- liometrics and its diligent servants to the darkest omnivoric black hole that is known in the entire universe, in order to liberate academia forever from this pestilence. – And there is indeed an alternative: Very simply, start reading papers instead of merely rating them by counting citations!”
https://www.ethz.ch/content/dam/ethz/special-interest/chab/chab-dept/department/images/Emeriti/richard_ernst/Publications/Ernst-Follies-Bibliometrics-Chimia-64-90-2010.pdf
______________
E la Nobel Foundation?
https://www.roars.it/conta-la-ricerca-non-la-rivista-anvur-smentita-da-12-premi-nobel/
______________
Tutti invidiosi dei riconoscimento altrui? Suvvia, siamo seri.
Giuseppe De Nicolao, non capisco a quali vicende personali tu stia alludendo. Metterla sul personale è sempre poco elegante e francamente sconsiglio. Prima di criticare la bibliometria tout court forse bisognerebbe conoscere meglio come può essere usata, e non attaccare in toto citando sempre i due/tre casi singolari o i due/tre opinionisti. E prima di fare ipotesi sulla genesi di certe mie affermazioni forse si dovrebbe pensare a tutte quelle volte che le stesse sono state abbondantemente usate e citate quando dovevate costruire attacchi frontali all’anvur. Si rischia di cadere nell’ideologia, che è poi per alcuni il vero punto debole di Roars ed il motivo per cui Roars non viene adeguatamente riconosciuta in certi contesti; un difetto correggibile.
Arnold può avere un’opinione, io un’altra. Certamente non posso non notare che lo stesso Arnold esibisce in bella mostra nel suo CV, tra i riconoscimenti principali (“Selected honors”), proprio quello di highly cited
http://www-users.math.umn.edu/~arnold/vita.pdf
Forse perché in un certo uso accorto della bibliometria quale ausilio per fare valutazioni crede anche lui. Come pure credono i moltissimi matematici che la usano anche nelle varie competition, insieme, come scrivevo sopra, ad altri indicatori. Meglio toccare le cose con mano che pescare clip da youtube.
E di nuovo, metodi perfetti non esistono, ma non posso non ricordare, come ho scritto prima, i tempi quando senza bibliometria si dichiarava l’eccellenza di lavori che poi il tempo ha rivelato essere autentici flop, lavori che poi sono serviti a selezionare alcuni ed escludere altri (e qui non mi riferisco a realtà italiane, ma davvero ad una prassi internazionale).
E rimane il fatto che ho scritto sopra. Su una distanza di una decina di anni, tempo che comincia ad essere adeguato per una valutazione bibliometrica, nessuno grosso risultato in Matematica non risulta essere molto citato. Cosa che mi pare non essere molto stregonesca.
Giuseppe Mingione: “forse bisognerebbe conoscere meglio come può essere usata, e non attaccare in toto citando sempre i due/tre casi singolari o i due/tre opinionisti.”
_______________
Temo che gli opinionisti siano ben più di due o tre:
_______________
D.L. Parnas, “Stop the Numbers Game – Counting papers slows the rate of scientific progress,” Communications of the ACM, Vol. 50, No. 11, 2007, pp. 19-21.
http://ce.sharif.edu/%7Eghodsi/PaP/stop_the_number_game.pdf
“The widespread practice of counting publications without reading and judging them is fundamentally flawed for a number of reasons: It encourages superficial research … overly large groups … repetition … small, insignificant studies … publication of half-baked ideas.
Evaluation by counting the number of published papers corrupts our scientists; they learn to “play the game by the rules.” Knowing that only the count matters, they use the following tactics: Publishing pacts. … Clique building … Anything goes … Bespoke research …Minimum publishable increment (MPI). ….Organizing workshops and conferences …
Those who want to see computer science progress and contribute to the society that pays for it must object to rating-by-counting schemes every time they see one being applied”
____________________________
A. Molinié and G. Bodenhausen, “Bibliometrics as Weapons of Mass Citation”, Chimia 64 No. 1/2 (2010) 78–89
http://www1.chimie.ens.fr/Resonance/papers/2010/Molinie-Bodenhausen-Bibliometrics-Chimia-64-78-2010.pdf
“Just as the ‘value’ of financial products is assessed by irresponsible ranking agencies, the value of scientific research is as- sessed by ill-conceived parameters such as citation indices, h-factors, and worst of all, impact factors of journals… ‘Judging the ability of a scientist by his h- factor amounts to choosing wine according to the price of the bottle, Swiss cheese by measuring the size of its holes, and choco- late by its sugar content.’”
____________________________
D. Colquhoun, “Publish-or-perish: Peer review and the corruption of science,” The Guardian, September 5, 2011
http://www.guardian.co.uk/science/2011/sep/05/publish-perish-peer-review-science?fb=optOut
“To have “written” 800 papers is regarded as something to boast about rather than being rather shameful. … The way to improve honesty is to remove official incentives to dishonesty.”
____________________________
Joint Committee on Quantitative Assessment of Research, Citation Statistics – A report from the International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS), Robert Adler, John Ewing (Chair), Peter Taylor, released: 6 November 2008, corrected version: 6 December 08
http://www.iciam.org/QAR/CitationStatistics-FINAL.PDF
“Thus, while it is incorrect to say that the impact factor gives no information about individual papers in a journal, the information is surprisingly vague and can be dramatically misleading….Once one realizes that it makes no sense to substitute the impact factor for individual article citation counts, it follows that it makes no sense to use the impact factor to evaluate the authors of those articles, the programs in which they work, and (most certainly) the disciplines they represent.”
____________________________
Higher Education Funding Council for England (HEFCE), Report on the pilot exercise to develop bibliometric indicators for the Research Excellence Framework , released: September 2009.
http://www.hefce.ac.uk/pubs/hefce/2009/09_39/
“Key points. 8. Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF. However there is considerable scope for citation information to be used to inform expert review. 9. The robustness of the bibliometrics varies across the fields of research covered by the pilot, lower levels of coverage decreasing the representativeness of the citation information. In areas where publication in journals is the main method of scholarly communication, bibliometrics are more representative of the research undertaken.“
____________________________
House of Commons, Science and Technology Committee, Peer review in scientific publications, Eighth Report of Session 2010–12, released: 28 July 2011.
http://www.publications.parliament.uk/pa/cm201012/cmselect/cmsctech/856/856.pdf
“David Sweeney [Director HEFCE]: With regard to our assessment of research previously through the Research Assessment Exercise and the Research Excellence Framework, we are very clear that we do not use our journal impact factors as a proxy measure for assessing quality. Our assessment panels are banned from so doing. That is not a contentious issue at all.
Sir Mark Walport: I would agree with that. Impact factors are a rather lazy surrogate. We all know that papers are published in the “very best” journals that are never cited by anyone ever again. Equally, papers are published in journals that are viewed as less prestigious, which have a very large impact. We would always argue that there is no substitute for reading the publication and finding out what it says, rather than either reading the title of the paper or the title of the journal.
Professor Rylance: I would like to endorse both of those comments. I was the chair of an RAE panel in 2008. There is no absolute correlation between quality and place of publication in both directions. That is you cannot infer for a high-prestige journal that it is going to be good but, even worse, you cannot infer from a low-prestige one that it is going to be weak. Capturing that strength in hidden places is absolutely crucial.
Q256 Stephen Mosley: … a concern that the Research Excellence Framework panels in the next assessment in 2014 might not operate in the same way. Can you reassure us that they will be looking at and reading each individual paper and will not just be relying on the impact?
David Sweeney: I can assure you that they will not be relying on the impact. The panels are meeting now to develop their detailed criteria, but it is an underpinning element in the exercise that journal impact factors will not be used. I think we were very interested to see that in Australia, where they conceived an exercise that was heavily dependent on journal rankings, after carrying out the first exercise, they decided that alternative ways of assessing quality, other than journal rankings, were desirable in what is a very major change for them, which leaves them far more aligned with the way.”
____________________________
Kim Carr (Australian Minister for Innovation, Industry, Science and Research), Ministerial statement to the Senate Economics Legislation Committee – Improvements to Excellence in Research for Australia (ERA), May 30, 2011.
http://minister.innovation.gov.au/carr/mediareleases/pages/improvementstoexcellenceinresearchforaustralia.aspx
“There is clear and consistent evidence that the [journal] rankings were being deployed inappropriately within some quarters of the sector, in ways that could produce harmful outcomes, and based on a poor understanding of the actual role of the rankings. One common example was the setting of targets for publication in A and A* journals by institutional research managers.In light of these two factors – that ERA could work perfectly well without the rankings, and that their existence was focussing ill-informed, undesirable behaviour in the management of research – I have made the decision to remove the rankings, based on the ARC’s expert advice.”
____________________________
Code of Practice – European Mathematical Society, p. 5
http://www.euro-math-soc.eu/system/files/COP-approved.pdf
“1. Whilst accepting that mathematical research is and should be evaluated by appropriate authorities, and especially by those that fund mathematical research, the Committee sees grave danger in the routine use of bibliometric and other related measures to assess the alleged quality of mathematical research and the performance of individuals or small groups of people.
2. It is irresponsible for institutions or committees assessing individuals for possible promo- tion or the award of a grant or distinction to base their decisions on automatic responses to bibliometric data.”
____________________________
On the use of bibliometric indices during assessment – European Physical Society, p. 2
http://www.eps.org/news/94765/
“The European Physical Society, in its role to promote physics and physicists, strongly recommends that best practices are used in all evaluation procedures applied to individual researchers in physics, as well as in the evaluation of their research proposals and projects. In particular, the European Physical Society considers it essential that the use of bibliometric indices is always complemented by a broader assessment of scientific content taking into account the research environment, to be carried out by peers in the framework of a clear code of conduct.”
____________________________
Du Bon Usage de la Bibliometrie pour l’Évaluation Individuelle des Chercheurs”- Institut de France, Académie des Sciences, p. 5
http://www.academie-sciences.fr/activite/rapport/avis170111gb.pdf
“Any bibliometric evaluation should be tightly associated to a close examination of a researcher’s work, in particular to evaluate its originality, an element that cannot be assessed through a bibliometric study.”
____________________________
DORA (la San Francisco Declaration on Research Assessment – http://am.ascb.org/dora/) è stata sottoscritta da 407 organizzazioni (comprese riviste come Science, Plos e PNAS) e 9.492 individui, vedi anche https://www.roars.it/dora/.
“1. Avoid using journal metrics to judge individual papers or
individuals for hiring, promotion and funding decisions.
2. Judge the content of individual papers and take into
account other research outputs, such as data sets, software
and patents, as well as a researcher’s influence on policy
and practice.”
Di seguito alcune delle 407 organizzazioni che hanno sottocritto DORA:
– American Association for the Advancement of Science (AAAS)
– American Society for Cell Biology
– British Society for Cell Biology
– European Association of Science Editors
– European Mathematical Society
– European Optical Society
– European Society for Soil Conservation
– Federation of European Biochemical Societies
– Fondazione Telethon
– Higher Education Funding Council for England (HEFCE)
– Proceedings of The National Academy Of Sciences (PNAS)
– Public Library of Science (PLOS)
– The American Physiological Society
– The Journal of Cell Biology
– Institute Pasteur
– https://www.roars.it
– CNRS – University Paris Diderot
– INGM, National Institute of Molecular Genetics; Milano, Italy
– Université de Paris VIII, France
– University of Florida
– The European Association for Cancer Research (EACR)
– Ben-Gurion University of the Negev
– Université de Louvain
__________________
IEEE: “Any journal-based metric is not designed to capture qualities of individual papers and must therefore not be used as a proxy for single-article quality or to evaluate individual scientists”
(IEEE statement on correct use of bibliometrics, http://www.ieee.org/publications_standards/publications/pubnews/vol6issue3/vol6_issue3_index.html
__________________
Académie des Sciences, Leopoldina e Royal Society 2017:
https://royalsociety.org/~/media/policy/Publications/2017/08-12-2017-royal-society-leopoldina-and-academie-des-sciences-call-for-more-support-for-research-evaluators.pdf
“There is a serious danger that undue emphasis on bibliometric indicators will not only fail to reflect correctly the quality of research, but may also hinder the appreciation of the work of excellent scientists outside the mainstream; it will also tend to promote those who follow current or fashionable research trends, rather than those whose work is highly novel and which might produce completely new directions of scientific research. Moreover, over- reliance on citations as a measure of quality may encourage the formation of aggregates of researchers (or “citation clubs”) who boost each others citation metrics by mutual citation. It thus becomes important to concentrate on better methods of evaluation, which promote good and innovative scientific research. […] Evaluations must be based under all circumstances on expert assessment of scientific content, quality and excellence. Publications that are identified by the authors as their most important work, including major articles and books, should receive particular attention in the evaluation. The simple number of publications should not be a dominant criterion.”
Per quanto poi riguarda gli inviti alla serietà, meglio lasciar perdere. Sarebbe infatti gradevole sapere come si possano effettuare valutazioni massive (di strutture, non personali) “leggendo i lavori”, lo slogan sbandierato a destra e manca su Roars e altrove, slogan efficace perché ottimo per bloccare tutto. Chiunque lavora attivamente oggi sa che a stento è rimasto tempo per leggere i lavori ai quali siamo davvero interessati, figuriamoci quelli degli altri non immediatamente utili al nostro lavoro. E chiunque faccia parte di qualche editorial board sa benissimo che sta diventando impossibile trovare referee che se li leggano con attenzione, i lavori presentati alla rivista, al punto che tutto il meccanismo della revisione tra pari sembra ormai scarsamente affidabile. Figuriamoci trovare, in un colpo solo e in pochi mesi, migliaia di referee, e per giusta competenti, autorevoli e senza conflitto di interessi, che “leggano” tutti questi lavori. E non si venisse a dire che fuori si fa così, perché nella realtà così non si fa. A quel punto, su larga scala la bibliometria diventa più affidabile, se naturalmente usata con cura, come descrivevo sopra. Da dove arriva tutta questa valanga di lavori? Appunto dai metodi di valutazioni usati adesso, che prescrivono di far presentare a tutti lo stesso numero di lavori, ogni quattro anni, e facendo conteggi su soglie basse. Il problema è lì, e non si risolve attaccando ideologicamente la bibliometria (riportando confuse opinioni non quantitative), che invece può essere molto utile se usata bene. Sempre che il problema sia la bibliometria e non il concetto di valutazione in sé, a molti sgradito.
Giuseppe Mingione: “Sarebbe infatti gradevole sapere come si possano effettuare valutazioni massive (di strutture, non personali) “leggendo i lavori […] E non si venisse a dire che fuori si fa così, perché nella realtà così non si fa.”
____________
Ci sono in pratica solo due nazioni che effettuano valutazioni massive: il Regno Unito con il REF e l’Italia con la VQR. E “nella realtà” il REF non usa la bibliometria, ma legge i lavori:
____________
“Analysis concluded that no metric can currently provide a like-for-like replacement for REF peer review”
http://www.hefce.ac.uk/data/year/2009/Report,on,the,pilot,exercise,to,develop,bibliometric,indicators,for,the,Research,Excellence,Framework,/
Giuseppe Mingione: “E chiunque faccia parte di qualche editorial board sa benissimo che sta diventando impossibile trovare referee che se li leggano con attenzione, i lavori presentati alla rivista, al punto che tutto il meccanismo della revisione tra pari sembra ormai scarsamente affidabile”
______________
… e di conseguenza anche gli indicatori bibliometrici, soprattutto se si tiene conto che il meccanismo delle citazioni fa entrare in gioco anche quelle provenienti da situazioni in cui la peer review può collocarsi ai limiti inferiori dell’affidabilità.
Mi pare una “contesa” tra persone che la potrebbero pensare allo stesso modo…
Ricordo, ai tempi della nascita della VQR, che si parlava di identificare gli inattivi, non di creare liste ordinate uniche (adesso – con i ludi dipartimentali – liste uniche che addirittura attraversano le discipline! Il sonno della ragione genera mostri…).
In tanti hanno creduto nella ragionevolezza di usare un approccio bibliometrico per identificare la coda “inattivi”, tutt’ora, almeno a me, non sembra irragionevole.
Quindi mi pare che abbia ragione De Nicolao ed i tanti altri che hanno esortato a non procedere in modo stupido con queste valutazioni in stile sovietico, rappresentandone le ovvie conseguenze nefaste.
Mi pare che abbia ragione anche Mingione nel dire che un minimo di valutazione è utile, ad esempio per identificare gli inattivi.
Non si può però non notare che della identificazione degli inattivi non si è più parlato (nessun intervento legislativo significativo) mentre invece si sono forzati gli stessi dati a dare una classifica unica, inquinata dall’inevitabile rumore di misura, affermando che chi si oppone è contro la valutazione. Dopodiché con quella classifica si sono distribuite risorse.
Come in altri casi, il sonno della ragione genera mostri ed infatti i progettisti di queste distribuzioni di risorse, si sono adagiati sulle richieste dall’alto, hanno messo in sonno la loro ragione e non hanno boicottato queste distribuzioni di risorse.
Giuseppe De Nicolao, ti ringrazio per aver dato conferma di quello che scrivevo. La bibliometria se usata con cura e insieme ad altri indicatori diventa molto utile, anzi, imprescindibile. Ci sono tra l’altro modi di usarla che non fanno certamente uso di numero di lavori, IF o numero di citazioni totali e che sono stati trovati per evitare o limitare trucchi o aggiustamenti. Poi ci sono sempre chi la fa franca, ma gli indicatori sono globalmente robusti. Uno sforzo a dar loro un’occhiata si potrebbe fare d’altra parte.
Senza commentare uno per uno, la maggior parte dei link che riporti criticano l’uso dell’IF piuttosto che delle citazioni ai singoli autori/lavori, raccomandando di non usare la bibliometria come unico metodo ma non la escludendola affatto, anzi. Questo si dice farne corretto uso. Ovviamente ci sono critiche, ma ci sono sempre critiche. Adesso, cosa ti avevo scritto più sopra? L’uso della bibliometria rompe equilibri prestabiliti, anche nelle società scientifiche, ed è quindi chiaro che susciti reazioni da chi si vede privato del diritto di vita o di morte su tutto che esercitava senza dover dare conto a niente e nessuno. Ho già provato a spiegarlo sopra: quando si va in camera caritatis, si vede che l’alternativa al non uso della bibliometria è l’autarchia estrema. E anche a livelli che riteniamo molto alti le persone tendono a stabilire i criteri che possono meglio avvantaggiare i loro gruppi. Meglio usarla la bibliometria, insieme ad altre cose, se no la deriva autarchica è inevitabile. Perché vedi, facile scrivere, “Judge the content of individual papers”. Il punto è: chi lo fa? Chi ti dice che chi lo fa non abbia conflitti di interesse, come accade quasi sempre? Se uno mi viene a dire che il lavoro di X è innovativo e dopo 5 anni non l’ha citato nessuno, deve allora usare davvero ottime argomentazioni. La bibliometria serve pure a rendere complicata la vita ai furbi. Pare che tanti anni di esperienza concorsuale negativa italiana non siano serviti a nulla….
Opporsi a oltranza? La conseguenza è che sarete accusati sempre di non voler alcuna valutazione, di cercare il pelo nell’uovo, di sposare le opinioni e i punti di vista di alcune persone che all’università non hanno fatto molto bene e che, messe improvvisamente davanti ad una imbarazzante realtà bibliometrica, non sanno che pesci prendere. E che si continuerà, come adesso, ad avere una valutazione dagli esiti poco credibili, che viene difesa perché dall’altra parte “ci sono i baroni contro ogni valutazione”.
Per quanto il resto, come scrivevo sopra, in giro si dice che si fa in un modo, ma poi non si fa. Ma credi davvero che chi dice di fare una valutazione leggendo i lavori poi i lavori se li legge sul serio? Ma dai….
Confido nella bontà dell’analisi. Potrebbe far sospettare che negli anni, conoscendo in anticipo le caratteristiche maggiori degli algoritmi, alcuni atenei e dipartimenti si siano organizzati o riorganizzati per adattarvisi al meglio. Non comprendo, però, perché nei grafici il centro è sommato al nord. E non al sud. O non è lasciato da solo, tra nord e sud. Grazie. Comunque, in un altro ordine di idee, è sconvolgente che zone con moltissimi altri problemi, economici, demografici, e di civile convivenza, siano spinte a produrre e a diffondere in loco sempre meno conoscenza.
Può essere utile il confronto con la ripartizione delle borse FFABR. Se non mi sono sbagliato, suona un po’ così:
FFABR
nord 43.8%
centro 27.0 %
sud 29.2 %
Dip. Ecc.
nord 58.9%
centro 28.9 %
sud 12.2 %
almeno le somme tornano a 100….
Sembrerebbe un travaso di risorse sud -> nord, d’altra parte al centro c’è Roma.
è troppo tardi … Si era capito da un po’ quali erano gli scopi di queste strategie valutative e più astruse esse diventavano, più chiaro si faceva il disegno.
I più ambiziosi, i più sgomitanti, non i più preparati o creativi, talvolta solo i più giovani, perché danno punteggio…
Questo è stato e questo è…
I miei complimenti per questo report, rimarchevolmente lucido e dettagliato.
Faccio una osservazione tecnica sul richiamato caso di Chieti-Pescara vs Trento, perché pare paradigmatico. Entrambi i Dipartimenti hanno gareggiato per l’Area 2 avendo però percentuali di addetti di Area 2 estremamente diverse: circa il 15% nel primo contro il 90% nel secondo.
Ora, essendo i punteggi medi nazionali per-prodotto-atteso assai più bassi in SSD quali BIO/**, M-PSI/**, MED/**, molto presenti nel primo Dipartimento (con una media nazionale di riferimento sui SSD di dipartimento, che ho calcolato essere 0.66), rispetto ai punteggi medi nazionali per SSD quali FIS/01, FIS/02, FIS/03, FIS/04 e FIS/07, molto presenti invece nel Dipartimento di Trento (con una media nazionale di riferimento sui SSD presenti in quel dipartimento che ho calcolato in 0.80), l’ ISPD più alto per il dipartimento di Chieti-Pescara, si spiega con l’effetto-perverso della standardizzazione, pur a parità “nominale” –ma solo parzialmente reale- di Area.
Se ne trae un insegnamento, un po’ paradossale: un dipartimento molto eterogeneo, ovvero con molte Aree CUN presenti, è avvantaggiato se gioca (o sceglie di giocare) la sua “eccellenza” in un’area caratterizzata da punteggi SSD molto alti (a cui, paradossalmente, corrispondono ISPD tendenzialmente penalizzanti), avendo un vantaggio strutturale sui dipartimenti più omogenei che stanno in quella stessa Area. Per rendersi conto del vero vantaggio, spurio, determinato dalla standardizzazione, occorre sempre ricordare che l’ISPD di prodotti mancanti in determinati SSD vale più di quello di prodotti di qualità anche “elevata” in altri SSD. Il che è tutto dire.
In merito al tema della “precisione” dei dati e dei calcoli (ahimé inverificabili nel dettaglio, appunto), aggiungo che trovo piuttosto strano, per non dire illogico, che da valori numerici in input approssimati al semintero (dell’ISPD – per come è stato definito) e all’intero (del punteggio per il progetto) scaturiscano Punteggi Totali che arrivano a discriminare fra un dipartimento ammesso e un dipartimento non-ammesso anche in virtù di uno scarto di meno di 5 decimi di punto, e persino meno del 70% di 5 decimi di punto, ossia 0.35 punti! C’è un caso in Area 13…
@Mingione. Si tratta di un’affermazione certamente opinabile. Tuttavia non mi sembra si possa negare che la scienza americana eserciti una leadership sulla scienza mondiale, anche perché gli SU hanno accolto ed accolgono un gran numero di scienziati stranieri. Ho menzionato la matematica americana anche perché la struttura della società americana e del sistema universitario rendono impossibili “valutazioni nazionali” e criteri e parametri “oggettivi” per valutare la ricerca.
Beh, allora diciamo almeno “residenti negli Stati Uniti”… E comunque scienza buona si fa dappertutto, e gli USA, se non potessero pescare dal serbatoio fornito dai ricercatori europei (inclusi gli italiani) e ora anche asiatici, scientificamente sarebbero un paese da terzo mondo o quasi.
Per Figà Talamanca. Se guardiamo ai riconoscimenti principali in matematica, vediamo che, essenzialmente, essi si equipartiscono tra Stati Uniti ed Europa. Con una certa prevalenza di quest’ultima. Poi è chiaro che come singola nazione gli Stati Uniti sono matematicamente superiori a tutte le altre. Per forza, sono molto più grandi di tutte le altre.
Veniamo all’uso della bibliometria. In matematica, come in tutte le altre discipline, non ci sono grossi risultati che su un arco temporale di una decina d’anni non diventino molto citati (primo 1%). Insieme magari ad altri che così importanti non sono (ma le distorsioni esistono ovunque, anche nei contesti ritenuti di eccellenza). Poi spesso il concetto di eccellenza varia da sottocomunità a sottocomunità. Quindi la bibliometria rileva la grossa qualità e riesce a volte ad essere più “democratica” di altri criteri, che invece spesso finiscono per diventare autoreferenziali (“è buono perché lo diciamo noi e basta”). Questo forse contribuisce a non renderla simpatica a molte persone.
La mia critica all’uso della bibliometria fatto da ANVUR sta anche nel fatto la valutazione viene fatta su un periodo temporale troppo recente, nel quale essa non dà risultati che non si confondano con fluttuazioni statistiche (1/2/3 anni sono davvero troppo pochi) o, per le basse soglie utilizzate, truccabili. Non solo, la bibliometria funziona bene quando va a valutare le code (autori poco citati, autori molto citati) e funziona bene quando viene usata congiuntamente ad altri indicatori in un paniere equilibrato; in questo senso non si dovrebbe mai farne a meno. Nel mezzo, torniamo di nuovo alla fluttuazione statistica e truccabilità (il falso problema delle autocitazioni si sente sui valori medi, praticamente mai su quelli alti o bassissimi). Altro motivo per cui i criteri ANVUR non possono essere usati per fare valutazioni personali.
Allora perché questo accanimento contro la bibliometria? Per vari motivi. Innanzitutto il sempiterno fastidio per ogni forma di riconoscimento altrui. Poi perché l’uso della bibliometria rompe alcuni schemi autoreferenziali consolidati. Eh sì, perché dovremmo ricordarci che per decenni nella Matematica italiana ma non solo, è stata in uso l’abitudine di dichiarare l’opera di alcuni alcuni autori fondamentale, quando fondamentale non era, ma era tutt’altro. L’uso della bibliometria avrebbe evitato certe situazioni, avrebbe almeno fatto sorgere delle domande, che invece non si sono mai poste. Da questi vizi ho l’impressione che gli americani non ci salveranno. Da questi ci dovremo salvare da noi.
ps ovviamente apprezzo gli interventi di Figà Talamanca, col quale posso essere d’accordo e meno, ma che sicuramente, al contrario della maggioranza dei silenti matematici italiani, contribuisce al dibattito :)
pps la mia risposta alla risposta di AFT sta sopra, in un altro thread
Grazie a ROARS per l’analisi accurata.
A monte di tutto questo starebbe il “diritto” alla privacy di cui io non riesco a comprendere il senso né le ragioni.
Primo, se questi dati fossero veramente tutti oggettivi, la privacy semplicemente non esisterebbe. Forse in base alla mia privacy ho il diritto di nascondere l’elenco delle mie pubblicazioni? Ora, se tutto si basa su questo, fatti salvi i pareri pro veritate o simili, che privacy c’è da rispettare? Posso forse vietare a Scopus di elencare il numero di citazioni che ho ricevuto?
Secondo, che si valutino persone o istituzioni, perchè dovrebbero essere nascoste le valutazioni dei singoli? Se queste valutazioni avessero davvero un valore, beh, meglio che si sappia chi “non lavora abbastanza”. Perchè costoro dovrebbero essere “puniti per interposta persona” tramite i colleghi di dipartimento? (Salvo poi le eccezioni in cui la tua privacy non esiste più quando il direttore ti chiede la tua valutazione, o se per caso vuoi fare parte del collegio di dottorato). Quando mai un giornalista sportivo dà un punteggio ad una squadra senza dare un punteggio ai singoli giocatori?
Siamo in un teatro dell’assurdo dove la logica e la razionalità sono completamente assenti, e impera l’arbitrio di oscure persone nascoste nei palazzi del ministero o chissà dove.
C’è solo da sperare che molti dipartimenti “non eccellenti” ricorrano alle vie giudiziarie.
Lo so, ci sarebbe da sperare in un movimento che unisca strutturati, precari, studenti, e magari anche le loro famiglie che pagano le tasse, per ribellarsi e spazzare via tutte queste assurdità. Ma si intravede ben poco all’orizzonte.
Sì: solo una pubblicizzazione di questi fatti e l’aggregazione di più forze, tutte danneggiate, può far sperare in un cambiamento.
“Sempre che il problema sia la bibliometria e non il concetto di valutazione in sé, a molti sgradito“.
In effetti sembra impossibile cha ci sia ancora chi non gradisce la valutazione. Io, ad esempio, davvero non ne comprendo l’utilità, a parte legittimare i tagli nei finanziamenti statali, alimentando il narcisismo degli eccellenti. Per i cultori delle scienze dure, poi, è impossibile immaginare l’esistenza di altre branche del sapere, per le quali la bibliometria non ha senso. Tutto è misurabile!
Ho letto con interesse gli interventi di Mingione e De Nicolao e devo ammettere che trovo elementi assolutamente condivisibili in entrambi, come dire, non saprei condannare aprioristicamente lo strumento bibliometrico, così come comprendo bene l’impossibilità che tutto il meccanismo di valutazione sia lasciato a revisori. Di mestiere faccio lo storico, pertanto sono inevitabilmente affascinato dal “mito delle origini” e dall’idea che comprendendo l’origine di un fenomeno si possano poi comprendere le trasformazioni e gli effetti dello stesso. Proprio per questo motivo, mi chiedo perché e quando tutto questo sia cominciato; perché ad un certo punto della storia di questo Paese, quasi all’improvviso (o forse è avvenuto gradualmente) si sia avvertita impellente, irresistibile e, forse, irrinunciabile la necessità di dover “misurare” l’attività degli studiosi, con tutto il conseguente cascame di strutture e regole che ne è derivato. Certo la “volontà di misurare”, per parafrasare altre volontà più inconfessabili, ha caratterizzato molti aspetti di quello che una volta era lo “stato sociale”: scuola, uffici pubblici, sanità, previdenza e molto altro ancora. Indubbiamente, tale volontà, ha utilizzato il processo di “aziendalizzazione”, “efficientamento” dei servizi pubblici in generale propagandandolo come un miglioramento degli stessi e, chissà, forse ci abbiamo anche creduto. A questo punto, posso comprendere che a fronte di risorse sempre minori, si sia dovuto trovare un mezzo, diciamo pure un trucco, per distribuire quel pochino disponibile; forse, con un po’ di sforzo, riesco anche a comprendere che il governo (i governi), nel distribuire le risorse – sempre poche – abbia dovuto fare una scelta politica: l’università no, la scuola no, la sanità no, la previdenza no, la giustizia “ni”, ma esattamente si a chi è stato detto? Quello che davvero non riesco a comprendere è: 1) sono state tagliate risorse a moltissimi settori. La situazione economica del nostro Paese è davvero così grave? Talmente grave da non permettere più di sostenere alcuni dei fondamenti di uno stato moderno e democratico? Queste risorse, ribadisco copiosissime, sono state utilizzate per ottenere cosa? 2) Un’università, un ospedale, una scuola, un tribunale, uno sportello comunale, sono davvero in tutto e per tutto assimilabili ad un’impresa? Esiste ancora il ruolo sociale dello Stato? 3) Perché forze politiche – anche molto sensibili ai temi della istruzione pubblica, dell’inclusione sociale della sanità pubblica –, e potrei continuare, non solo abbiano attivamente adottato tali politiche ma addirittura siano state le gioiose istitutrici di molte delle trappole (e parlo solo del caso dell’Università) nelle quali ci troviamo impigliati oggi. Io sto provando ancora a capire.
In definitiva, e spero di non aver abusato troppo della pazienza del lettore, tornando al problema delle origini, non dovremmo spostare il nostro interesse, il nostro dibattito e, forse anche un po’ i nostri sforzi, su quello che è il nostro ruolo nella società e sulla necessità che abbiamo di difendere e far valere tale ruolo al di là di ogni misurazione?
” … mi chiedo perché e quando tutto questo sia cominciato…”
E’ cominciato negli anni ottanta-novanta con l’introduzione dello IF (Impact Factor) per misurare il valore della produzione scientifica dei candidati nei concorsi a cattedra dell’area biomedica. Gli argomenti a favore di questo uso dello IF sono, ad esempio, esposti nel libro di Spiridione Garbisa e Laura Calzà “Il peso della qualità accademica”, pubblicato nel 1995. In un mio intervento sull’IF, del 2000 presentato in un convegno della Società Italiana per la Storia Contemporanea, ho cercato (nell’ultimo paragrafo) di analizzare le ragioni del grande successo dell’IF in ambiente biomedico, dove addirittura si attribuiva un IF ai singoli ricercatori. Quello che è ancora sorprendente è la supina accettazione della possibilità di “misure” e valutazioni numeriche anche per discipline come la filosofia, la storia, le scienze politiche, le scienze economiche.
“Quello che davvero non riesco a comprendere è: 1) sono state tagliate risorse a moltissimi settori. La situazione economica del nostro Paese è davvero così grave? Talmente grave da non permettere più di sostenere alcuni dei fondamenti di uno stato moderno e democratico? Queste risorse, ribadisco copiosissime, sono state utilizzate per ottenere cosa?”
Direi grandi opere civili e militari: il TAV Torino – Lione, Il Terzo Valico, 95 (o quanti cavolo sono adesso) F35, etc. Più le missione in Libia, missione in Afganistan, missione in Ciad, etc. PS niente per la riduzione del debito pubblico.
Perchè? come si è cominciato? molte delle risposte a questa domanda si trovano a mio avviso in questa lettera http://www.corriere.it/economia/11_settembre_29/trichet_draghi_italiano_405e2be2-ea59-11e0-ae06-4da866778017.shtml
Che poi le risorse siano davvero diminuite in modo così significativo è tutto da dimostrare; la scelta sul dove allocarle è tutta politica e chiaramente la direzione intrapresa è stata opposta a quella di chi (come la Germania) ha deciso di aumentare l’investimento in istruzione e ricerca in funzione anticrisi.
Sarei portata a leggere l’invocazione dell’intervento dell’anac in chiave ironica, giacché meno interviene l’anac su università e ricerca e meno le si dà titolo per indulgere ulteriormente ad una tendenza all’interpretazione estensiva dei propri compiti che già mi sembra sia emersa…
Quanto al dibattito pro/contro bibliometria porto un’esperienza personale (io sì) e di un’area molto distante da quella di cui qui sopra si è dibattuto: la famigerata area 12. Da “noi” è comunemente ammesso da un lato che il peer review ai fini della vqr si sia svolto con una certa approssimazione (plurimi valutatori hanno dichiarato pubblicamente di leggere solo il sommario e le conclusioni degli articoli e di aver dato uno sguardo alla bibliografia citata) o magari si sono visti poi casi in cui si è approfittato dell’anonimato per piccole/grandi rappresaglie personali. Nonostante questo ho potuto toccare con mano quanto la valutazione possa riportare i processi, in particolare quelli di reclutamento, verso un tentativo di controllabilità oggettiva ormai irrinunciabile. Personalmente senza le soglie/mediane ed un regolamento ASN che fissava parametri e criteri ben identificati sarei probabilmente ancora ricercatrice. Una ricercatrice che, dopo una diecina di anni che era in ruolo, collaborazione con 4 cattedre, monografia, curatela e una cinquantina di pubblicazioni, ha potuto incontrare in seduta di laurea nella propria facoltà un collega della materia che le ha chiesto “ciao collega, piacere, non ci siamo mai incontrati… tu di che settore sei?”. E quel collega è andato avanti tranquillamente fino alla pensione indisturbato….. La mia posizione la riassumerei quindi con un La valutazione serve. Serve meno valutazione, ma serve una valutazione seria. Se volete una posizione meglio argomentata mi permetto di rinviare da ultimo a http://www.rivistaaic.it/i-professori-universitari-tra-riforma-strisciante-dello-stato-giuridico-e-processi-di-valutazione-sorvegliare-e-punire.html
La questione a mio avviso non può essere ridotta a bibliometria sì VS bibliometria no. Sarebbe troppo bello. Il problema sta in gran parte, e forse solo, in un utilizzo improprio dello strumento bibliometrico. Non dimentichiamo che per una grossa percentuale di valutazioni –p.es. in aree non-bibliometriche- non viene nemmeno giudicato il prodotto di ricerca in sé, ma solo il journal dove il prodotto è pubblicato. Peraltro, la valutazione del journal viene a sua volta determinata sulla base di ranking dove possono pesare in modo sostanziale determinazioni “stimate” di indicatori bibliometrici che nemmeno esistono. Mi riferisco ad esempio all’Area 13. In quell’Area, le 4 metriche utilizzate dal GEV per il ranking dei journal (e quindi di riflesso per la valutazione del prodotto), ossia IF5, AIS, IPP, SJR (peraltro in parte già oggi obsolete, per via di ridefinizione degli standard: vd. https://www.roars.it/il-mondo-fluttuante-degli-indicatori-bibliometrici-limpatto-del-nuovo-citescore-elsevier-sulla-vqr/ ) semplicemente non risultano definite per circa 1/3 delle riviste considerate in lista (chissà poi perché “quella” lista e non un’altra…), precisamente ben 892 journal su 2731. Bene, per quei 892 journal, non esistendo malauguratamente nessuno di questi 4 indicatori, si procede a una loro “stima” sulla base dell’h-index del journal, per come è determinabile da Google Scholar (Publish or Perish). Inutile rimarcare che il nesso statistico-matematico fra l’h-index dal database di Google Scholar e metriche quali IF5, AIS, IPP, SJR, è assolutamente vago. Peggio è se lo si “stima” sbrigativamente con una semplice regressione; in effetti, imbattersi in journal che vengono collocati, per interpolazione, in fascia A o B, pur essendo del tutto sconosciuti sia a Scopus che a WoS è la riprova che qualcosa non ha funzionato. La distorsione indotta da questo tipo di approccio misto (che non so quanto si possa definire realmente “bibliometrico”) non è mai stata studiata, né è stata mai fatta una analisi critica di sensitività del processo di misurazione: dalla originale scala qualitativa al punteggio finale “ISPD” preciso al decimale (sic!), che è poi il tema dell’articolo ROARS.
Altro aspetto importante e a mio avviso troppo trascurato dalla VQR è la quantificazione del GRADO DI PROPRIETÀ del prodotto. In ambito VQR, lo strabismo che porta valutare la rivista invece che il prodotto può aver contribuito a far dimenticare questo aspetto, cruciale. D’altra parte, le citazioni di un journal sono per definizione del journal. Ma le citazioni dell’articolo andrebbero frazionate fra i suoi coautori – ovvero le strutture di appartenenza degli stessi, se ci interessano quelle. In bibliometria esistono raffinati algoritmi per questo, ma nella VQR non se ne vedono neanche le tracce.
” In matematica, come in tutte le altre discipline, non ci sono grossi risultati che su un arco temporale di una decina d’anni non diventino molto citati”
Questo ”teorema”, enunciato con disinvoltura, senza esitazione, in modo preciso e perentorio, e poi ribadito dal suo autore in un altro commento, è falso.
Per dimostrarlo, basta dare almeno un esempio, ma di esempi ce ne sono diversi. Alcuni risultati sulla esistenza di estensioni olomorfe in più variabili complesse (estensioni di funzioni originalmente definite sul bordo di un dominio), dovuti a Kneser (1936), Severi (1931), Martinelli (1961), e Fichera (1957), sono stati trascurati per molte decine di anni, nel senso che, a partire dal 1965, in letteratura questi risultati sono stati attribuiti a Bochner (1943), il quale, di fatto, in quel suo lavoro, NON aveva dimostrato quei risultati. La correzione di queste attribuzioni sbagliate è avvenuta solo nel 2002.
___________________________________
”Veniamo all’uso della bibliometria. […] Allora perché questo accanimento contro la bibliometria? […]”
Osservo che Mingione non risponde alla argomentazione principale proposta da Alessandro Figà Talamanca, che ha scritto quanto segue:
”Ma il danno a lungo termine maggiore della legislazione recente e dell’azione del Ministero e dei suoi organi (in particolare l’ANVUR) è quello causato dall’introduzione di parametri numerici gabellati per “oggettivi” per la valutazione della ricerca scientifica. Nessuna attività creativa può essere valutata “oggettivamente”, tuttavia se una autorità centrale condiziona assunzioni, promozioni e finanziamenti al superamento di “soglie” di parametri numerici, i ricercatori, in particolare i più giovani, saranno costretti ad inseguire i parametri, anziché seguire la loro curiosità e la loro personale valutazione di che cosa è, o può divenire, importante o significativo.”
Lucio Russo, nel suo libro ”La cultura componibile” (Liguori Editore, 2008), ha espresso un concetto simile:
”L’unanime omogeneità degli specialisti e l’assenza di dibattito culturale è in stretta relazione con due meccanismi ormai considerati caratteristica irrinunciabile dell’ambiente scientifico: l’anonimità dei giudizi per l’accesso alle riviste e le valutazioni automatiche basate sul numero di citazioni ricevute. Torneremo nel prossimo paragrafo sul secondo punto. Osserviamo solo che l’anonimità dei giudizi è fondata sull’idea che tutti gli specialisti siano tra loro intercambiabili e che il giudizio su un articolo scientifico possa essere ”oggettivo”, possa cioè riflettere non l’opinione di qualcuno che ne assume la responsabilità, ma quella della comunità scientifica nel suo insieme: ciò è ovviamente vero nel caso si tratti di identificare banali errori, ma negli altri casi riflette (e contribuisce a generare) la caratteristica omogeneità dell’attuale comunità scientifica, che non è stata sempre presente nel passato né è logicamente necessaria. L’ultimo punto è reso evidente dal fatto che è capitato spesso che il giudizio unanime della comunità si sia rapidamente mutato nel giudizio opposto: per fare un solo esempio, i famosi esperimenti sulla fusione fredda di Fleischmann e Pons generarono prima una letteratura ospitata sulle principali riviste, che ne confermavano i risultati, per poi essere respinti nel campo delle ”bufale” da una comunità altrettanto unanime (con l’eccezione di piccoli gruppi che sono stati respinti nel campo degli ”alternativi”, su cui torneremo). Chi vuole intraprendere strade non ancora accettate dalla comunità, in primo luogo ha difficoltà a pubblicare, scontrandosi con un muro omogeneo e anonimo. Se anche, come supponiamo per comodità di argomentazione, riuscisse nell’intento di inaugurare una scuola di pensiero alternativa, sarebbe ovviamente poco citato, perché sarebbero ben rari i ricercatori che sceglierebbero di entrare in un gruppo minoritario, sapendo che il meccanismo quantitativo di valutazione, basato sul numero di citazioni, attribuirebbe ai loro risultati certamente un valore minimo. Il meccanismo per sua natura evidentemente si autoalimenta, generando automaticamente omogeneità. Un cambiamento di opinione è reso possibile solo da una transizione di fase che cambi contemporaneamente l’opinione di tutti gli specialisti: è ciò che avviene effettivamente con il rapido susseguirsi delle mode. Le qualità che vengono così selezionate sono la repentinità dell’informazione e la prontezza di riflessi che permettono di trovarsi sempre dalla parte maggioritaria.”
___________________________________
”Chiunque lavora attivamente oggi sa che a stento è rimasto tempo per leggere i lavori ai quali siamo davvero interessati”
”E chiunque faccia parte di qualche editorial board sa benissimo che sta diventando impossibile trovare referee che se li leggano con attenzione, i lavori presentati alla rivista, al punto che tutto il meccanismo della revisione tra pari sembra ormai scarsamente affidabile.”
L’immagine della attività scientifica che viene fuori da queste descrizioni è quella di un gioco in cui si citano pubblicazioni che non sonostati letti e si pubblicano scritti che non sono stati letti e vagliati adeguatamente.
Se queste descrizioni, precise e perentorie come la prima affermazione (discussa in esordio) fossero una rappresentazione fedele delle cose descritte, allora forse la collettività non dovrebbe più finanziare un gioco senza senso.
Di fatto, il seguente brano di Lucio Russo, tratto da ”La cultura componibile” (op. cit.) mostra che questa mia osservazione non è una battuta gratuita.
”Tra tutte le specializzazioni di cui sono venuto a conoscenza, una che credo meriterebbe di essere più ampiamente conosciuta, perché riesce veramente a racchiudere in sé lo spirito della cultura dei nostri tempi, è la codicologia quantitativa. Anche tra gli studiosi specializzati nello studio di antichi codici si è diffusa negli ultimi decenni la tendenza ad affrontare le proprie ricerche con il supporto di metodi statistici quantitativi. Non è certo facile quantificare lo studio degli antichi manoscritti, ma alcuni ricercatori hanno avuto un’idea geniale, concentrando il proprio interesse sul settore del manoscritto che hanno identificato come il più facilmente inquadrabile in un preciso schema quantitativo, oggi ritenuto indispensabile perché un’indagine possa aspirare ad essere considerata veramente scientifica. Non è stato troppo difficile individuare tale settore nel margine bianco delle antiche pagine: basta infatti misurarne l’ampiezza per ottenerne una descrizione allo stesso tempo completa e quantitativa. Chi immaginasse che l’ampiezza del margine possa essere rilevante per individuare il copista produttore del manoscritto, o il laboratorio in cui ha lavorato, o la datazione, o qualsiasi altro elemento, sbaglierebbe: poiché i manoscritti erano spesso rifilati, l’informazione fornita dalla misura dell’ampiezza riguarda solo l’ultimo intervento. Ciò non ha impedito la nascita di una nuova disciplina, il cui oggetto è lo studio della parte non manoscritta degli antichi manoscritti.”
___________________________________
In alcuni commenti si parla molto di premi. Osservo che Grothendieck e Perel’man hanno, tra l’altro, rifiutato premi molto ”prestigiosi”.
___________________________________
Segnalo due riflessioni sul concetto di ”eccellenza”, uno dei quali è già apparso qui su roars.
Il Pedante
Andrea Zhok
___________________________________
‹ ‹ ” … mi chiedo perché e quando tutto questo sia cominciato…”
E’ cominciato negli anni ottanta-novanta con l’introduzione dello IF (Impact Factor) per misurare il valore della produzione scientifica dei candidati nei concorsi a cattedra dell’area biomedica. › ›
Mi sembra che il contesto ideologico in cui è nato sia quello della industria della ”Quality Assurance”, che è appunto una industria, che, come tutte le industrie, cerca di espandersi senza presupporre una limitazione intrinseca al suo campo di azione. La pagina wikipedia ad essa dedicata è esplicita al riguardo:
”QA is not limited to manufacturing, and can be applied to any business or non-business activity, including: design, consulting, banking, insurance, computer software development, retailing, investment, transportation, education, and translation.
It comprises a quality improvement process, which is generic in the sense that it can be applied to any of these activities and it establishes a behavior pattern, which supports the achievement of quality.”
Non trovo molto significativa l’abitudine di citare casi singolarissimi, magari persi nel passato.
[tra l’altro Grothendieck e Perelman sono stracitati….sono citati praticamente ovunque, ormai sono tali classici che la gente li cita tra le righe, non citando mancò più la referenza. Inoltre, Grothendieck ha pubblicato direttamente in volumi, citatissimi su Mathscinet, Perelman è un caso singolarissimo che non ha pubblicato nei canali standard].
Comunque Di Biase, per quanto riguarda la lettura dei lavori (si spera non quelli degli anni ’30) basta andare ogni giorno, come faccio io, su Arxiv. Ci trovo una ventina di lavori interessanti (almeno per me). Ogni giorno. Che si fa? Li si legge tutti? Forse tu ce la fai, io no. Figurasi poi i lavori che non interessano (ma che uno dovrebbe valutare). La comunità scientifica oggi è così, grande, produttiva, fin troppo prolifica. Forse negli anni 30 era diverso….
Infine, mi pare di aver risposto abbondantemente alle obiezioni di Figà Talamanca. Ovviamente non esistono valutazioni oggettive. Ma, come osservava Roberta Calvano con molto buon senso, ci sono però modi di aiutarsi con parametri solidi che impediscono per esempio a baroni di andare in commissione e rovesciare ogni evidenza e ogni buon senso (“…tentativo di controllabilità oggettiva ormai irrinunciabile”). Ah dimenticavo, forse anche il buon senso non esiste…..
Io comunque continuo ad aspettare ragionamenti basati su grossi numeri, e non su casi singoli (magari lontanissimi).
”PS niente per la riduzione del debito pubblico.”
Sul debito pubbico segnalo una riflessione apparsa su una pericolosa fonte bolscevica:
Il sole 24 ORE
Certamente conta la sostenibilità del debito non il suo valore assoluto, ma… se tu (i.e., con il tuo stipendio) con un mutuo per un debito da 500Keur ti presenti in banca dicendo che hai avuto una bella occasione per un acquisto immobiliare e gli chiedi di finanziarti, te lo danno un altro mutuo? Mentre invece se ti presenti con un mutuo su un debito da 50K o ne chiedi 200K avendo appena avuto un raddoppio dello stipendio, la questione appare diversa. La sostenibilità mi pare quindi che dipenda da come appare credibile che tu possa sostenere la quantità di debito che hai/avresti sulle spalle. Non è che rinviando a “tutti gli altri aspetti” possiamo fare a meno di parlare di quantità.
Dati i chiari di luna della politica recente (il sonno della ragione genera mostri mi pare il detto più applicabile alla descrizione di gran parte della attività dei governi recenti e dell’ultimo parlamento) mi pare che ridurre il debito sarebbe stato un segno di sanità mentale, che avrebbe cambiato le apparenze agli occhi del resto del mondo (che conta molto nel determinare i rendimenti, anche se il debito italiano è in gran parte italiano) e ci saremmo potuti sacrificare (?) il TAV, il Terzo valico, gli F35, etc. etc., senza uccidere l’istruzione.
Dimenticavo: un’altra voce di spesa finanziata anche con i risparmi sull’istruzione (in relazione alla neutralità del sole 24 ore): le agevolazioni alle imprese del jobs act.
Proporre un enunciato generale, preciso e perentorio, e poi, di fronte a un esempio che mostra che è falso, affermare che il controesempio è un caso ”singolarissimo”, mi sembra discutibile.
Il fatto che siano passati decenni rafforza la mia tesi, perché mostra che non è vero che basta un decennio (come affermato nel ”teorema”) affinché la macchina delle citazioni dia a ciascuno il suo.
Ci sono peraltro esempi più recenti, che evito di fare per ragioni di tatto. Tali esempi, proprio perché più recenti, sono più esposti alla possibile obiezione che non sia passato abbastanza tempo, e quindi anche per questo ho evitato di farli.
Ora, sentirmi dire che ho fatto un esempio troppo ”antico” mi sembra, appunto, discutibile. L’esempio mostra che quell’enunciato è falso.
Il fatto che l’enunciato sia falso si può anche dimostrare per via deduttiva, se riflettiamo sul fatto che le citazioni sono soltanto un pallido riflesso di chi abbia fatto cosa, ma riflettono i rapporti di forza tra le varie scuole (o “codazzi” che siano) e riflettono ciò che un dato ricercatore sa di ciò che è stato fatto prima da altri (conoscenza che è necessariamente parziale e imperfetta).
La storia viene scritta dai vincitori. E la storia è piena di casi dove un ricercatore A è ignaro (o finge di essere ignaro) del fatto che un ricercatore B aveva già ottenuto i suoi risultati.
Adottare un sistema che, invece di incoraggiare i singoli a comportamenti ”virtuosi”, li incoraggia sistematicamente a comportamenti ”viziosi”, mi sembra discutibile, dal punto di vista dell’uso delle risorse pubbliche.
______________________________________________________________
Ho menzionato Grothendieck e Perel’man non in relazione alla diatriba sulla ”oggettività” della bibliometria, ma in relazione alla sensibilità ai premi e ai riconoscimenti che alcuni mostrano di avere.
*
Osservo per inciso che, leggendo le memorie di Grothendieck, si vede che è rimasto amareggiato per il fatto che André Weil non gli fece mai avere alcun cenno di riconoscimento: avrebbe voluto sentirsi dire, da colui che per primo aveva concepito quella ”visione”, un
”bravo! hai fatto un buon lavoro!”.
Non soldi o medaglie, ma un sorriso da parte del Padre lo avrebbe fatto felice, e forse avrebbe placato la sua compulsione a essere uno ”sfidatore e lottatore col Padre”.
______________________________________________________________
Chiedo scusa se sono lento di comprendonio e faccio perdere la pazienza, ma mi sembra che alle obiezioni di A. Figà Talamanca (amplificate da Lucio Russo nel brano che ho citato) non sia stata data una risposta.
Infatti, per come l’ho compresa io, quella obiezione non riguarda solo o tanto la domanda se la bibliometria sia o non sia oggettiva, ma gli effetti di un sistema di valutazione bibliometrico avrebbe, presumibilmente, sulle dinamiche di generazione della attività scientifica. La tesi di Figà Talamanca è che esso induce al conformismo.
Mi sembra un tesi difficile da refutare. Mi sembra che nessuno abbia tentato di refutarla.
La storia insegna che il conformismo è un male, rispetto allo scopo che la ricerca scientifica dovrebbe avere (capire la Natura).
Dunque: è giusto usare risorse pubbliche attraverso un meccanismo che, per sua natura, produce risultati nocivi?
Il caso della ”codicologia quantitativa”, illustrato da Lucio Russo in un brano che ho citato, mi sembra emblematico, a tale riguardo.
______________________________________________________________
“Chiunque lavora attivamente oggi sa che a stento è rimasto tempo per leggere i lavori ai quali siamo davvero interessati”
“E chiunque faccia parte di qualche editorial board sa benissimo che sta diventando impossibile trovare referee che se li leggano con attenzione, i lavori presentati alla rivista, al punto che tutto il meccanismo della revisione tra pari sembra ormai scarsamente affidabile.”
L’immagine della attività scientifica che viene fuori da queste descrizioni è quella di un gioco in cui si citano pubblicazioni che non sono state lette e si pubblicano scritti che non sono stati vagliati adeguatamente.
Se queste descrizioni sono una rappresentazione fedele delle cose descritte, allora forse la collettività non dovrebbe più finanziare un gioco senza senso. Il sistema bibliometrico conduce proprio a un esito di questo tipo.
E se queste descrizioni sono una rappresentazione fedele delle cose descritte, allora le stesse citazioni hanno scarso valore conoscitivo, come osservato da G. De Nicolao in un suo commento.
Di Biase, ma per favore, la realtà è diversa dai teoremi. Non basta un caso singolarissimo a dire che le citazioni non misurano nulla. E il fatto che non ci sia tempo per leggere i lavori, non vuol dire che quando si cita un lavoro non lo si sia letto.
Circa la tesi di Figà Talamanca, dell’odioso Parnas e di tanti altri: perseguendo l’eccellenza mi pare fuori discussione che ne derivi l’effetto nefasto della tesi (e facendo un rank unico verrebbero anche tutte le diatribe derivanti dal grande rumore che affligge queste misure di “eccellenza”).
Personalmente ho invece la sensazione che il limitarsi alla coda che va verso “zero produzione, zero citazioni, zero laqualunque” possa consentire di identificare i casi da articolo di Rizzo – Stella. Le distorsioni introdotte da soglie basse sarebbero accettabili: imporrebbero a tutti dei livelli di “publish-or-perish fine a sé stesso” minimali, un calice amaro, ma non troppo (un po’ come fare un ordine sul mepa) e nel mentre si resterebbe liberi di covare anche qualcosa di grande con tutto il tempo che serve.
Sì. Io infatti ho sempre sostenuto che la bibliometria diventa significativa sulle code, alte e basse. In mezzo vi sono troppe fluttuazioni che rendono i risultati poco significativi. E infatti, quando si fanno classifiche internazionali, si guarda alle code, elaborando metodi tra l’altro atti a scoraggiare certe brutte abitudini. In Italia invece applichiamo la bibliometria male: a livello personale e sugli 3/4 ultimi anni, il che contribuisce a renderla antipatica.
Faccio un altro esempio, strepitoso come il precedente. I lavori di M. V. Keldysh (1941) sul problema di Dirichlet sono spariti dalla letteratura contemporanea, nel senso che
non si trovano citati nel libro di J.L. Doob ”Classical potential theory and its probabilistic counterpart”.
non si trovano citati nel libro di L.L. Helms (”Potential theory”), nemmeno nella seconda edizione
non sono citati nemmeno nel più recente trattato scritto da J.B. Garnett e D.E. Marshall (”Harmonic measure”), la cui prima edizione è apparsa nel nuovo millennio. E nemmeno nella seconda edizione.
Eppure Doob è (stato) un grande maestro, in grado di correggere errori significativi in una memoria di Bochner pubblicata su Annals, nella quale Bochner si avventurava nel campo probabilistico.
Leggendo il suddetto libro, si comprende che Doob era proprio ignaro della esistenza di quei lavori di M.V. Keldysh.
Eppure di decenni ne sono passati tanti (1984-1941=43).
Eppure Doob ha inteso scrivere un trattato completo, e i contributi di Keldysh sono fondamentali per capire la natura della soluzione detta di Perron-Brelot-Wiener del problema di Dirichlet.
Commenti simili si possono fare per le altre due monografie citate.
E l’elenco di trattati in cui quei lavori dovrebbero essere presenti in bibliografia, ma non lo sono, è lungo.
Come è possibile? Propongo questa riflessione, che è più la descrizione di un sintomo che una spiegazione: i matematici non sono, tipicamente, topi di biblioteca, sono pessimi storici, e hanno cose più importanti da fare che leggere lavori.
Un altro esempio è dato da alcuni lavori di V. Volterra, che risalgono alla fine del secolo XIX, dedicati alla integrazione lungo varietà pluridimensionali, nei quali ha ottenuto risultati costantemente e universalmente attribuiti a Poincaré. J. Dieudonné, nella sua storia della topologia algebrica e differenziale, pubblicata verso la fine del XX secolo, continua a fare confusione. Solo G. de Rham e R. Narasimhan, hanno tentato di fare giustizia.
Un altro esempio è dato dal cosiddetto Lemma di Dolbeault-Grothendieck, dimostrato da Bochner dieci anni prima.
La storia mostra che esempi di questo tipo, lungi dall’essere ”singolarissimi”, sono all’ordine del giorno.
Del resto, sia Grothendieck che Perel’man hanno lamentato un certo lassismo morale nella comunità dei matematici, rispetto alla necessità di dare il giusto riconoscimento al lavoro altrui. Il caso di Perel’man è finito anche sul New Yorker, dove è apparsa una vignetta satirica nei riguardi di non ricordo quale matematico di Harvard o Yale.
Chi propone un enunciato preciso e perentorio se ne assume la responsabilità, di fronte a esempi che mostrano che è falso. Dire che gli esempi sono ”singolarissimi” è un altro enunciato apodittico, tutto da dimostrare.
Non ho ancora trovato risposta alle argomentazioni avanzate da A. Figà Talamanca, espresse in
questo intervento
Ma qualcosina di più recente no?
Sono convinto che nel valutare l’attività scientifica di strutture di grandi dimensioni (per intenderci, dagli Atenei in su), la bibliometria possa essere utile. Ma bisogna avere massima attenzione a come la si usa, al ruolo che le viene affidato ed alle conseguenze che ne derivano.
Nel caso di ANVUR (è delle procedure messe in atto da tale agenzia che parliamo) ci sono stati diversi esempi di scelte non chiare (ad es.: dati di base non resi di dominio pubblico), non scientificamente robuste, quando non addirittura errate.
Ed il fatto che la bibliometria possa assumere una valenza particolarmente significativa quando la si usa per esaminare le code meno popolate delle distribuzioni rende ancora più delicato il suo utilizzo. Aggiungo: anche nella valutazione di studi al confine di una disciplina e di quelli interdisciplinari, un uso non attento della bibliometria può essere di grande nocumento.
Può coadiuvare, ma non può in nessun modo essere sostitutiva del giudizio dei pari, anche se a causa dell’elevato numero di lavori pubblicati oggigiorno la lettura rappresenta un lavoro improbo.
Mi ha molto colpito leggere alcune osservazioni secondo le quali in pratica sarebbe irrealistico realizzare una valutazione leggendo il contenuto dei nostri lavori.
Limitiamoci all’argomento del report da cui trae origine la discussione, ovvero la valutazione dei Dipartimenti eccellenti.
Vorrei illustrare un’esperienza personale che credo simile ad esperienze di molti colleghi. Lavoro nel settore della Fisica Sperimentale, per la nostra attività utilizziamo delle “facilities” nazionali ed internazionali (radiazione di sincrotrone, sorgenti di neutroni, ecc.).
Per avere accesso a tali “facilities” e realizzare quindi i propri progetti sperimentali, è necessario redigere una proposta di ricerca per lo strumento scelto che opera presso la “facility” selezionata, con adeguata lista bibliografica. Un comitato di esperti internazionalmente riconosciuti giudica le proposte, di norma ciascuna del valore di diverse decine di migliaia di euro (l’uso anche di una sola giornata degli strumenti in questione è piuttosto costoso), sceglie quelle che reputa migliori ed a loro assegna un opportuno tempo di misura. A me è capitato di far parte di comitati italiani, inglesi, europei, tuttora faccio parte come esperto europeo del comitato di una “facility” francese: sempre, io e gli altri colleghi, ci leggiamo TUTTE le proposte di nostra competenza, spesso con la relativa bibliografia, per poter esprimere un giudizio motivato e argomentabile al tavolo della discussione con gli altri colleghi. Si tratta di alcune decine di proposte da leggere e valutare in due edizioni annuali, di norma gratuitamente, tipicamente per 4-6 anni, dopo di che il comitato viene rinnovato: lavoraccio, fatto con scarsissimo aiuto da parte di indici bibliometrici, che svolgiamo perché ormai da almeno 50 anni viene ritenuto indispensabile nella gestione di infrastrutture di ricerca così costose ed impegnative.
E le decisioni di tali comitati sono usualmente accettate senza grandi polemiche, soprattutto quando il loro contenuto è trasparente nelle motivazioni scientifiche.
Perché allora dovrei rinunciare all’idea che un simile esame trasparente del contenuto dei cosiddetti prodotti di ricerca presentati da ciascun Dipartimento, magari in una rosa numericamente ristretta per ciascun Dipartimento, debba essere la base ineludibile della valutazione dell’attività scientifica di un Dipartimento?
E, con le opportune correzioni, l’osservazione può essere applicata anche ad altre procedure valutative, con scale diverse (VQR e simili).
Che momento triste è quello in cui ci rassegniamo alla conclusione che non abbiamo il tempo per assumerci responsabilmente il compito di valutare, leggendolo, il contenuto di un articolo scientifico.
[…] Faccio questa scelta consapevole delle sue conseguenze, che sono in sostanza l’annullamento di un potere accademico comunque servile, perché fondato sulla sottomissione. In questo caso il ripetitivo argomento che così rifiuterei di farmi valutare è particolarmente fuori luogo: Wikipedia è letta da tutti e può essere apertamente valutata da tutti, anche in modo molto severo. La valutazione di stato, condotta da funzionari nominati, è invece – proprio come l’alchimia – sistematicamente segreta, […]
[…] nostri lettori già sanno, abbiamo fatto richiesta di accesso agli atti utilizzando la procedura FOIA separatamente nei […]
[…] nel paradosso del sorite,8 deve resistere alla tentazione di rispondere elencando l’ormai ricca letteratura dedicata alle distorsioni prodotte dalla bibliometria. Quanti casi di falsi positivi e di falsi […]
[…] – i testi – avulsi dai loro contesti di discussione e sottoposti a computi numerici variamente oscuri e contestabili […]