Inghilterra: il prossimo REF 2014 – l’esercizio di valutazione della qualità – rinuncerà del tutto agli impact factor e alle classifiche delle riviste. Come mai? “All types of research and all forms of research outputs across all disciplines shall be assessed on a fair and equal basis” è la risposta riportata nelle Frequently Asked Questions sul sito del REF 2014. E anche l’uso delle citazioni sarà cauto e per nulla automatico. I documenti tecnici inglesi erano già pubblici nel 2011, prima della VQR e dell’ASN: perché l’ANVUR li ha ignorati?
____________
1. Niente Impact Factor e classifiche di riviste: siamo inglesi!
Nell’attesa che l’ANVUR pubblichi i risultati della VQR 2004-2010, vale la pena di dare uno sguardo oltremanica, dove esiste la più consolidata esperienza nel campo degli esercizi di valutazione. In particolare, ci interessa vedere quale sia l’atteggiamento nei confronti dell’uso automatico della bibliometria per valutare la qualità delle pubblicazioni. In particolare, la VQR italiana si è avvalsa delle classifiche delle riviste, elaborate da esperti (scienze umane e sociali) oppure ricavate attraverso l’Impact Factor (scienze dure). Ma come si regolano in Inghilterra? Per rispondere, basta andare a leggere le Frequently Asked Questions sul sito del REF 2014 (Research Excellence Framework):
No sub-panel will make any use of journal impact factors, rankings, lists or the perceived standing of publishers in assessing the quality of research outputs. An underpinning principle of the REF is that all types of research and all forms of research outputs across all disciplines shall be assessed on a fair and equal basis.
2. Citazioni: sì ma con giudizio
Se da un lato il REF 2014 chiude la porta agli Impact Factor e alle classifiche delle riviste, non per questo rinuncia alla bibliometria in toto. Infatti, per alcuni comitati è contemplato l’uso delle citazioni come ausilio alla valutazione:
- Sub-panel 1: Clinical Medicine
- Sub-panel 2: Public Health, Health Services and Primary Care
- Sub-panel 3: Allied Health Professions, Dentistry, Nursing and Pharmacy
- Sub-panel 4: Psychology, Psychiatry and Neuroscience
- Sub-panel 5: Biological Sciences
- Sub-panel 6: Agriculture, Veterinary, and Food Science
- Sub panel 7: Earth Systems and Environmental Sciences
- Sub-panel 8: Chemistry
- Sub-panel 9: Physics
- Sub-panel 11: Computer Science and Informatics
- Sub-panel 18: Economics and Econometrics
Se si tiene presente il caso della VQR italiana in cui le citazioni sono state utilizzate per elaborare criteri automatici di valutazione dei prodotti della ricerca, risulta istruttivo un confronto con i principi, assai cauti, che regolano l’uso – per nulla automatico – delle citazioni nel REF 2014 (i grassetti sono nostri):
Citation data
131. Some sub-panels will consider the number of times that an output has been cited, as additional information about the academic significance of submitted outputs. Those panels that do so will continue to rely on expert review as the primary means of assessing outputs, in order to reach rounded judgements about the full range of assessment criteria (‘originality, significance and rigour’). They will also recognise the significance of outputs beyond academia wherever appropriate, and will assess all outputs on an equal basis, regardless of whether or not citation data is available for them.
132. Panels will state in their criteria documents if they will make use of citation data, and if so, provide further details about how they will make use of the data to inform their assessments. In using such data panels will recognise the limited value of citation data for recently published outputs, the variable citation patterns for different fields of research, the possibility of ‘negative citations’, and the limitations of such data for outputs in languages other than English. Panels will also be instructed to have due regard to the potential equality implications of using citation data as additional information (5).Assessment framework and guidance on submissions
(Luglio 2011), p. 25
La nota (5), relativa alle “equality implications”, si riferisce ad uno studio del febbraio 2011 che aveva analizzato l’effetto dell’uso delle citazioni nel Research Excellence Framework (REF) per il personale
with particular attributes, such as the protected characteristics and early career researchers.
Già nel 2010, David Sweeney, director of research dell’HEFCE (Higher Education Funding Council for England) aveva sottolineato come l’uso delle citazioni ponesse problemi di pari opportunità in una sua intervista a Times Higher Education:
Equal opportunities is a problem that concerns us, so we are very nervous about the use of citations
Sempre nello stesso articolo, veniva citata Linda Butler, “head of the research evaluation and policy project” dell’Australian National University e consulente del REF che pur sostenendo l’utilità delle citazioni, ribadiva che l’uso delle citazioni delle singole pubblicazioni non era robusto e incoraggiava comportamenti opportunistici (“game-playing“).
3. Lo “splendido isolamento” internazionale dell’ANVUR
Un’ultima curiosità. Da non molti giorni le commissioni delle abilitazioni nazionali hanno finalmente ricevuto tutti i valori degli indicatori bibliometrici per i candidati ai quali, tuttavia, non è dato sapere in modo trasparente se superano o meno le mediane e di quanto (Incerti, incompleti e modificabili: ecco gli indicatori dei candidati all’abilitazione). È interessante confrontare la (mancanza di) trasparenza italiana con le regole inglesi che garantiscono che valutati e valutatori vedano le citazioni nella stessa forma:
Institutions will be able to verify these matches through the submissions system, and to view the citation counts in the same form that they will be provided to panels
L’ANVUR rimedia un giudizio impietoso se si confronta la rudimentale bibliometria fai-da-te della VQR e dell’ASN italiane con le cautele e lo scrupolo tecnico dell’HEFCE inglese. A maggior ragione, l’agenzia italiana se ne esce con le ossa rotte se si considera che il documento che abbiamo citato (Assessment framework and guidance on submissions) risale al luglio 2011 ed è quindi anteriore alla versione definitiva delle regole della VQR (ottobre 2011). La VQR italiana, infatti, ha una forte somiglianza strutturale con il REF inglese, soprattutto per la scelta di sottoporre alla valutazione un numero limitato di pubblicazioni per ogni soggetto valutato. Appare pertanto inspiegabile che il consiglio direttivo dell’ANVUR e i GEV abbiano improvvisato inediti schemi di valutazione bibliometrica senza documentarsi adeguatamente sulle scelte tecniche dell’HEFCE. Non era una missione impossibile: bastava andare sul sito del REF 2014, scaricarsi i documenti e leggerli.
______________________
(5) See ‘Analysis of data from the pilot exercise to develop bibliometric indicators for the REF: The effect of using normalised citation scores for particular staff characteristics’ (HEFCE 2011/03). This is available via www.hefce.ac.uk under 2011 publications.
Siamo un paese di santi, navigatori, eroi, aviatori e… di nuovi baroni…
l’importante era costruire un altro costoso centro di potere utile a pochi, inutile e dannoso per tutti…
ps. ministra dove sei?
A far nominare Marco Mancini capo dipartimento ministeriale per università e ricerca.
Gent.le Prof. De Nicolao,
mi permetto di ricordare che in Italia i concorsi universitari sono arrivati allo schema criticabilissimo delle abilitazioni scientifiche dopo che la valutazione di esperti all’italiana (commissioni locali, di fatto non molto lontane dall’ideale inglese) ha mostrato tutte le sue lacune.
Segnalo, tra l’altro, che in molti dipartimenti di università britanniche, esistono liste interne di riviste di classe A e queste liste, settore per settore, sono indipendenti dall’impact factor ma rispecchiano, di fatto, il reale impatto scientifico delle pubblicazioni. Le liste sono, tipicamente, definite dal dipartimento attraverso un banale processo interno. Se un docente bara e tra le riviste di classe A ci mette una Hindawi o simili, prima o poi, sarà scoperto e perderà l’onore. Danno non trascurabile a quelle latitudini.
Ora, io non credo che la bibliometria debba essere la medicina di tutti i mali, ma penso che il modello basato sulla valutazione di esperti indipendenti, tipico dell’accademia inglese, in Italia sarebbe applicabile solo se fossero valutati i singoli dipartimenti (magari ogni due – tre anni) e se gli esperti fossero cittadini stranieri.
La verità è che le ricette trapiantate dall’estero all’Italia spesso non funzionano perchè in Italia ci sono gli Italiani, quelli che ai concorsi accademici hanno fatto passare le mogli, quelli che costruivano gli esami orali per fregare specifici candidati, quelli dei baroni della “cupola” di cardiologia, etc. etc. etc.
Non ho riferimenti o ricette certe da proporre, ma credo che l’unica possibilità di migliorare la selezione degli accademici italiani è quella di migliorare l’attuale sistema tramite migliorie legislative biennali. Se c’è un’altra via, vi prego di segnalarla.
meccanico: “La verità è che le ricette trapiantate dall’estero all’Italia spesso non funzionano perchè in Italia ci sono gli Italiani, quelli che ai concorsi accademici hanno fatto passare le mogli, quelli che costruivano gli esami orali per fregare specifici candidati, quelli dei baroni della “cupola” di cardiologia, etc. etc. etc.”
___________________________________________
Questo è il cosiddetto “argomento emergenziale”: il reclutamento e la valutazione basati sulla bibliometria naive sono antiscientifici e non sono usato nelle nazioni progredite, ma l’università italiana versa in condizioni tali da giustificare i rimedi degli stregoni bibliometrici. La risposta è semplice: se ho una malattia mi faccio curare dal medico e assumo farmaci scientificamente testati. Non è il caso di ricorrere alle pozioni magiche dei guaritori, soprattutto quando il guaritore si mostra impacciato e maldestro persino nell’applicare le sue ricette. Se anche la situazione dell’accademia italiana fosse di assoluta emergenza, a maggior ragione si dovrebbe stare alla larga dagli stregoni. Inoltre, proprio i fautori della bibliometria devono fare i conti con il fatto che i dati bibliometrici a livello aggregato (per i quali le analisi bibliometriche hanno effettivamente una qualche validità statistica) smentiscono decisamente la diagnosi che vede nell’accademia italiana un paziente moribondo. Senza voler negare i problemi dei concorsi italiani, se la visione del tutto catastrofica di alcuni fosse vera, non si spiegherebbe il fatto che nei settori bibliometrici, la produttività italiana è superiore a quella di Germania, Francia e Giappone, come illustrato sotto.
Se i risultati sono questi, sostenere che il reclutamento sia stato sistematicamente anti-meritocratico cozza contro le dure cifre. La situazione è più articolata di come la vogliono far apparire coloro che, estremizzando i problemi, propugnano soluzioni estreme, ma prive di basi scientifiche e riscontri internazionali.
Non è chiaro come si possa promuovere l’eccellenza scientifica ricorrendo a metodi che la scienza bibliometrica, lungi dal ritenere eccellenti, considera inadeguati se non dannosi. Tanto per cominciare, non si capisce perché nel nome della rivoluzione dovremmo distruggere interi settori dove abbiamo una indiscutibile tradizione scientifica internazionale:
http://www.ilsussidiario.net/News/Educazione/2012/9/9/UNIVERSITA-Israel-solo-la-pensione-ci-puo-salvare-dalla-rivoluzione-giacobina-/319346/
Insomma, ci sono diverse ragioni per adottare un approccio scientifico e non affidarsi alle pozioni miracolose.
Grazie della risposta. Mi permetto di sottolineare che nel mio precedente intervento non auspicavo in alcun modo l’uso di indici bibliometrici. Ponevo, invece, l’attenzione sul fatto che in Italia il mondo accademico è pieno (come qualsiasi altro settore della nostra nazione) di furbacchioni. Gli atteggiamenti disonesti sono spesso accettati passivamente in molti gruppi scientifici.
Tenendo conto di questo aspetto, è chiaro che l’applicazione di un qualunque metodo di valutazione in Italia (sia esso bibliometrico o non bibliometrico) ci si scontrerà sempre con la furbizia e la disonestà dimostrata dall’accademia italiana (l’articolazione delle classifiche delle riviste di classe A è uno degli ultimi episodi rivelatori degli atteggiamenti che tento di descrivere).
In sintesi, credo che il metodo ANVUR/ASN sia totalmente sbagliato ma penso che il problema principale non sia il metodo di reclutamento bensì l’ethos degli italiani! L’obiettivo primario delle leggi e dei regolamenti, quindi, dovrebbe essere quello di indurre comportamenti virtuosi.
Sono completamente d’accordo. A tale proposito, mi domando quale siano le conseguenze – fosse anche solo simboliche – del caso Sindoni (https://www.roars.it/curriculum-taroccato-di-commissario-asn-il-miur-consente-la-rettifica-e-finisce-sul-corriere/) il quale, nonostante la situazione fosse nota all’ANVUR, continua a far parte della commissione di abilitazione e, anzi, ha potuto rettificare le pubblicazioni fantasma nel suo CV grazie all’autorizzazione di una nota direttoriale MIUR il cui contenuto è ignoto. C’è chi chiede le dimissioni del ministro (http://www.nuovosoldo.it/2013/07/09/il-prof-di-bella-chiede-le-dimissioni-del-ministro-carrozza/). Nel nostro articolo su Roars avevamo segnalato l’urgenza di fare chiarezza mandando un primo segnale, per esempio, con la pubblicazione della nota direttoriale.
Sul tema dell’utilizzo degli indici bibliometrici si e’ detto veramente molto. Il dato a mio avviso piu’ curioso, tuttavia, e’ che una volta ‘abilitato’ il candidato dovra’ sostenere un esame locale. Sulla composizione della commissione che sara’ chiamata a gestire il concorso e sulla metodologia con la quale lo stesso verra’ strutturato si sa, invece, veramente poco. Il timore e’ che si sia cambiato tutto, per non cambiare nulla, esercizio cui siamo sfortunamente abituati.
Finché non sarà previsto per legge-regolamento generale che la commissione locale dovrà essere estratta (a parte il mebro interno), e non nominata dal dipartimento in modo del tutto libero, il sistema concorsuale di secondo livello sarà pressoché inefficace. Basti pensare all’esperienza dei vecchi concorsis per RTI, dove vinceva sempre (salvo nell’ultima tornata, in cui era stata imposta l’estrazione della commissione) il candidato locale.
Ma poi è successo che nell’ultima tornata gli estratti a sorte si sono messi d’accordo per confermare il candidato locale! Se la mentalità rimane quella, tutto è inutile …
nella mia materia nell’ultima tornata RTI sono saltati un buon numero di candidati locali. certo, il membro interno può cercarre di aiutarli, ma entro certi limiti…capisco che in settori più picccoli siano invece più facili accordi tra commissari
Salve, io in questi lunghi anni sono arrivato a una conclusione: bisogna sganciare gli Atenei dallo Stato.
Gli Atenei con i conti in regola, devono avere la possibilità di crescere. Allora, si passa tramite una privatizzazione. Non capisco perché i treni si e l’Università no. Chi vuole comprare un bene, tira fuori i soldini. Vuoi una istruzione di qualità ? La paghi. Lo Stato garantisce un servizio di minimo per tutti, poi però se vuoi andare nell’ Ateneo buono, paghi. E’ una pia illusione risolvere con valutazioni ecc. ecc….tanto poi non si applicano in nome di un finto egualitarismo, tanto sappiamo che è già cosi. Se sei bravo, io ti assumo come docente, e da me guadagni di più. Altrimenti rimani dove puoi. Il tuo Ateneo è scarso ? Mi dispiace, piano piano chiuderai. La soluzione di tutti i problemi.
Auguri