Bibliometria

Una VQR ogni sei mesi basata sul Protocollo ANVUR-STAMINA. Lo propone la CRUI.

«Refrain from adopting the combination of citation and journal metrics to grade publications, as used in the Italian VQR 2011–2014». E anche: «The VQR 2011–2014 has too many vulnerabilities that make it unsound and often controversial» a causa di «conceptually misleading criteria for normalizing and aggregating the bibliometric indicators in use». Stiamo citando articoli pubblicati in note riviste scientifiche peer-reviewed che si occupano di bibliometria. In breve, per la comunità scientifica, la bibliometria anvuriana è una sorta di metodo STAMINA della valutazione. Come reagisce la CRUI? Protesta? Niente affatto. Al contrario, si è fatta promotrice di un Sistema di Supporto per la Valutazione della Produzione Scientifica degli Atenei che adotta il protocollo ANVUR-STAMINA per lo svolgimento semestrale in tutti gli atenei di valutazioni automatizzate su larga scala senza l’utilizzo di peer-review (l’equivalente di due VQR all’anno, estese a tutta la produzione scientifica). Ovviamente l’adozione non avverrà a costo zero, ma dietro pagamento di quote di abbonamento non irrisorie. E a seguito di accordi (i cui costi nessuno conosce) con i grandi produttori internazionali di banche dati bibliometriche (Elsevier e Clarivate).

1. L’antefatto

Il 9 di febbraio 2016 la CRUI (a VQR già ampiamente avviata), in accordo con il “team di valutazione” dell’Università della Basilicata, rendeva disponibile agli atenei che lo richiedevano un software (sviluppato dal team) che simulava le cravatte bibliometriche della VQR e che, dato un articolo, ne restituiva il posizionamento nelle fasce di merito definite dall’ANVUR:  eccellente, elevato, discreto, accettabile, limitato. In pratica, il software faceva in maniera automatica quanto ciascuno avrebbe dovuto fare manualmente utilizzando le tabelle di valutazione bibliometrica messe a disposizione dall’Anvur. Ricordiamo anche che molti articoli, pubblicati in riviste considerate da Scopus e WOS multidisciplinari, secondo le regole previste dall’ANVUR non potevano essere immediatamente inseriti nelle fasce di merito per cui il software restituiva la seguente frase:

La rivista appartiene a categorie interdisciplinari di ISI o di Scopus. Il prodotto sarà  riassegnato dal GEV ad una differente categoria, e valutato come illustrato nel documento di precisazione sui criteri bibliometrici pubblicato dall’ANVUR,

oppure alcuni andavano nella zona di informed peer review, altri ancora, essendo del 2014 e non in fascia eccellente venivano  assegnati  alla informed peer review.

2. Il cruscotto bibliometrico

L’8 marzo scorso, durante l’ultima riunione della commissione ricerca della CRUI, presieduta dal rettore di Bicocca  Messa, è stato presentato agli atenei il Sistema di Supporto per la Valutazione della Produzione Scientifica degli Atenei

un progetto CRUI-UniBas che ha l’obiettivo di dotare il sistema universitario italiano di uno strumento condiviso di autovalutazione dei prodotti della ricerca.

Sempre secondo il documento di presentazione, pervenuto alla redazione,

Le caratteristiche principali del sistema sono le seguenti:

– Il sistema consentirà di effettuare valutazioni automatizzate della produzione scientifica delle aree e dei settori bibliometrici utilizzando parametri mutuati dalla VQR 2011-2014.

– Il sistema adotta criteri ispirati a quelli della VQR. I criteri della VQR sono stati adattati allo svolgimento di valutazioni automatizzate su larga scala senza l’utilizzo di peer-review. In questo modo, sarà possibile valutare tutta la produzione scientifica dei singoli in un quadriennio, piuttosto che due soli lavori come ha fatto la VQR 2011-2014.

– il sistema fornirà a ciascun Ateneo che aderisce all’offerta un cruscotto di indicatori relativi alla produzione scientifica per diversi livelli di aggregazione (singoli, ssd, aree, settori concorsuali), che gli Atenei potranno utilizzare come supporto decisionale per le loro elaborazioni.

–  il sistema sarà disponibile per lo svolgimento delle procedure di valutazione in due periodi (per il 2017 presumibilmente da maggio a luglio e da settembre a novembre); ciascuna procedura di valutazione durerà al più 4 settimane.

3. La pseudoscienza bibliometrica diventa “strumento condiviso”

Il testo di presentazione è più lungo, ma già dagli stralci ricaviamo delle informazioni importanti.

In primo luogo che i criteri VQR si avviano a diventare lo standard (quello adottato dal futuro “strumento condiviso di autovalutazione dei prodotti della ricerca”) della valutazione adottata da tutte le università italiane. Il software è stato addirittura aggiustato per eliminare totalmente il giudizio umano.

Poco importa che i criteri VQR siano pseudoscientifici. Non lo dicono solo quelli di ROARS.

Su Scientometrics è da poco uscito un articolo [qui] in cui fin dal titolo si raccomanda di “evitare di adottare la combinazione di citazioni e metriche delle riviste, come usate nella valutazione della ricerca italiana” [ne avevamo già parlato qui].

Abramo e D’angelo sostengono che ANVUR è stata totalmente sorda alle critiche e raccomandazioni su metodologia e indicatori impiegati per la VQR 2004-2010, emerse nel dibattito scientifico internazionale (Franco, 2013; Abramo, D’Angelo, and Di Costa, 2014; Abramo and D’Angelo, 2015; Baccini and De Nicolao, 2016; Baccini, 2016), ed ha riproposto imperterrita esattamente lo stesso schema per la VQR 2011-2014. L’unica sostanziale differenza è la formula usata per combinare le citazioni dell’articolo e l’indicatore di prestigio della rivista, una formula che CRUI adesso propone addirittura come standard. Abramo e D’Angelo mostrano, dati alla mano, come quella combinazione non regga un semplice test predittivo. E nelle amare conclusioni dell’articolo scrivono (i grasssetti sono nostri):

The current authors (also Italian) are not surprised to witness the mistaken use of indicators to assess the country’s research institutions. Instead, the surprise is that the indicator was proposed, published (and then adopted) without any sort of empirical demonstration or theoretical argument that would legitimate it […]. While the co-authors of the proposal are neophytes in bibliometrics, we would at least expect that such senior scientists (Sergio Benedetto, ANVUR executive committee, responsible for the VQR; Giorgio Parisi, winner of the Max Plank medal for theoretical physics and other international awards) would insist on the scientific method as a constant of all their work. […] However to any international readers we can signal that the VQR framework is already prey to so many and such limitations, as evidenced in the works cited in introduction […] that an exercise to extricate and further quantify this particular damage would indeed be of scarce value. What we can say to such international readers, hoping they are not so deaf as ANVUR, is: ‘‘Refrain from adopting the combination of citation and journal metrics to grade publications, as used in the Italian VQR 2011–2014’’.

4. I criteri della VQR? “Concettualmente ingannevoli”

Un’altro fronte di critica al metodo della VQR 2011-2014 arriva da un altro articolo uscito di recente. Franceschini e Maisano [si veda qui], riprendendo argomenti e grafica della junk arithmetic di Peppe e Gedeone, mostrano le debolezze del metodo di valutazione e normalizzazione che la CRUI propone di estendere a tutte le università italiane. Nell’abstract, senza mezzi termini, denunciano l’uso di

conceptually misleading criteria for normalizing and aggregating the bibliometric indicators in use.

Nella tabella 7 del loro paper sintetizzano i problemi del metodo ANVUR in questo modo:

[Authors] believe that the bibliometric evaluation process of the VQR 2011–2014 contains too many questionable operations. Also, even if (erroneously) deciding to combine [citations] and [journal metrics], we believe that this could be done avoiding dubious transformations/normalizations that alter the scales of the initial data.

E concludono, anche loro amaramente (i grassetti sono nostri):

In light of the arguments gathered and developed in this paper, we are doubtful whether the whole procedure – once completed thanks to the participation of tens of thousands of individuals, including evaluation experts, researchers, administrative staff, government agencies, etc. – will lead to the desired results, i.e., providing reliable information to rank universities and other research institutions, depending on the quality of their research. We understand the importance of national research assessment exercises for guiding strategic decisions, however, we believe that the VQR 2011–2014 has too many vulnerabilities that make it unsound and often controversial.

5. Il metodo STAMINA della valutazione: quanto ci costa?

La CRUI si sta quindi facendo promotrice dell’adozione generalizzata di un protocollo di valutazione non validato dalla comunità scientifica internazionale. Una sorta di metodo STAMINA della valutazione, che non sarà limitato alla sola VQR, con effetti sulla distribuzione delle risorse FFO che abbiamo mostrato -per fortuna- essere ridicoli; ma che diverrà lo standard condiviso in tutti gli atenei per le autovalutazioni periodiche. Ovviamente l’adozione non avverrà a costo zero, ma dietro pagamento di quote di abbonamento non irrisorie. E a seguito di accordi (i cui costi nessuno conosce) con i grandi produttori internazionali di banche dati bibliometriche (Elsevier e Clarivate)

Costi aggiuntivi per gli atenei che si aggiungono a costi che la commissione ricerca della CRUI  sembra ignorare. Infatti le università (o la maggior parte di esse) uno strumento per la valutazione, il monitoraggio e l’analisi della produzione scientifica ce lo hanno già. Si chiama IRIS e nel suo modulo Reportistica e analisi fornisce agli atenei uno strumento per la autovalutazione condotta su SSD, settori concorsuali, dipartimenti, aree  e su singoli individui. E’ uno strumento che gli atenei hanno comprato a caro prezzo da CINECA e che mantengono a fatica, spesso con poco personale a disposizione. Ma almeno sono autonomi nella gestione dei propri dati, possono decidere di fare una analisi della propria produzione scientifica quando ritengono di averne la necessità, e, come ci insegnano i fondamentali di qualsiasi esercizio di valutazione, possono scegliere gli indicatori sulla base della finalità che intendono perseguire.

Allo stesso modo la maggior parte degli atenei sottoscrive un abbonamento a WOS e Scopus e per ciascuno dei propri autori ha a disposizione i dati bibliometrici. Anche l’accesso a questi due strumenti ha costi molto elevati (quanto spende il sistema universitario italiano per l’accesso alle banche dati bibliometriche?), ma con un po’ di accortezza si possono fare analisi anche raffinate.

Alcuni atenei sottoscrivono poi un abbonamento a Scival o a Incites (gli strumenti di Elsevier e Clarivate per analisi bibliometriche avanzate) che posizionano la ricerca della istituzione rispetto al mondo utilizzando un ampio set di indicatori condiviso a livello mondiale.

Inoltre molti atenei sottoscrivono l’abbonamento alle API premium dei due database da cui estraggono dati bibliometrici più complessi, come i percentili per gli articoli e per i diversi indicatori dei journals, tutti dati importati in IRIS e quindi utilizzabili indipendentemente dall’acquisto di Scival o Incites.

A questo punto ci chiediamo:

  • sulla base di quali riflessioni e considerazioni scientifiche è stata fatta questa proposta della CRUI?
  • Dove è la documentazione che analizza lo stato dell’arte negli atenei e spiega cosa fornisce in più il software per l’autovalutazione rispetto al modulo reportistica e analisi che gli atenei hanno già a disposizione, ma che pochissimi utilizzano (e perché non lo utilizzano)?
  • E’ stata condotta un’analisi delle reali esigenze degli atenei, per verificare se la strumentazione attualmente posseduta da questi ultimi risulta insufficiente?
  • E’ opportuno che i singoli atenei, nella loro autonomia e con le loro diverse esigenze, si allineino totalmente a metodiche e indicatori concepiti per un esercizio di valutazione nazionale, i quali producono conseguenze che non appaiono sufficientemente analizzate?

La CRUI ha chiesto agli atenei una preadesione entro il 21 marzo, fornendo anche una proiezione dei costi che variano dai 10.000 euro per un ateneo di medie dimensioni ai 22000 per un ateneo di grandi dimensioni. A questi costi si devono sommare i costi per le API premium di Scival che molti atenei hanno già, ma essi dovranno comunque sborsare “solo” un 20 % in più per permettere al database, che pure pagheranno, di poter funzionare. Mentre gli atenei che hanno acquistato le API premium di WOS per ora non potranno usarle. I costi sono calcolati sulla base di una sola valutazione annuale, per effettuarne più d’una (due ad esempio) dovrà essere messo in conto un 50% in più.

La CRUI propone dunque  uno strumento che è praticamente un doppione di quanto gli atenei a fatica manutengono. Ci si chiede come mai la CRUI promuova uno strumento che utilizza indicatori non validati dalla comunità internazionale (e a dire il vero neppure da quella nazionale), e per quali motivi si arroghi il diritto di decidere quando e come gli atenei debbano effettuare le proprie valutazioni.

Non fa male ricordare questi riferimenti.

Abramo, G., D’Angelo, C.A., (2016). Refrain from adopting the combination of citation and journal metrics to grade publications, as used in the Italian national research assessment exercise (VQR 2011-2014). Scientometrics, 109(3), 2053-2065

Abramo, G., D’Angelo, C.A. (2015). The VQR, Italy’s second national research assessment: Methodological failures and ranking distortions. Journal of the American Society for Information Science and Technology, 66(11), 2202-2214.

Abramo, G., D’Angelo, C.A., Di Costa, F. (2014). Inefficiency in selecting products for submission to national research assessment exercises. Scientometrics, 98(3), 2069-2086.

Anfossi, A., Ciolfi, A., Costa, F., Parisi, G., & Benedetto, S. (2016). Large-scale assessment of research outputs through a weighted combination of bibliometric indicators. Scientometrics, 107(2), 671-683.

Baccini, A. (2016). Napoleon and the bibliometric evaluation of research: Considerations on university reform and the action of the national evaluation agency in Italy. [Napoléon et l’évaluation bibliométrique de la recherche: Considérations sur la réforme de l’universitéet sur l’action de l’agence nationale d’évaluation en Italie] Canadian Journal of Information and Library Science, 40(1), 37-57.

Baccini, A., De Nicolao, G. (2016). Do they agree? bibliometric evaluation versus informed peer review in the Italian research assessment exercise. Scientometrics, 108(3), 1651–1671.

Franceschini, Fiorenzo and Domenico Maisano. 2017. Critical Remarks on the Italian Research Assessment Exercise Vqr 2011–2014. Journal of Informetrics, 11(2), 337-57.

Franco, G. (2013). [The scientific sector MED44 facing the task of assessing the quality of research (2004-2010) of the ANVUR (National Agency of Assessing University Research): lights and shadows]. [Il settore scientifico-disciplinare MED44 di fronte all’esercizio di valutazione della qualità della ricerca (VQR 2004-2010) dell’ANVUR: luci e ombre.] La Medicina Del Lavoro, 104(6), 483-485.

 

Send to Kindle
Tag: , , , , , , , , , , , , , , , , , , , , , , , , ,

8 Comments

  1. carlostadio says:

    Che dire… Più evidente di così non è possibile: VQR STAMINA. Aggiungo solo che, così, i magnifici potranno togliersi dalle scatole quegli “irresponsabili” che si sono finora rifiutati di dare credito a questa gigantesca fandonia. Nessuna sorpresa: la CRUI non pensa all’interesse generale della università italiana, ma a scatenare una miserabile guerra di poveri tra gli atenei e i dipartimenti e i singoli… E poi ci sono le famose “porte girevoli”…

  2. braccesi says:

    Bene. Quando nell’enfasi della polemica mi scappa di dire che quanto succede all’Università è colpa esclusiva degli Universitari, forse non faccio affermazioni apocalittiche basate sul nervosismo e la frustrazione. Quando mi scappa di dire che gli universitari rappresentano la peggior classe dirigente che si sia mai vista, forse esagero col mai, ma non sulla sostanza dell’affermazione.A meno che qualcuno non sostenga che i Rettori non sono Universitari.

    • Certamente, e quest’altro è diventato un inutile mantra: se, cari colleghi, vi foste almeno astenuti dalla vqr 2011-14, se aveste tirato fuori qualche unghietta ben curata… qualcosa sarebbe cambiato. Vqr avete voluto e vqr avrete, due volte all’anno, come l’estro di certi animali; andrete in calore, alla lettera, maschi e femmine, due volte all’anno. Non riuscite a mettere insieme le cose? Cineca: riceve finanziamenti pubblici. Cineca: nonostante questo vi vende i programmi. Ora: vi sottrarranno altri soldi. Ma quanto costerà il tutto, a iniziare dall’Anvur, Cineca, compilazione di moduli, individuali e collettivi, ecc. ecc.? ANS inutili perché tanto le immissione in ruolo sono poche, e quelli del primo turno rischiano di perdere tutto. Anche l’abilitazione è costata, in tempo, lavoro, e soldi. Ogni volta regole nuove. Cos’altro c’è da dire?

    • Marinella ma credi veramente che quelli del primo turno dell’ASN perderanno tutto? Io temo invece una proroga continua e infinita dello status quo almeno per il prossimi 10 anni. Lo dimostra anche l’ultimo mille proroghe che ha blindato i concorsi per gli interni fino al 2020.

      Allora tieni presente che il 55% delle risorse umane di ruolo nel sistema accademico italiano con ASN 2012 attendono ancora l’avanzamento interno. Di questi abilitati una parte non ha attualmente titoli per ripresentare la domanda. L’altra parte non si sogna di ripresentarla perché teme una bocciatura. E allora cosa si fa? Potrebbe partecipare a un concorso oppure no?
      Vi faccio un esempio, nel mio dipartimento, di 25 strutturati abilitati ancora non passati al ruolo superiore sapete quanti pensano di ripresentare domanda? Zero.

    • Chiedo scusa per l’intervento irruente.
      Non ho idea, in realtà, cosa possa succedere con le abilitazioni e gli abilitati, ne sono abbastanza lontana, emotivamente parlando, e poi no ho nessunissimo potere. Ma vorrei semplificare ancor di più. Si ha voglia di dimostrare, sul piano logico-matematico, che 2+2=4 ( i calcoli sono molto piu complicati, ovviamente, ma non per chi se ne intende). Non importa che 2+2 non sia =7, 3,5 ecc. Importa che chi, pur sapendo che 2+2=4, si senta o sia messo in una posizione da cui può o potrebbe o possa imporre qualsiasi calcolo (e anche testo oppure modello organizzativo o valutativo) illogico o
      assurdo o superato o avvilente, mortificante. Il problema di base è quindi, a mio modo di vedere, solo ideologico e non matematico. Si vuole mettere l’università in una pozione subalterna, da dove non si possa protestare contro il 2+2=3, perchè altrimenti addio ai FFO, agli avanzamenti di carriera (v. il caso Novelli), ai finanziamenti in generale. Caricandola, invece, di carichi dadattici, di ricerca a chilo, organizzativi , sempre più gravosi, iniettandole dosi da elefante di competitività improduttiva, che rafforzano solo la subalternità di chi subisce.

    • Non Pozione ma posizione. Sorry.

  3. enrico79 says:

    “sarà possibile valutare tutta la produzione scientifica dei singoli…” Mi sembra che siamo alla follia! Così ogni sei mesi avremo un nuovo pseudo-ranking con pagelline automatizzate per ssd e singoli ricercatori? Con tutti i difetti del metodo VQR amplificati? Boh, meglio chiedere asilo a qualche settore non bibliometrico…

  4. La ricerca ha bisogno di tempo e danaro. La distribuzione dei fondi è iniqua, e porta all’autofinanziamento di coloro che non hanno accesso ai gruppi privilegiati (pur in alcuni casi avendo pubblicazioni ed idee), nel tentativo di fronteggiare le richieste di ‘produzione’ di alto livello che giungono da tutte le parti.
    L’ASN è stata un fallimento, molto amaro, il che non significa che alcuni di quelli che sono passati meritassero sicuramente l’idoneità, piuttosto che sono stati inspiegabilmente falciati altri. La VQR è stata spesso in contrasto con i risultati dell’ASN: forse anche su questo dato bisognerebbe riflettere.
    Fare ogni sei mesi rilievi simili a quelli della VQR mi pare folle: nel frattempo si insegna, si dovrebbe partecipare alle riunioni, e su tutto ci si chiede un livello elevatissimo.

Leave a Reply