Fra gli articoli che continuano ad uscire in relazione alla valutazione della ricerca, quello di Daniele Checchi recentemente pubblicato sulla rivista Il Mulino (Valutazione: c’è un medicinale adatto?)  mi ha colpito per la modalità superficiale con cui viene effettuata la diagnosi sullo stato di salute dell’università italiana e se ne propone una cura.

L’articolo prende le mosse da una idea di università che nel corso degli ultimi anni ha cercato faticosamente di riscattarsi da una sorta di provincialismo che viene misurato sulla base della numerosità dei docenti italiani che hanno almeno una pubblicazione nel database Web of Science.

Il database è preso come riferimento perché l’indicizzazione in Web of Science, spiega l’autore,  è una forma di garanzia della qualità della rivista indicizzata

“Molti vorranno convenire che la pubblicazione di articoli su riviste ISI sia un segnale di potenziale qualità della ricerca svolta”

Conveniamo.  Ma questa affermazione riguarda in particolare la ricerca mainstream, e tralascia completamente il livello locale dove pure possono esserci (e ci sono) riviste di qualità, che attuano “un vaglio di un referaggio anonimo”.

Dalla diminuzione del numero di ricercatori, associati e ordinari che non possono vantare una pubblicazione nel database Web of Science, (viceversa, dall’aumento di docenti e ricercatori che hanno almeno una pubblicazione censita da Web of Science) si deduce lo stato di salute dell’università italiana che (a parere dell’autore) si è andata via via internazionalizzando (anche se non abbastanza) nel lasso di tempo 2000-2011 anche grazie al ricambio generazionale.

Si riconosce il fatto che la misura della produzione scientifica sulla base degli articoli in un sistema nazionale composto per un terzo  da docenti e ricercatori appartenenti alle scienze umane (o ad ambiti disciplinari che hanno un comportamento simile a quello degli umanisti) dia solo un quadro parziale della situazione, tuttavia indica una linea di tendenza. Ciononostante, continua sempre l’autore, avere un terzo dei docenti italiani senza pubblicazioni visibili internazionalmente (vale a dire nel database Web of Science) è indice di bassa produttività.

A me invece pare che sia del tutto sbagliato il concetto di visibilità internazionale associato a Web of Science che, lo ricordiamo, è un database commerciale che censisce una minima parte della produzione scientifica, sia rispetto alle tipologie prese in considerazione (l’indicizzazione dei libri ha preso avvio da poco, ma si tratta soprattutto di libri ed editori anglofoni), sia rispetto alle lingue rappresentate, sia rispetto alle tematiche trattate. Sembra davvero che l’autore dell’articolo abbia in mente una unica tipologia di comunità scientifica, quella che pubblica articoli in riviste di lingua inglese su tematiche mainstream.  Per fortuna la situazione non è così monolitica e le comunità scientifiche hanno comportamenti molto diversi e variabili sia per scelta delle sedi editoriali che delle modalità di comunicazione della loro attività scientifica.

 

Quelle ad esempio che pubblicano soprattutto in proceedings, e per le quali non è così significativo pubblicare su riviste presenti in WOS ma nonostante ciò hanno visibilità internazionale.

Quelle che pubblicano libri o saggi, anche in lingue diverse dall’italiano ma i cui contributi non saranno mai censiti da Web of science.  Ad esempio per le aree 10-11-12-14 nel mio ateneo il numero di saggi e monografie rappresenta il doppio del numero degli articoli, e per l’area 13 si pubblicano tanti saggi e libri quanti articoli, con un rapporto che è rimasto costante negli anni. Allo stesso modo si comportano alcuni settori della matematica, o della fisica, o delle scienze agrarie o veterinarie o mediche.

L’autore si stupisce della distribuzione disuguale della produttività dei docenti. Pochi docenti molto produttivi e molti docenti poco produttivi, come se fosse una peculiarità  del nostro sistema nazionale. Ma su questo principio, dimostrato per tutti gli altri sistemi nazionali, Lotka e Bradford hanno costruito i loro modelli e Garfield ha costruito la sua fortuna.

La causa di questo presunto immobilismo, sempre  secondo l’autore, sarebbe la mancanza di incentivi e in particolare di un sistema di valutazione e misurazione della produttività, per cui una volta raggiunto l’ordinariato, i ricercatori smetterebbero di fare ricerca.  In questo modo cancella con un colpo di spugna la attività di valutazione interna che viene svolta dagli atenei da parecchio tempo, spesso legata ad incentivi e distribuzione di fond . La recente indagine della CRUI, ricordata anche su queste pagine, che traccia uno stato dell’arte della situazione italiana mostra come già 16 atenei sugli attuali 81 e 68 rispondenti all’indagine abbiano avviato una attività di valutazione interna prima del 2001, mentre parecchi altri hanno cominciato in corrispondenza della VTR 2001-2003 a strutturare un vero e proprio modello di valutazione interna. Al di là delle differenze che emergono dall’indagine CRUI e della necessità di individuare un modello comune che permetta anche un confronto, il quadro che emerge è quello  di un sistema che ha cercato, a mano a mano che i fondi diminuivano, di trovare modelli efficienti  di distribuzione delle risorse e di conoscenza e indirizzo della ricerca svolta.

L’articolo di Checchi passa poi a trattare delle liste di riviste e rispetto agli errori individuati  incolpa i docenti che hanno inserito nei loro siti di tutto e di più, anche ciò che non era pubblicazione scientifica.

Credo che ormai ci sia accordo sul fatto che il sito docente è uno spazio in cui nessuno ha detto ai docenti cosa mettere o non mettere. Ciascuno ha agito in piena libertà, tenendo traccia di quel che riteneva valesse la pena di essere ricordato e con l’idea comunque che quello fosse uno spazio privato. Nessuno ha detto che nel sito docente vanno inserite le pubblicazioni scientifiche, anche perché nessuno fino ad ora (fino alla consultazione del CUN apertasi il 23 di aprile)   ha mai cercato di dare una definizione di pubblicazione scientifica.

E’ a partire da questa considerazione che ANVUR ha creato un gruppo di lavoro il cui compito era appunto quello di espungere i titoli non scientifici dagli elenchi di riviste su cui avevano pubblicato i docenti e ricercatori italiani. Purtroppo il gruppo ha lavorato con tempi molti stretti e  un certo numero di titoli non scientifici è rimasto nelle liste finali. Questi titoli sono stati evidenziati e (credo) eliminati. Penso quindi che l’unica cosa da fare sia di ringraziare chi ha fatto questo lavoro di controllo.

In questo senso l’autore è rimasto su posizioni che mi pare Anvur abbia già superato da tempo. In un recente Workshop sulla terza missione delle università e degli enti di ricerca, organizzato da Anvur a Roma, si è cercato di mettere in fila tutte le attività di terza missione, fra cui ricadono le attività di divulgazione scientifica, che è comunque opportuno raccogliere perché sono parte integrante dell’attività di chi fa ricerca.

Diana Hicks in un bel saggio apparso da poco scrive: “the nobel prize winning Princeton economist Paul Krugman exerts influence through his  New York Times columns” e credo che questo sia valido anche da noi.

Ma quale può essere la soluzione per la situazione di bassa produttività del nostro sistema nazionale (così come definita in apertura, vale a dire troppo pochi autori che pubblicano sulle riviste indicizzate da WOS) si chiede l’autore in conclusione?  E indica la soluzione  nella certificazione da parte di ANVUR con cadenze frequenti  della attività di ricerca con contenuti di originalità scientifica. “l’impatto dell’azione dell’Anvur dipenderà in parte dalla modalità di divulgazione dei risultati della VQR. Più fine sarà il dettaglio dei dati, più informata e incisiva potrà essere l’azione di correzione e più utili i dati distribuiti agli atenei”

La VQR si è inserita a mia parere in un momento abbastanza particolare nella vita degli atenei, i risultati, ampiamente retrospettivi, ricadranno su strutture appena formate e andranno a comporre un quadro che  è la somma delle singole performance dei singoli individui, o meglio di quello che ciascun individuo reputa essere la propria migliore produzione scientifica del settennio 2004-2010 al netto dei “prestiti” fatti a colleghi per la massimizzazione del risultato come struttura.

Ma anche se il momento fosse diverso, anche se la Valutazione della qualità della ricerca venisse ripetuta a cadenze regolari e su periodi più vicini, valutare le strutture non è come valutare gli individui. E le informazioni di ritorno riguarderebbero in primo luogo i dipartimenti e la modalità in cui la ricerca è stata gestita, non i singoli individui. L’incentivo a fare meglio o di più (e metterei in discussione il fatto che meglio o di più significhi per tutte le aree pubblicare su riviste presenti in WOS) viene a mio parere non dall’Agenzia nazionale, ma da un meccanismo di valutazione interna, che prenda in esame l’intera attività del singolo, possibilmente con cadenza annuale, e che tenga presente le peculiarità delle diverse aree e il contesto. Una analisi sui microdati non fattibile a livello nazionale.

Per quanto fine possa essere il dettaglio dei dati di valutazione forniti dall’Agenzia nazionale, essi si riferiscono  ad una minima parte della produzione scientifica e possono costituire solo una parte delle informazioni necessarie alla “azione di correzione”.

 

 

Send to Kindle

6 Commenti

  1. Scusa, sei troppo “buona”…

    “l’indicizzazione in Web of Science, spiega l’autore, è una forma di garanzia della qualità della rivista indicizzata”
    Già questo è esagerato, non è vero, non dà quasi nessuna garanzia. Forse – e dico forse – per biologia; per matematica e fisica le riviste sono scelte in modo arbitrario; anche voi avete pubblicato l’antico articolo di Figà Talamanca, lucidissimo su questo punto.
    “Scopus” è leggermente meglio (parlo sempre per matematica) ma anche quello e’ incompleto. Comunque, i matematici compaiono adesso su ISI e Scopus non perchè siano diventati più bravi (magari sì, anzi, quasi sicuramente!), ma semplicemente perchè fino a 15 anni fa ISI e Scopus la matematica non la indicizzavano.

    Io solleverei invece un altro punto. Ad esempio, per matematica, una banca dati assolutamente completa c’è, è Mathscinet dell’American Mathematical Society. Comparire su Mathscinet non dà a priori nessuna garanzia che tu sia bravo, capace, competente. Ma, se non compari, semplicemente, vuol dire non sei un matematico (caveat, eccetto due o tre settori particolari, ad esempio Storia, e qualcosa di molto interdisciplinare o applicativo). Leggermente meno completa, per i lavori contemporanei, è Zentrlablatt, la quale tra l’altro, almeno in parte, è consultabile gratuitamente.

    Ora io chiedo: se bibliometria per forza deve essere (vuolsi così colà…) perchè non si devono scegliere le banche dati più appropriate? Guarda guarda, per matematica, per un cavillo burocratico, è stato vietato di usare mathscinet: vedi la risposta 16 della faq del GEV:

    http://www.anvur.org/sites/anvur-miur/files/gev_documenti/gev01_faq.pdf

    Concludo con una domanda retorica: chi trae vantaggio (economico) da tutto questo? Per una valutazione pubblica organizzata dallo Stato si devono usare gli strumenti peggiori e più costosi, quando ce ne sono di migliori e più economici???

    • paolo b_ Scopus” è leggermente meglio (parlo sempre per matematica)
      __________________________________________________
      Infatti, anche Scopus ha avuto i suoi problemi:

      There was speculation that the editor-in-chief of Chaos, Solitons & Fractals, Mohamed El Naschie, misused his power to publish his work without appropriate peer review. The journal had published 322 papers with El Naschie as author since 1993. The last issue of December 2008 featured five of his papers.[31] The controversy was covered extensively in blogs.[32][33] The publisher announced in January 2009 that El Naschie had retired as editor-in-chief.[34] As of November 2011 the co-Editors-in-Chief of the journal were Maurice Courbage and Paolo Grigolini.[35] In June 2011 El Naschie sued the journal Nature for libel, claiming that his reputation had been damaged by their November 2008 article about his retirement, which included statements that Nature had been unable to verify his claimed affiliations with certain international institutions.[36] The suit came to trial in November 2011 and was dismissed in July 2012, with the judge ruling that the article was “substantially true”, contained “honest comment” and was “the product of responsible journalism”. The judgement noted that El Naschie, who represented himself in court, had failed to provide any documentary evidence that his papers had been peer-reviewed.[37] Judge Victoria Sharp also found “reasonable and serious grounds” for suspecting that El Naschie used a range of false names to defend his editorial practice in communications with Nature, and described this behavior as “curious” and “bizarre”. [38]
      [http://en.wikipedia.org/wiki/Elsevier]

    • Riguardo a Scopus ho detto “meglio” nel senso di “maggiore copertura” (rispetto ad ISI, non certo a Mathscinet!). Figuriamoci se può essere imparziale un citation index sponsorizzato (o di proprietà?) di un editore!

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.