Un caso “Deep Throat” all’ANVUR? Domani l’ANVUR presenterà il primo Rapporto sullo stato del sistema universitario e della ricerca. Quale sarà la diagnosi? Roars prova ad anticiparne il contenuto, almeno per quanto riguarda il posizionamento internazionale della ricerca italiana. Una fuga di notizie dovuta a qualche “gola profonda” interna all’agenzia? No, nessun “ANVURgate”: molto più semplicemente era stata l’ANVUR stessa a fornire un’anteprima all’interno della Relazione finale VQR del luglio scorso. Un’anteprima che però aveva avuto eco quasi nullo sia nei comunicati dell’agenzia che sui mezzi di stampa. Ma quei dati erano veramente privi di interesse?

 

1. Cosa dirà il primo Rapporto sullo stato del sistema universitario e della ricerca?

Il 13 marzo è apparso sul sito dell’ANVUR il seguente avviso.

 



Dal momento che si tratta della prima versione del rapporto, è più che lecito domandarsi quali aspetti verranno coperti e quale sarà la diagnosi complessiva che verrà proposta dall’ANVUR. In questa sede, crediamo di poter anticipare almeno alcuni dei contenuti relativi ai confronti internazionali in termini di spesa, personale, produzione scientifica ed efficienza della produzione. No, non c’è stata una fuga di notizie imputabile a qualche “gola profonda” degna del “Watergate”.

Niente di così romanzesco: infatti, è stata la stessa ANVUR a fornirci un’anteprima, più di sei mesi fa in occasione della pubblicazione del Rapporto finale della VQR. Mentre l’attenzione dei mezzi di comunicazione e della comunità accademica era focalizzata sulle classifiche “double face” e sulle pagelle di atenei e dipartimenti, la terza parte del Rapporto VQR era passata quasi del tutto inosservata.

Nella sua introduzione erano chiariti bene gli scopi ed anche i limiti:

IL DM che istituisce la VQR 2004-2010 prevede che, al fine di verificare il posizionamento del paese nel contesto internazionale, l’ANVUR sviluppi all’interno del Rapporto Finale VQR un confronto internazionale della posizione relativa della ricerca italiana, realizzata utilizzando i principali indicatori bibliometrici disponibili. Le analisi che seguono sono basate sui dati contenuti nelle banche dati ISI Web of Science e Scopus; i dati relativi a pubblicazioni e citazioni sono anche combinati con quelli sui principali fattori di input per la produzione scientifica (numero di ricercatori e spesa in ricerca e sviluppo), di fonte OCSE, allo scopo di calcolare indicatori di produttività dell’attività di ricerca. […] L’analisi si concentrerà in particolare sulle aree scientifiche 1- 9, con l’aggiunta dell’Area 13 e di parte dell’Area 11, per le quali è usuale il ricorso a indicatori di tipo bibliometrico. L’analisi presentata in seguito è da considerarsi come una esplorazione preliminare dei dati disponibili; l’ANVUR ha intenzione di approfondire ulteriormente l’analisi in occasione del prossimo Rapporto sullo Stato del Sistema Universitario e della Ricerca.

Questa parte del rapporto ha avuto eco quasi nulla nei comunicati ANVUR ed anche sulla stampa nazionale. Infatti, l’attenzione fu completamente catturata da classifiche e pagelle, che a posteriori si sarebbero dimostrate maldestre e inaffidabili al punto che sono in circolazione quatro diversi tipi di votazione VQR, nessuna della quali appare solida:

  1. voto originale;
  2. normalizzazione ANVUR dividendo per media del SSD;
  3. normalizzazione CRUI mediante media e deviazione standard del SSD;
  4. normalizzazine IPR della CRUI.

Invece che esercitarsi in classifiche di dubbio valore, sarebbe stato molto più interessante avere un confronto della ricerca italiana con quella delle altre nazioni. Era vero quello che diceva il Ministro Gelmini nel 2009?

È risibile il tentativo di qualcuno di collegare la bassa qualità dell’Università italiana alla quantità delle risorse erogate. Il problema, come ormai hanno compreso tutti, non è quanto si spende (siamo in linea con la media europea) (M. Gelmini 2009)

La qualità era veramente bassa in termini comparativi? E la spesa era veramente in linea con la media europea?

Ebbene, l’ANVUR aveva finalmente messo a disposizione la risposta all”interno di un documento ufficiale. Come vederemo in seguito, ci sarebbe stato materiale per scrivere articoli assai più significativi delle  disamine sui presunti sorpassi tra università madri e figlie o sulle competizioni tra atenei metropolitani e di provincia.

Non fu così e quei dati passarono nel dimenticatoio a parte la pubblicazione di qualche grafico nei commenti di Roars (qui, qui, qui, qui, qui, qui, qui, qui, qui e qui). Sarebbe davvero auspicabile che il Rapporto sullo stato della ricerca riprendesse questi raffronti internazionali, dando loro il peso che non hanno avuto fino ad oggi.

Nel seguito, riassumiamo i dati di maggior interesse seguendo uno schema simile a quello proposto dall’ANVUR:

  • analisi degli input finanziari ed umani;
  • analisi degli output in termini di pubblicazioni e di citazion;
  • calcolo dell’efficienza ottenuta come rapporto tra output ed input.

 2. Gli input: risorse finanziarie ed umane

Il primo dato da considerare è la spesa in ricerca e sviluppo in rapporto al PIL. Come si può vedere, l’Italia è in sensibile ritardo rispetto alle altre nazioni del gruppo di confronto.


Higher education expenditure on R&D (HERD) as a percentage of GDP | OECD Free preview | Powered by Keepeek Digital Asset Management Solution

Non sarebbe tuttavia corretto utilizzare il dato di cui sopra quando ci si riferisce alla ricerca accademica. Il rapporto ANVUR riporta un grafico relativo alla spesa in ricerca e sviluppo disaggregata nei diversi settori. Tuttavia, l’ammontare della spesa nel settore “Istruzione superiore” non è ben leggibile e preferiamo riferirci alla fonte originaria, ovvero le statistiche OCSE. Se si considerano le realtà più comparabili, come Regno Unito, Germania e Francia, permane un sensibile ritardo italiano seppur meno pronunciato rispetto al grafico precedente.

È interessante considerare anche un’altra forma di input, costituita dal numero di ricercatori in rapporto alla forza lavoro complessiva. Di nuovo, l’Italia è in forte ritardo, Nel gruppo di confronto considerato, solo la Cina si colloca alle sue spalle.

Anche in questo caso, è bene disaggregare il numero dei ricercatori in funzione del settore, come viene fatto nel seguente grafico. Nel settore dell’istruzione superiore permane un considerevole ritardo, anche se non così spiccato come nel settore privato.

3. Gli output: pubblicazioni e citazioni

Se passiamo a considerare gli output, ovvero le pubblicazioni scientifiche e le citazioni che esse ricevono, scopriamo che l’ANVUR non fornisce i relativi grafici, ma riporta i dati solo in forma tabellare. Poco male: a partire dai dati del Rapporto finale VQR non è difficile ottenere i grafici che riportiamo di seguito.

Cominciamo con le pubblicazioni. Per ragioni di leggibilità sono stati omessi i dati delle prime due nazioni, USA e Cina. In assoluto, l’Italia si colloca all’ottavo posto, in avvicinamento rispetto al Canada.

Inoltre, la produzione scientifica italiana appare in rapida crescita. Per verificarlo, nel seguente grafico è riportata la crescita media annua (in %) nel periodo 2004-2010. Si vede che l’Italia, pur superata da diverse nazioni, è cresciuta più rapidamente di Germania, Regno Unito, Francia, Svezia, USA, Russia e Giappone.

 

Per capire l’impatto della ricerca italiana sulla comunità scientifica internazionale è utile far riferimento alle citazioni ricevute dagli articoli scientifici. In termini assoluti, l’Italia si colloca di nuovo all’ottavo posto.

Per avere un’idea del profilo temporale, esaminiamo l’andamento della percentuale mondiale di citazioni. Per motivi di leggibilità il grafico non comprende il dato USA. È visibile la rapida crescita del dato italiano che si avvicina ormai a quello canadese e giapponese e riduce il distacco rispetto a quello francese.

4. L’efficienza: pubblicazioni e citazioni su spesa e per ricercatore

Se i dati precedenti sembrano smentire una presunta bassa qualità del sistema della ricerca italiano, rimane aperta la domanda sulla sua efficienza. Una prima misura di efficienza proposta dall’ANVUR si ottiene dividendo il numero di pubblicazioni per la spesa pubblica in ricerca e sviluppo. L’Italia si colloca al quarto posto dietro Svizzera, Regno Unito e Svezia. Risulterebbe pertanto più “efficiente” delle altre nazioni, che includono Francia, Germania, USA e Giappone.

 

Un’altra misura di efficienza è data dal rapporto tra numero di citazioni e spesa pubblica in ricerca e sviluppo. In questo caso l’Italia occupa “solo” l’ottavo posto, ma rimane più “efficiente” di Germania, USA, Francia e Giappone.

Le misure di efficienza più facilmente comprensibili sono quelle relative alla produttività individuale dei ricercatori. Purtroppo, sono anche misure che vanno lette con una certa cautela perché la definizione del numero di ricercatori è in qualche modo convenzionale e segue regole che potrebbero differire da nazione a nazione. Tra i problemi da considerare, c’è la definizione di ricercatore “full-time equivalent”, dato che i professori universitari dedicano parte del loro tempo alla didattica ed anche la definizione delle tipologie di soggetti da contare come ricercatori.

Tenendo presenti tutte questi caveat, esaminiamo i dati riportati dall’ANVUR per i ricercatori del settore pubblico. In quanto a numero di pubblicazioni pro-capite l’Italia è sesta e – ancora una volta – risulta più produttiva di Francia, Germania e Giappone.

Passando al numero di citazioni, l’Italia diventa sesta, ma precede pur sempre Germania, USA, Francia e Giappone.

5. Una domanda per l’ANVUR

I dati pubblicati lo scorso luglio dall’ANVUR mettono in evidenza alcuni fatti già noti agli esperti del settore, ma che in Italia non erano mai stati oggetto di Rapporti di un organo istituzionale:

  1. Le risorse finanziarie ed umane investite nella ricerca e sviluppo sono comparativamente basse rispetto alle altre nazioni con cui amiamo confrontarci, soprattutto per quanto riguarda la spesa privata.
  2. I risultati in termini di produzione scientifica e di impatto sono tutt’altro che trascurabili; fino al 2010 l’Italia oltre che collocarsi all’ottavo posto mondiale mostrava una velocità di crescita percentuale persino maggiore di nazioni come Germania, Regno Unito, Francia, Svezia, USA.
  3. L’efficienza, comunque la si misuri (pubblicazioni o citazioni contro spesa o numero di ricercatori), appare buona e sistematicamente maggiore di quella di Germania, Francia e Giappone.

Si tratta di informazioni rilevanti ai fini della politica universitaria e della ricerca, se soltanto fossero messe a disposizione dell’opinione pubblica e dei decisori politici. La presentazione di domani, durante la quale interverrà anche il nuovo Ministro Giannini, offrirà all’agenzia di valutazione un’occasione importante per sgombrare il campo da equivoci e narrazioni ideologiche che hanno inquinato il recente discorso pubblico sull’università e la ricerca.

L’ANVUR saprà e vorrà approfittarne?

Send to Kindle

14 Commenti

  1. Potrebbe essere utile se qualche docente dedicasse qualche minuto in aula a far vedere questi risultati!

    Oltre a mandare una bella lettera ai maggiori quotidiani.

    Detto questo ho una terribile premonizione: se siamo così bravi con le risorse a disposizione…i politici potrebbero dirci che non ne servono altre…

    • Detto questo ho una terribile premonizione: se siamo così bravi con le risorse a disposizione…i politici potrebbero dirci che non ne servono altre…
      ———————
      Il problema è che i governi che si stanno susseguendo non ci danno più nemmeno quelle!

  2. Prima di tutto grazie A Giuseppe De Nicolao per questo articolo che ho trovato molto chiaro e rigoroso nella formulazione.
    La lettura dell’articolo mi ha portato a fare alcune riflessioni, che condivido in questa sede in modo necessariamente veloce e poco argomentato. Devo premettere ancora che quanto dirò non intende essere una critica al testo di Giuseppe De Nicolao, ma solamente un elenco di ulteriori riflessioni, che hanno origine proprio nella lettura dell’articolo.
    1. Mi sembra che il primo punto da sottolineare (menzionato all’inizio dell’articolo) sia l’assenza di dati relativi ai cosiddetti settori non bibliometrici. Cito: “L’analisi si concentrerà in particolare sulle aree scientifiche 1- 9, con l’aggiunta dell’Area 13 e di parte dell’Area 11, per le quali è usuale il ricorso a indicatori di tipo bibliometrico.” (dunque l’area 10, Scienze umanistiche, parte dell’area 11, l’intera area 12, Scienze giuridiche e 14, Scienze politiche e sociali sono escluse dall’analisi). A tal proposito mi chiedo a) se i dati disponibili e utilizzati per gli altri paesi non contengano invece anche queste aree e, eventualmente, secondo quale criterio siano stati valutati i “prodotti” scientifici in settori “non bibliometrici” b)se non sia il caso di cominciare a trovare un modo di valutare la ricerca anche in queste aree, che comprendono molte discipline e un vasto numero di pubblicazioni. Si potrebbe cominciare dal passare in rassegna i criteri di valutazione utilizzati da altri paesi, per esempio alcuni di quelli citati nell’articolo. Ritengo la valutazione della ricerca, a distinti livelli, essenziale per il progredire della ricerca stessa. Dunque occorre trovare una via, anche in Italia, per la valutazione nei settori “non bibliometrici”. Ho comiciato una analisi di questo tipo scrivendo un articolo che sarà pubblicato negli USA, ma la questione rimane aperta.

    2. Ulteriore considerazione: ovviamente – in questo contesto non può che essere così, ma è bene chiarirlo e tenerlo presente – i dati dell’Anvur e gli altri dati presi in esame dall’articolo si riferiscono al numero di pubblicazioni e di citazioni. Analisi quantitativa. Non si discute della qualità delle pubblicazioni (che non sempre viene garantita dal numero delle citazioni per motivi che qui non c’è tempo di discutere).

    3. Dalla lettura di alcune tabelle (quelle contenute nel paragrafo 3)si evince che il numero di pubblicazioni e relative citazioni sia cresciuto negli anni presi in considerazione (1985-2010)in tutti i paesi, con scarse differenze percentuali. Un trend mondiale? Mi chiedo, non retoricamente, perchè.

    4. Infine, al paragrafo 4, l’articolo misura l’efficienza, data dal rapporto tra pubblicazioni e citazioni su spesa e per ricercatore. Qui viene colta l’eccellenza italiana, che però (mi si corregga, potrei sbagliare)è, in fin dei conti, dovuta al basso investimento (vedi tabella 1 paragrafo 2)italiano in istruzione e ricerca rispetto ai paesi con cui avviene il confronto: basso investimento in termini di percentuale del PIL e in termini di risorse umane (alla cui analisi è dedicato tutto il paragrafo 2).

    5. A partire da tali riflessioni io non sarei così soddisfatta della situazione in cui versa il settore ricerca in Italia: mancano alcuni dati (i settori “non bibliometrici”), l’investimento economico e umano è scarso a confronto con altri paesi, in fondo tutti i paesi sembrano aver aumentato il numero di pubblicazioni e citazioni. Mettendo tra parentesi il fattore “qualità” emerge che i ricercatori italiani siano migliori dei loro colleghi perchè riescono a fare (buona? questi dati non possono dirlo) tanta ricerca nonostante la scarsezza di risorse. A fronte di questo successo chiederei a chi finanzia università e ricerca di investire di più in questi settori. Non di ritenersi soddisfatti perchè dall’analisi dei dati quantitativi (e parziali: mancano intere aree)emergerebbe l’eccellenza della ricerca italiana.
    Avrei voluto essere più breve e avrei dovuto approfondire alcune riflessioni (dicevo, non è la sede opportuna). Me ne scuso prima di tutto con l’autore dell’articolo, che ringrazio per i preziosi spunti di riflessione e le analisi accurate.
    Sonia Saporiti

  3. Lo spegnimento del sistema:

    1) Ti do meno risorse perché sei poco efficiente (non è vero ma comando io).

    2) Con meno risorse divento davvero poco efficiente (e sempre peggio va nel medio-lungo periodo).

    3) Chi comanda dice: avevo ragione io, produci poco, quindi ti chiudo.

    Scusate la “paranoia da cospirazione”, ma a me sembra che l’Università pubblica sia sotto attacco. Un attacco preparato a tavolino. Un “piano” mi verrebbe da dire…

    • Un noto padre dell’antipsichiatria tempo fa scrisse un’opera (altrettanto nota) sul ruolo della comunicazione implicita e dei suoi paradossi nella genesi della schizofrenia. Il commento precedente mi ha immediatamente richiamato alla memoria quell’uso eccellente della metafora nel “nodo” di Laing che dice:
      “In lui ci dev’essere qualcosa che non va
      perché non agirebbe come fa
      se così non fosse
      quindi agisce come fa
      perché in lui c’è qualcosa che non va”…
      con tutte le conseguenze sull’investimento nella ricerca e le relative manipolazioni dell’informazione che conosciamo.

  4. Grazie, Giuseppe, per la tua puntuale risposta. Anche io sono d’accordo con quanto hai scritto. In particolare, so bene perché mancano i dati dei settori “non bibliometrici” (lavoro in università in un settore non bibliometrico e sento tutta la problematicità della questione), non pensavo fosse una mancanza da parte tua non averli inseriti, è ovvio.
    Per il resto, nella tua risposta ci sono due punti degni di attenzione: quello di una crescita smisurata nel numero di pubblicazioni (a occhio e croce, ma non ho i dati italiani – solo tedeschi e americani – la stessa tendenza si registra anche nei settori non bibliometrici), che non potrà continuare in eterno e che, appunto, ha dato luogo a comportamenti poco onesti nella stessa comunità scientifica, per altro denunciati sulle pagine di roars.
    Infine, grazie per avermi chiarito perché fosse importante sottolineare l’eccellenza della ricerca italiana nonostante lo scarso investimento economico e umano.
    Credo che tra gli obiettivi principali ci siano dunque quello di strutturare un sistema, più o meno formalizzato, di valutazione dei settori “non bibliometrici”; e quello di chiedere, anche sulla base dei risultati da te elaborati, maggiori fondi per tutto il sistema di ricerca.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.