Criteri e caratteristiche del sistema di valutazione dell’European Research Council: indipendenza scientifica, indici bibliometrici, omogeneità della valutazione. Quali risultati ottiene l’Italia? Un sistema applicabile anche a livello nazionale?
_________________________________________
I criteri di valutazione individuale
e dei progetti di ricerca dell’ERC,
European Research Council.
1. Il sistema di Valutazione ERC.[1]
Anche quest’anno è stato aperto il bando “Starting Grant” dell’ERC, European Research Council che è rivolto a ricercatori che iniziano la propria attività di ricerca indipendente (coloro i quali hanno ottenuto il dottorato tra due e meno di dodici anni). Esiste uno schema simile per chi è più avanti nella carriera (Advanced Grant). Sono previste deroghe sull’età per maternità e motivate interruzioni dell’attività scientifica. Questo finanziamento è particolarmente consistente, e prevede fino a 2 milioni di Euro per progetti di durata quinquennale, una vera manna nel panorama italiano. La domanda è costituita da due parti: il CV del proponente e il progetto di ricerca. Il bando è rivolto ad un singolo ricercatore e il criterio di valutazione è solo l’eccellenza, senza considerazioni geopolitiche. Può essere finanziata qualsiasi tipo di ricerca.
Date le ingenti risorse finanziare, (circa 930 milioni di euro per il bando 2013), è ovvio che l’accademia italiana cerchi di promuovere a tutti i livelli la più ampia partecipazione.
Il sistema di valutazione dell’ERC è stato accettato da 27 paesi europei dal 2007. Rappresenta quindi, uno schema collaudato, per la valutazione dei singoli ricercatori, almeno per quella che è definita “eccellenza”.
1.1 Indipendenza Scientifica.
Tra i requisiti è prevista la presenza di “almeno una pubblicazione importante come autore principale”, SENZA la partecipazione del supervisore di dottorato. Questa condizione mette in luce diversi aspetti.
a) L’importanza di lavorare per istituzioni di ricerca diverse: una delle differenze tra gli accademici italiani e quelli del Regno Unito ad esempio, è la maggiore mobilità di questi ultimi. E’ oggettivamente raro trovare docenti che abbiano conseguito il dottorato nella stessa sede ove insegnano. La mobilità a livello universitario serve ad arricchire le proprie esperienze e conoscenze, e a formare docenti più completi.
b) La necessità di aver prodotto “qualcosa” (non necessariamente un articolo di ricerca) come “autore principale”. Le cordate accademiche con co-autori di cortesia in questo caso servono a poco, perché ben difficilmente gli autori di cortesia sono inseriti come principali.
c) L’importanza di staccarsi dal proprio mentore. Probabilmente, il problema più diffuso nei concorsi universitari italiani non è stato il nepotismo “familiare”, es. padre-figlio (che pure esiste) ma il nepotismo “accademico” maestro-allievo. Se un sistema simile alla valutazione ERC fosse implementato in Italia, questo comportamento sarebbe fortemente scoraggiato.
1.2 Indici bibliometrici.
La valutazione avviene attraverso una serie di articoli selezionati dal candidato, nei quali è richiesto di sottolineare perché questi contributi siano importanti. È necessario indicare il numero di citazioni escludendo le autocitazioni.
a) I dati bibliometrici sono parte della valutazione, ma non sono parametri richiesti indice H, Hc o numero totale di citazioni o articoli. Essere autori di cortesia o autocitarsi sistematicamente non serve a molto.
b) Non è necessario pubblicare tanto, ma pubblicare bene. Nelle due pagine che descrivono il CV del candidato non sarebbe comunque possibile descrivere tutti i propri contributi. Questa è la visione dell’eccellenza come “peak performance” piuttosto che somma di tanti contributi. C’è un riferimento esplicito alle riviste di eccellenza multidisciplinari, ma non c’è un riferimento esplicito all’impact factor della rivista, e tanto meno alla “somma degli indici di impatto delle singole pubblicazioni”.
1.3 Valutazione omogenea.
La valutazione è collegiale, ovvero la stessa commissione esamina tutti i candidati. La disomogeneità del metro di giudizio è un problema particolarmente sentito nella valutazione dei progetti di ricerca in Italia, ad esempio la preselezione dei FIRB/PRIN. Nel bando 2012 molti atenei hanno preselezionato i progetti in base alla somma dei voti di due referee. Questa modo di procedere ha un difetto metodologico grave: essendo i referee diversi con diverse scale di voti, è scorretto confrontare i loro giudizi numerici. Inoltre, è assurdo che un progetto valido possa non passare la selezione locale solo perché presentato in una sede ove non vi sono forti competitori. Infatti nei bandi ERC non è prevista una analoga preselezione nazionale.
2. Quali sono i risultati raggiunti dall’Accademia Italiana?
Se analizziamo il numero di PI (principal investigators) la prestazione dell’italia rapportata alla popolazione non è male (2011: terza 2012: quarta). Questo è un ulteriore argomento in favore della tesi per cui la scuola e l’univeristà italiana non sono affatto da buttare. E’ presumibile che vincitori di nazionalità italiana abbiano usufruito del sistema scolastico e universitario italiano per almeno una parte della loro formazione.
Figura 1: vincitori dei bandi ERC-StG 2011 e 2012 suddivisi per nazionalità. Fonte: ERC, European Research Council, www.erc.europa.eu
Il problema nasce però se analizziamo i dati riguardo alle istituzioni: in questo caso nel bando 2012 l’Italia (60 milioni di abitanti) si piazza molto dietro i Paesi Bassi (17 milioni di abitanti) e in posizione simile a Svezia e sraele (9 e 7 milioni di abitanti). Il guaio è che il sistema italiano esporta molti vincitori all’estero, ma non riesce ad attrarre i potenziali vincitori da altri paesi.
Figura 2: vincitori dei bandi ERC-StG 2011 e 2012 suddivisi per istituzione di appartenenza. Fonte: ERC, European Research Council, www.erc.europa.eu
Se si considera che il finanziamento alla “torta” iniziale avviene in base alla popolazione. c’è davvero da arrabbiarsi. Considerando tutti i bandi all’interno del settimo programma quadro (FP7) risulta che l’Italia l’Italia contribuisce al 14% del budget e porta a casa l’8% Di contro altri paesi (Regno Unito in testa) vedono moltiplicate le risorse che investono nelle proprie istituzioni di ricerca. Il risultato ironico è che i tagli alla ricerca degli ultimi anni hanno portato ad un maggiore finanziamento da parte del nostro paese a ricercatori operanti all’estero.
E’ questo tipo di strategia applicabile nell’accademia italiana per la valutazione dei singoli e dei progetti di ricerca?
Rispetto al sistema ANVUR per l’abilitazione scientifica Nazionale, sicuramente sono presenti elementi comuni. Le citazioni come aspetto della valutazione (mondate però delle autocitazioni per l’ERC), la pubblicazione su riviste importanti delsettore o meglio multidisciplinari, la valutazione approfondita solo sua selezione della produzione scientifica scelta dal candidato, la valutazione in funzione dell’età accademica.
Gli elementi di maggior discordanza sono invece:
1) l’assenza di soglie numeriche predefinite.
2) Il poco peso dato all’indipendenza scientifica. Le mediane ANVUR sono basate su tutta la produzione scientifica dei candidati. Ad esempio, almeno per i candidati di prima fascia ha poco senso includere le pubblicazioni con il proprio supervisore di dottorato o il proprio relatore di tesi, anche solo a livello di mediane.
E’ chiaro che il sistema ERC è stato pensato per premiare l’eccellenza e per i progetti di ricerca. Traslare questo in modo automatico per la valutazione dei singoli potrebbe portare a risultati non ottimali.
Inspirarsi a questo tipo di valutazione, per quanto riguarda progetti di ricerca, per una eventuale nuova procedura di reclutamento, ma sopratutto per i concorsi locali che seguiranno l’abilitazione nazionale, avrebbe però almeno un vantaggio significativo: l’Italia diverrebbe molto più competitiva in questo tipo di bandi.
Il sistema di valutazione ERC vede come centrale la ricerca dell’indipendenza scientifica e del progresso rispetto alle seppur importanti conoscenze iniziali. Segue un principio che è stato enunciato da un valido scienziato italiano anche se non proprio recentemente:
“Tristo è quel discepolo che non avanza il suo Maestro” (Leonardo).
[1] tutte le informazioni contenute in questo articolo son contenute nel sito dell’European Research Council,www.erc.europa.eu. La scadenza per la partecipazione al bando “consolidator”, la seconda parte del bando ERC-StG 2013, è il 21 Febbraio 2013.
[2] si veda ad esempio l’articolo di ROARS: https://www.roars.it/la-trimurti-di-profumo/
Grazie del bel contributo: i criteri ERC mi sembrano del tutto condivisibili, e l’indicazione del loro utilizzo in sede di concorsi locali del tutto approppriata.
Sì, ma cerchiamo di focalizzare: l’ERC (e il citato “sistema ERC”) riguardano il finanziamento di **progetti di ricerca**, con caratteristiche di ricerca “fondamentale” o “di frontiera”, particolarmente eccellenti, della durata standard di 5 anni, eseguiti da singoli o piccoli gruppi (e comunque, tranne eccezione, da ricercatori co-locati in un singolo istituto), con finanziamenti di ammontare (consistente) abbastanza ben definito – 2-3 M€ per i Top Grants, 1-1,5 M€ per gli Starting Grants – e selezionati su base competitiva universale (senza quote “territoriali” predefinite) sul totale delle proposte presentate.
Insomma, voglio dire, si tratta di una particolare tipologia di **finanziamento della ricerca**, e mi basterebbe trarne indicazioni e analogie per simili programmi a livello nazionale (che peraltro esistono ed hanno una loro tradizione in Paesi diversi dall’Italia).
Da noi, l’idea di mettere in opera questa tipologia e metodologia di valutazione avrebbe dovuto e potuto essere attuata in congiunzione con l’istituzione del CNGR, il Comitato Nazionale dei Garanti della Ricerca, al quale venne a bella posta demandata la supervisione di una serie di tradizionali programmi di finanziamento della ricerca in Italia. Purtroppo l’interdizione di Profumo, che emanò un bando PRIN e FIRB-giovani in sostanziale contraddizione con l’idea di “ristrutturazione” di tali programmi ha di fatto mortificato l’attuazione del “sistema ERC”, ma ci piacerebbe avere notizie più approfondite sulle operazioni di quest’ultimo anno.
Quello che dice Renzo Rubele è esatto: traslare il “sistema ERC”, pensato per la valutazione dei progetti di ricerca direttamente nella valutazioni di avanzamenti di carriera e reclutamento senza correzioni, sarebbe improprio. Lo scopo dell’articolo era “ispirarsi” a qualcosa che è testato e funziona da diversi anni.
E’ molto facile criticare l’ANVUR, soprattutto grazie ad alcune “sviste”, chiamiamole così, ma altrettanto difficile proporre qualcosa che sia accettato da buona parte della comunità accademica. La mia sensazione è che soluzioni rapide ed efficaci non esitano in questo campo. Tuttavia, è meglio camminare lentamente nella direzione giusta che correre in quella sbagliata, vedi l’annuncio della seconda tornata di abilitazioni senza sapere nulla riguardo agli esiti della prima….
Complimenti a Marco Bella sia per aver evidenziato questo tema (i nessi tra sistema ERC e sistema ASN-concorsi locali), sia per averne focalizzato limpidamente i nodi.
L’articolo offre molti spunti. Tra questi, è senza dubbio rilevante (anche sul piano giuridico) il problema dei rapporti maestro-allievo.
Le ascendenze storiche di questo rapporto hanno radici nobili, in quanto si correlano a quei processi di progressiva “educazione” dei giovani alla ricerca scientifica che oggi vanno scomparendo e che occorrerebbe recuperare e riscoprire. È anche vero, però, che la prassi accademica degli ultimi decenni ha in parte tradito le ragioni e gli scopi di questo rapporto. Dalla trasmissione (generosa o comunque formativa) di esperienze si è a volte passati ad opposte pratiche parassitarie di sfruttamento, in cui il nome dei c.d. maestri rischia di divenire mera etichetta che cela il lavoro sostanziale degli allievi, ai quali si preleva più che allevarli. O a pratiche di “sponsorizzazione”, con il marchio di qualità del maestro, di c.d. allievi funzionali all’erogazione di utilitates in favore del maestro-sponsor più che in favore della comunità scientifica nel suo complesso.
La stessa giurisprudenza si accosta al problema dei rapporti maestro-allievo in maniera timida: ad esempio, in materia di concorsi universitari, la giurisprudenza ha finora stabilito che i maestri sono da considerarsi imparziali anche quando, nelle valutazioni comparative tra più candidati, preferiscono gli allievi ai non-allievi. Non è infrequente trovare, nelle sentenze sui concorsi universitari, l’espressione «dinamica istituzionale delle relazioni docente-allievo»: occorrerebbe però intendersi sull’aggettivo «istituzionale».
Come si evince anche dalla chiusa di Marco Bella, il maestro dovrebbe «istituzionalmente» spingere l’allievo ad affrancarsi, ad autonomizzarsi, a divenire da vagone locomotiva, a compiere esperienze al di fuori della sua orbita originaria. Ciò non significa recidere un legame, ma rafforzarlo nella pari dignità. Ne deriverebbero conseguenze non secondarie: ad esempio, aumento della mobilità dei ricercatori, sprovincializzazione dei temi di ricerca, diminuzione delle conventiones ad excludendum tra le c.d. Scuole (per quel che rimane di questo glorioso nome); forse, anche maggiore imparzialità nello svolgimento delle valutazioni comparative.
Ringrazio JUS per i complimenti e soprattutto per il suo sempre prezioso contributo.
Nel “sistema ERC” un membro del panel con condivida anche un solo lavoro con un candidato ha potenzialmente un “CoI”, conflict of interest, e probabilmente astenersi da qualsiasi valutazione su quel ricercatore.
Per quanto riguarda la relazione Maestro/allievo, questa è fuori discussione:
A disqualifying conflict of interest exists if an independent expert:
-Has a significant collaborative, conflicting or ongoing mentor / mentee relationship with the applicant scientist/s of the proposal
http://erc.europa.eu/sites/default/files/content/Template%20appointment%20letter%20ERC%20Referee.pdf
Nei vecchi concorsi da Ricercatore a tempo indeterminato non era infrequente che uno dei commissari avesse pubblicazioni in comune con uno dei candidati (anche la totalità in non pochi casi), direi con una correlazione statisticamente significativa con quello che sarebbe stato riconosciuto come il vincitore della valutazione comparativa.
Paradossalmente, il commissario poteva, in modo normativamente ineccepibile, dichiarare nella valutazione dei titoli che il contributo del candidato nei lavori in collaborazione era stato particolarmente significativo.
Mi aveva sempre molto colpito che quello che era considerato un chiaro conflitto di interessi in altri paesi in Italia fosse valorizzato nella valutazione…
Se guardiamo le statistiche delle Marie Curie actions, il paradosso notato da Marco e’ abbondantemente confermato.
Questo tipo di azioni, che prevedono la mobilita’ tra i paesi dell’unione, vedono il Regno Unito esportare poco e incassare molto, viceversa l’Italia esporta molto e incassa molto poco.
Altre ricerche sulla mobilita’ dei ricercatori (mi dispiace non avere sottomano i riferimenti) fanno capire come il fenomeno della mobilita’ dei cervelli e’ ampiamente diffuso anche in realta’ giudicate “migliori” rispetto a quella italiana (Germania, Francia, Regno Unito, Svezia), pero’ queste sono in grado di compensare la “perdita” con l’arrivo di cervelli da altri paesi (spesso l’Italia e’ il primo “contributor”).
L’emigrazione scientifica e’ quindi un fatto fisiologico, il vero problema quindi del sistema Italia e’ il fatto di essere chiuso all’ingresso di altri cervelli non solo di non essere in grado di trattenere i propri.
Nella mia esperienza personale
ho vissuto due forme diametralmente opposte di ricerca europea, sono stato coordinatore europeo di una rete di Training e Mobility e dall’ altro lato ho fatto il valutatore di panel ERC Starting Grants. I programmi avevano ovviamente finalita’ diverse ma in entrambi i casi, dopo le valutazioni numeriche fatte dei referees, vi e’ stata sempre una selezione fatta in seduta CONGIUNTA da un panel. Cio’ proprio per avere un giudizio omogeneo. Dopodiche’ le due azioni avevano effetti diametralmente opposti, infatti con le reti io come coordinatore ho potuto obbligare i gruppi forti dei paesi forti a formare/collaborare con giovani di gruppi in paesi deboli, ritornando poi le persone al paese di origine. Potremmo dire semplicisticamente un effetto di livellamento (molto idealmente) Con l’ERC vi e’ invece un effetti di aumento del divario, cioe’ chi e’ forte diventa piu’ forte, drena risorse umane (ma anche soldi) dai paesi meno forti.
Infatti pur essendo uno splendido modo per valorizzare bene giovani e ricercatori maturi di grande valore, soprattutto per lo starting grant, l’effetto di depauperamento mi lascia molto perplesso. Sui paesi deboli (che hanno in genere anche classi politiche meno responsabili) programmi come l’ ERC, rischiano di accelerare la desertificazione scientifica. Comunque sul piano dei meccanismi di valutazione/selezione l’ Italia ha molto da imparare e troppi conservatori che non vogliono alcuna valutazione. Copiare dall’ ERC come da altre azioni europee sarebbe gia’ un miracolo.
Non apro il discorso degli ultimi PRIN/ FIRB perche’ e’ stat una follia voluta da chi ha una idea della ricerca simile alla NEP dell’ Unione Sovietica.
Molte grazie del prezioso contributo “Dall’interno del sistema”.
Al momento in l’italia non c’è solo la cosiddetta “fuga di cervelli” ma anche di soldi per la ricerca verso l’Europa. Se guardiamo il macrolivello europeo, non è necessariamente un dramma: l’interesse della collettività è che i soldi vadano ai più bravi e ai progetti migliori, non importa ove siano locati: il beneficio della ricerca ricade su tutti. Il problema è che il progetto europeo non porta esclusivamente l’indotto derivato dal finanziamento specifico, ma anche “overheads” ovvero contributi all’istituzione di appartenenza, la possibilità di organizzare conferenze e di interagire con scienziati europei di altissimo livello. inoltre, chi vince un progetto europeo acquisisce conoscenze specifiche che lo faciliteranno nel scriverne altri più competitivi. Sarebbe fondamentale che i finanziamenti italiani siano indirizzati non solo a chi ha già grants europei, ma sopratutto a chi potrebbe diventare competitivo per prenderne in futuro. Riguardo ai FIRB, sarebbe importantissimo avere dei finanziamenti, magari di importo minore, che favoriscano però i singoli ricercatori, senza obbligare necessariamente alla costruzione di gruppi di ricerca enormi artificiali. Sopratutto in settori nei quali non esiste la necessità di collaborare in grandi aggregazioni.
Grazie Marco Bella per il lucido contributo. Mi ero ripromesso di non intervenire più, ma questo tipo di contributi esenti da furori ideologici, analitici e propositivi mi hanno fatto cambiare idea. Guardare all’Europa ed a procedure e criteri collaudati è un atteggiamento che condivido.
Tra l’altro, volendo fare un paragone finanziario, nell’ultimo vertice Ecofin si è dato il via ad un accordo sulla supervisione bancaria unica europea. In questo, come in altre cose, visto il livello del nostro paese, l’adozione di regole più europee ci può far solo migliorare.
Nello specifico del post condivido l’approccio e penso che un miglioramento dei criteri di finanziamento necessariamente provoca un miglioramento sia nei processi di assunzione che di avanzamento.
Aggiungerei altri due elementi alla discussione.
Il primo è l’inserimento di meccanismi che scoraggino le promozioni (o le assunzioni interne) e/o meccanismi che favoriscano la mobilità.
Il secondo è l’inserimento di meccanismi premiali per le sedi che riescono ad aggiudicarsi il personale accademico che sia in grado di migliorare sia i publication records che l’acquisizione di fondi. Questo è un po’ più difficile da realizzare, a meno che non si migri gradualmente ad un sistema in cui la valutazione la fanno gli studenti iscritti con i “loro piedi” e si mettano realmente in competizione gli atenei.
Caro Giuseppe,
Grazie due volte per il tuo contributo e spero di leggerne altri. Su ROARS sono un ospite anche io e lo trovo un bellissimo e aperto luogo di confronto. Non sempre sono d’accordo con tutto quello che vedo scritto, ma penso che se in ambito universitario esistesse un “pensiero unico” questo sarebbe un male. E’ la ricchezza e la varietà delle posizioni quello che ci permette di crescere assieme. Penso che ROARS acquisti visibilità al grande pubblico soprattutto quando critica con lo “stile ROARS” ad esempio l’ANVUR. Certi post sono mitici, soprattutto quelli di De Nicolao o Baccini con “l’esperimento del Dr. ANVUR”, tanto per citarne alcuni, in particolare per chi apprezza i B-movies. Tuttavia, tanto è facile criticare quanto complesso presentare proposte. Io su questo sito ne ho trovate tante, anche se hanno meno visibilità di altri post.
Per quanto riguarda il tuo commento sulla valutazione delle università eseguita dagli studenti: a volte gli studenti dimostrano molto più buon senso da parte dei docenti ma sinceramente tenere conto delle loro preferenze per stilare un’eventuale classifica degli atenei lo vedo molto complesso da realizzare in questo momento particolare. Non avendo una “storia” di competizioni tra atenei come negli USA ad esempio, il rischio serio è che siano premiate non le università migliori, ma quelle che offrono cosi di studio “alla moda”, o peggio, quelle che rilasciano più facilmente il mitico “pezzo di carta”. Almeno questa è la mia impressione, ma se qualcuno avesse idea su come implementare un meccanismo efficace di valutazione da parte degli studenti, questo sarebbe davvero un bene.
Penso che l’analisi bibliometrica sia difficile da interpretare. Una delle criticità è proprio l’h-factor e la questione delle citazione. Si tratta di un meccanismo che premia chi lavora all’interfaccia fra discipline, e che può quindi contare su un pubblico maggiore rispetto a chi lavora sulle tematiche fondamentali di una materia. Stessa cose per la rimozione della auto-citazioni. In principio serve a scoraggiare la pubblicazione di tanti articoletti auto-referenzianti su rivisted non di spicco (le citazioni non hanno pedigree), ma, in pratica finisce per penalizzare chi lavora su argomenti che sono più limitati di altri solo per il numero dei cultori (le cose difficili tengono la gente lontana) e non certo per la loro rilevanza. C’è sempre meno gente che lavora sui problemi veri, quelli che richiedono tempo e concentrazione per essere risolti, e tanta letteratura sintetica mi sembra quasi l’equivalente del fast food scritto in stile Hollywoodiano.
In generale, l’h-factor premia chi fa ricerca “alla moda”, su argomenti che sembra debbano rivoluzione la chimica ma poi, sovente, si sgonfiano nel giro di poco tempo (sintesi combinatoriale docet).
Ho fatto da poco una valutazione per una libera docenza in una importante università svizzera, e la bibliometria era basata solo su IF della rivista e suo ranking.
Scrivo questo cose da persona che lavora e pubblica all’interfaccia di discipline, e ritengo che, proprio per questa ragione, il mio h-factor sia gonfiato proprio per il tipo di ricerca che faccio. Quando guardo il mio h-factor, mi sento un po’ come l’omino Michelin, e mi chiedo se questa moda e questa corsa alla visibilità siano giuste.
“C’è sempre meno gente che lavora sui problemi veri, quelli che richiedono tempo e concentrazione per essere risolti, e tanta letteratura sintetica mi sembra quasi l’equivalente del fast food scritto in stile Hollywoodiano.”
E’ un problema serio: ho visto che in letteratura si chiama “down-shifting strategy”, e c’è chi pensa che anche esercizi di valutazione fatti seriamente (tipo il RAE) ne siano causa.
[…] di eccellenza scientifica a giovani e meno giovani. In generale nei progetti di ricerca europei, il nostro paese ci mette un sacco di soldi e porta a casa relativamente poco (dell’ordine di 60 centesimi per ogni euro). Il Regno Unito e gli altri paesi che si dividono i […]
[…] bello quindi? Non esattamente. Due anni fa mi ero occupato di un fenomeno che ritengo devastante per la ricerca nel nostro paese. Lo tratto di nuovo perché la situazione è significativamente (e prevedibilmente) peggiorata. […]