Il problema valutazione della ricerca scientifica è stato già affrontato e discusso in termini generali nelle ROARS Newsletters. Naturalmente una visione di insieme è sempre utile. Inevitabilmente, però, ogni area del sapere presenta caratteristiche diverse, nate sia da situazioni obbiettive, sia da ragioni “storiche”. Non è inutile quindi focalizzarsi su almeno alcune di queste aree. Qui parleremo di Biologia e Medicina, due aree parzialmente sovrapposte per cui è possibile prospettare criteri di valutazione almeno in parte comuni.
La Biologia e la Medicina contribuiscono una percentuale elevata della ricerca scientifica avanzata condotta oggi in Italia. Sono i settori nei quali, nel corso degli ultimi 50 anni, si è registrato il più alto numero di scoperte, alcune delle quali hanno avuto straordinarie conseguenze anche a livello applicativo, medico e non medico. Il rapporto tra ricerca ed applicazione è comunque tutt’altro che diretto. Molto lavoro è condotto non per scopi tecnologici o medici, ma per ragioni culturali, per ampliare le conoscenze. Anche le malattie possono essere modelli di indagine piuttosto che scopi di lavoro. Forse non sorprendentemente, poi, è successo che risultati “di base” finiscano per essere i più fruttuosi anche in termini applicativi. Basta pensare, per esempio, agli anticorpi monoclonali che stanno diventando uno strumento terapeutico fondamentale o all’analisi dell’espressione genica per PCR, fondamentale per la diagnosi dei tumori e di altre malattie. La ricerca biologica è un classico lavoro a tempo pieno anche nei settori adiacenti alla Medicina; quella medica coesiste con la pratica clinica che però in molti casi si riduce a livelli modesti o marginali. Nel resto della presentazione non insisteremo quindi sulle differenze “genetiche” tra le due aree.
Forse in nessuna area del sapere come in Biologia e Medicina sono divenute popolari le valutazioni numeriche, soprattutto il fattore di impatto (IF) e, più di recente, l’ indice di Hirsch (H index). Oggi è opportuno continuare ad usarle, ma con sempre maggiore giudizio. Sono un primo strumento che permette di inquadrare la personalità del ricercatore o dell’Istituto in esame. A questo inquadramento deve seguire un’analisi più obbiettiva e specifica. I limiti degli strumenti numerici sono infatti noti. L’IF valuta complessivamente i giornali che hanno pubblicato gli articoli, non i singoli articoli. E’ vero che un gruppo senza prestigio o un articolo mediocre non trovano posto nei giornali importanti, però errori nella valutazione di articoli sono successi e succedono senza comportare ritrattazioni ufficiali. L’H index, d’altro lato, si basa sul numero delle citazioni ricevute dagli articoli dei singoli autori, un valore che, inevitabilmente, si accumula nel tempo. A parità di merito, quindi, chi è anziano ha inevitabilmente un indice maggiore di un giovane. Inoltre chi lavora su argomenti di ampio interesse riceve più citazioni di uno che lavora su argomenti di nicchia. Infine, né l’IF né l’H Index identificano il ruolo avuto dai singoli autori nelle loro pubblicazioni. Il criterio di far firmare per primo tra gli autori, spesso numerosi, chi ha svolto la parte sperimentale principale e per ultimo chi ha guidato la ricerca, è in genere accettato. Chi ha svolto un ruolo minore (talvolta ha fornito soltanto un reagente o si è “imbucato” per le ragioni più varie) firma invece nel mezzo, si tratta dei così detti “middle names”. In termini di IF e di H Index, tra primo, ultimo autore e middle names non c’è differenza.
Da qui la necessità dell’analisi più specifica. Intanto basta dare un’occhiata all’ordine degli autori e il trucco dei middle names emerge impietoso. Inoltre si può facilmente verificare quanto sono citati gli articoli in cui l’autore compare come primo o ultimo nome e magari trovare che il suo alto H Index dipende soprattutto dai middle names. Poi si guarda con chi pubblica la guida della ricerca. Ci sono quelli che continuano per anni e anni a pubblicare in collaborazione con il loro capo di un tempo, quando erano post-doc. Questo magari facilita l’approccio alle riviste importanti. D’altro canto, però, fa pensare che la guida della ricerca non abbia raggiunto un’indipendenza intellettuale completa. Anche il numero degli articoli è importante. Per i giovani è importante avere pochi articoli importanti pubblicati bene piuttosto che molti articoli sparsi qua e la. Per i ricercatori affermati, idem. In più chi è autore di centinaia e centinaia, magari di migliaia di articoli fa dubitare della sua partecipazione, se concreta o marginale. Infine, domanda chiave per un ricercatore adulto o anziano: ha mai raggiunto un ruolo leader nel suo settore? E se no, il suo ruolo è almeno stato dignitoso? Sembra quasi offensivo ma la risposta a queste domande non è sempre affermativa.
Infine, se possibile, rimane l’incontro del candidato (o dei ricercatori di un Istituto) con un Comitato di valutazione. Incontro critico, che i membri del Comitato devono preparare studiando preventivamente la storia e la produzione del candidato stesso. Il modello dell’incontro può variare. C’è chi preferisce, come introduzione, la presentazione da parte del candidato di un progetto di ricerca; chi inizia subito con le domande; chi preferisce un incontro aperto alla comunità dei ricercatori, chi invece ritiene più proficua l’intervista con i vari membri del Comitato, da incontrare separatamente. L’importante, naturalmente, è che il Comitato lavori per scegliere il migliore, non per seguire raccomandazioni interessate.
Tutto questo discorso è soltanto un sogno o un augurio, qualcosa che succede, e neanche sempre, soltanto in altri paesi, oppure è davvero fattibile anche in Italia? Naturalmente senza un serio impegno le cose impegnative non si fanno, né in Italia né altrove. Anche se noi abbiamo una tradizione negativa, l’esperienza degli ultimi anni è incoraggiante. Il numero delle valutazioni fatte con serietà e correttezza sta aumentando, almeno in Biologia e Medicina. Il che, naturalmente, non vuol dire che siano la maggioranza, anche perché tra le varie Università e i diversi Istituti ci sono grandi differenze. Se non altro, però, è passata l’idea che inserire un ricercatore bravo ha un’importanza non solo culturale ma anche economica e di prestigio: rende possibile l’acquisizione di grants, i rapporti con altre realtà scientifiche, un miglioramento dell’ambiente culturale, criteri che cominciano ad essere importanti anche per acquisire studenti bravi ecc. ecc. Non so se queste considerazioni bastano a soddisfare le nostre aspettative. Esse, comunque devono incoraggiarci a non desistere, ad andare avanti con la valutazione, purchè sia una cosa seria. Volendo, anche in Italia, si può fare.
Leggo solo ora questo articolo che purtroppo mi era sfuggito. Concordo pienamente con l’analisi di Jacopo Meldolesi che aveva capito in anticipo i gravi rischi della valutazione automatica messa in piedi dall’ Anvur. Se Meldolesi fosse stato il Presidente dell’agenzia, sicuramente oggi non avremmo tutti i problemi derivati delle ASN e della VQR, peccato.