E se tutto diventa quantità, valutazione costi-benefici, marketing, format e template, numero di grant procacciati per l’ente di appartenenza – e dunque più che scienziati si diventa impresari e pubblicisti – diventa naturale voler misurare il valore e la credibilità di un ricercatore in base al numero di “pezzi” prodotti. Si tenta di fiaccare il merito delle critiche legittime con argomenti fallaci e pretestuosi, di spostare in modo offensivo l’attenzione dal merito delle questioni alle colpevoli intenzioni del contestatore che punterebbe semplicemente a difendere i suoi privilegi e sottrarsi ad una qualunque forma di controllo. Il mondo della ricerca ha preso una direzione che mi fa sentire complice consapevole o inconsapevole di qualcosa che non capisco più.
In seguito alla pubblicazione di Caro rettore ti scrivo di Luca Illetterati, il dibattito sulla valutazione della ricerca è proseguito su il Bo (il giornale dell’Università di Padova) con un contributo che abbiamo ritenuto utile proporre anche ai nostri lettori.
Sono un ricercatore del CNR. Mi occupo di fisica della materia e sono attualmente distaccato presso l’Institut Laue Langevin di Grenoble. Da molto tempo provo, nel mio ambiente, a sensibilizzare i colleghi sulle conseguenze per me aberranti che le procedure di valutazione, così come oggi intese, hanno sulla qualità non solo della vita dei ricercatori ma della ricerca stessa che essi tentano di portare avanti. I meccanismi adottati per le valutazioni non solo conducono e inducono a comportamenti poco ortodossi, potenzialmente “disonesti”, ma mi pare si possa affermare determinino risultati antitetici a quelli che seppur nominalmente tali valutazioni vorrebbero determinare. Alcuni di questi problemi sono stati sollevati recentemente da importanti ricercatori internazionali e pubblicati su riviste scientifiche considerate di prestigio come ad esempio Nature.
Vivo con sofferenza anche lo stravolgimento e la violenza che viene fatta alle parole che dovrebbero definire il nostro lavoro. Parlare di prodotti, di deliverables, di appeal e di altri termini mutuati dal mondo del marketing e dell’economia non ha un effetto solo sulla forma ma anche sulla sostanza delle cose.
Sempre più spesso siamo chiamati a riempire database di ogni genere, con informazioni sempre più dettagliate e a volte deliranti sulla nostra attività, redigere documenti in cui più che il contenuto è l’impaginazione a determinare uno spreco di tempo inaccettabile. Siamo sollecitati a scrivere progetti per ottenere fondi che non si avrà mai il tempo di utilizzare proficuamente per condurre le nostre ricerche, anche qualora venissero assegnati, perché sottomesso un progetto se ne scrive un altro, riducendo spesso il nostro lavoro a un orribile esercizio di copia incolla. Agenzie specializzate vengono consultate non solo o non tanto per avere una valutazione sulla validità della ricerca che si propone e sull’opportunità di finanziarla perché realmente e potenzialmente utile alle società che tali ricerche in definitiva finanziano, ma per farsi insegnare quali sono le parole chiave, le frasi “precotte” da utilizzare, gli annunci accattivanti e l’impostazione grafica che i nostri progetti devono includere per “meritare” l’attribuzione di fondi. Agenzie probabilmente nate come effetto collaterale di un’estrema burocratizzazione del mondo della ricerca e credo pagate su fondi delle università e degli enti di ricerca, fondi che potrebbero forse essere spesi meglio per la ricerca o per nuove posizioni. In un linguaggio sicuramente poco appropriato mi trovo spesso a dire, per condividere alcune idee con i colleghi, che dopo le varie ere che la storia dell’umanità ha attraversato, siamo entrati da tempo nell’età della fuffa.
I criteri bibliometrici da soli hanno indotto da tempo ad assumere e suggerire comportamenti oserei dire fraudolenti: più o meno sofisticati meccanismi di autocitazione o citazione tra colleghi, pubblicazioni definite “covert duplicate publications”, inutile frammentazione di lavori in più articoli per aumentare il numero di pubblicazioni. E ciò che forse è più grave, queste acritiche macchine burocratiche stanno costringendo la ricerca libera e di base in spazi sempre più angusti. Non si ha più il tempo di dedicarsi all’intima comprensione dei problemi perché la pubblicazione non è più l’epilogo naturale di una ricerca di cui si vuole far partecipe la comunità, ma il fine unico e solo da perseguire comunque ed in ogni caso. Affermare che non si è pubblicato perchè non c’era ancora nulla da condividere con il resto della comunità scientifica, perché ancora non si è capito quanto c’era da capire, è vissuto ormai come un’onta. Ed è allora possibile che invece di proporre soluzioni e ipotesi scientifiche quanto meno plausibili o dei modelli verificabili si sia tentati a far ricorso a quelle frasi precotte di cui dicevo alludendo a ipotesi magari difficilmente contestabili (perchè magari già presentate più volte in letteratura) o semplicemente dichiarando il proprio impegno futuro alla spiegazione di alcuni problemi. Si fa un esercizio linguistico invece che scientifico. La fuffa.
E se tutto diventa quantità, valutazione costi-benefici, marketing, format e template, numero di grant procacciati per l’ente di appartenenza – e dunque più che scienziati si diventa impresari e pubblicisti – diventa naturale voler misurare il valore e la credibilità di un ricercatore in base al numero di “pezzi” prodotti.
Per tacitare coloro che si oppongono a tale impostazione si utilizzano argomenti dialettici scorretti e intellettualmente disonesti. Si tenta di fiaccare il merito delle critiche legittime con argomenti fallaci e pretestuosi e, con un esercizio volgarmente dialettico mutuato dai programmi televisivi di presunto approndimento politico, di spostare in modo offensivo l’attenzione dal merito delle questioni e dai contenuti, alle colpevoli intenzioni del contestatore che punterebbe semplicemente a boicottare qualunque procedura di valutazione nel tentativo di difendere suoi privilegi e sottrarsi ad una qualunque forma di controllo.
Il mondo della ricerca ha preso a mio avviso una direzione che lo allontana vieppiù dall’immagine che di esso avevo quando ho disperatamente cercato di fare questo lavoro e che adesso, non sapendo e non riuscendo a fare nulla per evitare quella che io percepisco come una deriva perniciosa, mi fa sentire complice consapevole o inconsapevole di qualcosa che non capisco più.
Originalmente apparso su il Bo
bravo Alessio De Francesco. Io sono assolutamente d’accordo. Partecipiamo ormai a riunioni di dipartimento che hanno del surreale. Stimatissimi colleghi che per un anno non pubblicano su alcun giornale devono preoccuparsi di apparire, per quell’anno, come “docenti inattivi”. Magari l’anno successivo o quello precedente hanno pubblicato su Nature, ma non conta. Contemporaneamente sono considerati attivi colleghi che si preoccupano di mantenere una pubblicistica più continua ma modesta. Pare che nel bilancio del ministero ci siano 42 milioni per la valutazione e 0 per la ricerca. La valutazione è diventata ormai una attività fine a se stessa. Ci si domanda cosa si valuterà di qui a poco. Nel frattempo dei PRIN non si ha notizia. Vanno di moda i PON, attribuiti secondo criteri insondabili, che si perdono nelle alchimie delle nozze chimiche . Cosa può interessarci se un oscuro burocrate ministeriale ci considera o non ci considera docente inattivo? Eravamo soliti rispondere alla comunità scientifica internazionale, non certo al dirigente di turno messo lì a far danno dagli effervescenti ministri che si sono alternati negli ultimi, sciagurati anni. Io credo che i docenti universitari dovrebbero semplicemente astenersi dal partecipare ad attività valutative. Ci valutasse il sig, direttore , come ai tempi di policarpo dei tappetti, ufficiale di scrittura, sempre in ansiosa attesa del fatidico “scatto”,,,
leggermente “fuori tema” (ma, si sa, la “ricerca” libera è anche questo!): un “mi piace” per nicola perrotti che ricorda policarpo de’ tappetti ufficiale di scrittura (un grande renato rascel), in attesa dello “scattino”, e della valutazione del direttore (un altrettanto grande peppino de filippo); costretto ad imparare a scrivere a macchina, de’ tappetti lo farà “diligentemente” e “coscienziosamente”, pur non abbandonando, anzi baciando, in finale di film, la sua “amata” stilografica!
Concordo pienamente.
Vorrei soltanto aggiungere che, come aggravante, questo “sistema” mette in diretta competizione tra loro i ricercatori di uno stesso istituto, il che nuoce gravemente alla collaborazione e quindi, di nuovo, alla qualità della ricerca!
Si può tranquillamente chiamare spannometria valutativa. E’ quella che segue più o meno questo flusso di ragionamenti:
– gli indici bibliometrici medio/alti includono scienziati di livello? Sì -> Bene
– includono scienziati che producono tanto ma di livello a volte mediocre? Sì -> Pazienza
– escludono scienziati di livello, anche Nobel per dire, che producono saltuariamente o in settori di nicchia? Sì -> Amen e pace all’anima loro
– escludono i fannulloni? Sì -> Ed è lì che volevamo arrivare!
– escludono i fannulloni e/o i meno dotati e/o quelli che non hanno mezzi ma che si attrezzanno con autocitazioni pure e ghost authorship (il fantasma fannullone)? No -> Ma ogni metodo è imperfetto!!
.
E il meglio è nemico del bene, ma poi una rondine non fa primavera.
Eccellente analisi.
E’ una review :-)
Un ministero più attento a finanziare la valutazione che la ricerca. Una pubblicistica ossessiva che porta tutti a scrivere perché, secondo il ministero, la quantità è più importante della qualità. E il tutto assieme serve a giustificare quel management universitario che senza tali funzioni sarebbe inutile. Allora l’apparire diventa più importante che l’essere e l’immagine è solo più una bella etichetta su un contenitore pieno di fuffa.
Saremo salvati dalla scienza americana. Ammetto che le mie conoscenze non vanno oltre i confini della matematica, ma per quanto anche in America si utilizzino informazioni “bibliometriche”, che possono essere determinanti per assunzioni e promozioni nelle università minori, per tutte le scelte di merito importanti non esistono né possono esistere “criteri e parametri” per la valutazione della qualità della ricerca. Così sono affidate all’arbitrio degli esperti le scelte relative alle assunzioni e promozioni nelle migliori università, il conferimento di premi importanti come le medaglie Fields, gli inviti a parlare nei congressi internazionali. Inoltre la comunità accademica è in grado di riconoscere e premiare l’eccellenza nella didattica e negli impegni organizzativi. Poiché è la scienza americana a dettare i criteri di merito e le direzioni principali della ricerca a livello mondiale, alla fine anche la scienza italiana dovrà abbandonare le posizioni a favore di valutazioni nazionali della qualità, e l’illusione di poter dettare “criteri e parametri” oggettivi. Passerà quindi la “nottata” delle valutazioni oggettive. Colgo l’occasione per vantarmi di essermi opposto con successo per i cinque anni in cui ho fatto parte del predecessore dell’ANVUR (Osservatorio e poi Comitato per la valutazione del sistema universitario) ad ogni valutazione nazionale della ricerca scientifica.
In realtà negli USA la gran parte della “valutazione della qualità della ricerca” è di fatto “valutazione dei progetti di ricerca” [i.e. “ex ante”, ai fini del relativo finanziamento], ed è lì dove – complice la grande disponibilità di mezzi finanziari – si dispiega l’uso massiccio di “criteri e parametri” di qualità.
Il problema è internazionale e probabilmente parte proprio dagli USA che però non sono autolesionistici come noi in tema di valutazione. Suggerisco la lettura di La scienza malata? Come la burocrazia soffoca la ricerca di Ségalat Laurent (http://www.ibs.it/code/9788860303486/segalat-laurent/scienza-malata?-come.html)
Io sto per terminare la mia attività per limiti di età e tutto questo non è di mio stretto interesse. Ma un po’ piango per le generazioni attive e soprattutto per quelle che hanno capito dove l’Università sta andando. Ieri mi è giunta una nota nella quale mi si chiedeva, un po come nel confessionale, quante volte avessi partecipato a trasmissioni televisive, concesso interviste, scritto su giornali divulgativi (senza specificare di che lega), ecc. Ma insomma. Perché non protestate sonoramente?
Nessuno mi ha chiesto quante volte ho partecipato a trasmissioni televisive, concesso interviste, scritto su giornali divulgativi.
Non ho quindi motivo per protestare.
Protesto invece per le eccessive spese militari “strategiche”. Ad esempio, con i soldi risparmiati dal non acquisto di due aerei F35 (100 milioni di Euro l’uno) si potrebbe rilanciare l’università.
E invece è la terza missione della SUA-RD, dove contano tutte queste amene attività.
.
Gli F35? Ma se arriva il Feroce Saladino, e di questi tempi arriva, non basta sparargli col puntatore laser del cinese per powerpoint.
Perché in realtà siamo messi male anche nelle spese militari, come si legge qui:
.
http://www.wired.it/attualita/politica/2014/10/01/difesa-draft/
.
dove si vede che, anche in questo caso, siamo fra quelli che abbiamo tagliato di più e siamo sotto la media NATO per i paesi europei. A parte la spesa in termini assoluti in R&D. E si sa che quest’ultima dovrebbe essere un settore trainante anche per la scienza.
Non mi sembra che in Italia esistano agenzie militari che finanziano la ricerca di base. Purtroppo.
In compenso ci sono diversi sportivi professionisti stipendiati dal Ministero della Difesa e del Ministero dell’Interno.
Certo che il responsabile della cultura scientifica di UNIPD è proprio una volpe:
UNIPD arriva prima nella VQR e la rivista di UNIPD pubblica, senza controreplica, un intervento che fa intendere che questi risultati di UNIPD potrebbero essere dovuti a “comportamenti fraudolenti”.
Posso dissociarmi?
Analisi perfettamente calzante alla realtà.
Aggiungo:
1. la fuffa è funzionale alla spartizione dei fondi (già scarsi) tra i pochi gruppi influenti (davvero pochi in Italia);
2. il problema maggiore arriva proprio da chi, soprattutto tra i colleghi con rampantismo intrinseco “old style” proni e acritici verso il dio anvuriano, va predicando parole (probabilmente senza comprenderle) d’ordine vacue sulla necessità di QUESTA valutazione in attesa della salvifica valutazione del MEGADIRETTORE.
Forse davvero è il momento di una mobilitazione o meglio di un ammutinamento contro questo metodo che aumenta le discriminazioni tra colleghi (che dovrebbero collaborare invece di farsi la guerra), premiando chi già possiede una rendita di posizione.
Se ne sono accorti anche in USA:
http://www.nature.com/naturejobs/science/articles/10.1038/nj7536-647b?WT.ec_id=NATUREJOBS-20150205
Be happy !!
non è micca da questi particolari che si giudica un ricercatore:
un ricercatore lo vedi dal coraggio, dall’altruismo, dalla fantasia.
:-)
“We really want to have as diverse and broad a scientific portfolio as we can,” … ottima notizia, fra vent’anni se ne accorgeranno anche in Italia, ma sarà troppo tardi nel frattempo l’università italiana sarà stata omogenizzata.
A: abbiamo un livello di allerta III,
B: perchè?
A: i cervelli sono scappati,
B: evidentemente non avevano un indice H abbastanza lungo
A: non è mica da questi particolari che si giudica un ricercatore
B: un ricercatore lo vedi dal coraggio, dall’altruismo, dalla fantasia
A: avevano fame
B: pazienza, chi scappa non coraggio
A: Amen
Ai miei tempi il gruppo G (teorici) dell’INFM (ora inglobato nel CNR) è stato il primo a proporre in Italia ricercatori che si auto-finanziano con i loro progetti:
a) prima i progetti “giovani valenti teorici” per assegni;
b) poi progetti per ricercatori teorici TD (in effetti 1 solo).
Ehm, sono stato uno dei pochi (forse l’unico) ad aver vinto sia a) che b).
Anche se sono percentuali da mondo delle fiabe, diciamo: abbiamo a disposizione per la ricerca 1000 palline e 20 persone che propongono progetti del costo di 100 palline l’uno. Secondo voi, come devono essere scelti i 10 progetti migliori? (Su come *non* devono essere scelti è stato già scritto a fiumi.)
Come in tutto il mondo. Peer review, no? Non mi sembra abbiamo di meglio allo stato…
[…] didattica viene quasi punita come inutile passatempo (ammesso e assolutamente non concesso che “fare ricerca” coincida con il soddisfare le richieste della SUA e […]