“Ha ancora senso pubblicare articoli?”, me lo ripeto da settimane. Vorrei concentrarmi su tre aspetti: peer-review, articoli di revisione ed elaborazione dati. Se da un lato le AI potrebbero migliorare la qualità delle revisioni, dall’altro il sospetto che dietro un revisore ci sia una macchina rende svilente il confronto scientifico. La tentazione di rispondere utilizzando un’altra AI è forte: la peer-review rischia di diventare uno squallido teatrino tra macchine mascherate da persone. Anche le review descrittive potrebbero presto diventare obsolete: basterà chiedere a un’AI di sintetizzare in pochi secondi l’intera letteratura scientifica. Lo stesso vale per l’elaborazione dati, ormai automatizzabile. Ma chi comprende realmente quei risultati? Sapremo discuterli davanti a una platea scientifica? Come risolvere? Puntare sulla qualità anziché sulla quantità delle pubblicazioni, contrastando una cultura accademica che premia l’iperproduttività. Occorre inoltre valorizzare il confronto diretto, i convegni e le discussioni tra pari. Senza un intervento serio delle istituzioni scientifiche e politiche, temo per il futuro di una scienza prospera e di qualità.
“Ha ancora senso pubblicare articoli?”, me lo ripeto da giorni, anzi settimane. Dietro questo titolo molto provocatorio si nasconde una lunga riflessione sulle moderne intelligenze artificiali (AI) e ricerca scientifica che vorrei condividere con voi. Sono riflessioni personali, ponderate sulla mia attuale esperienza personale di precario della ricerca italiana.
È ormai sotto gli occhi di tutti che gli attuali modelli di intelligenza artificiale rendono obsoleto tutto ciò che ha a che fare con un algoritmo (ovvero un PC). I Large Language Model (LLM) hanno cambiato e stanno cambiando così radicalmente il modo di fare scienza che le vecchie convenzioni, procedure, prassi, crollano sotto l’automazione ad una velocità preoccupante. Il problema è che la velocità con cui stanno cambiando le cose è molto più rapida della velocità umana di accorgersi di tale cambiamento.
L’argomento è ampio e ci sarebbe molto da dire, cercherò però di focalizzarmi su 3 punti: la peer-review, gli articoli di revisione, e l’elaborazione dati.
1-La vecchia e cara peer-review
La peer-review è un lavoro che i ricercatori fanno gratuitamente per compagnie private (i Publisher), nasce da un intento nobile di comunità, in cui tra pari, si revisionano i prodotti della ricerca con lo scopo finale di una crescita per tutti (io imparo da te e tu impari da me). Quindi in un mondo utopico (ma nemmeno tanto) ognuno di noi dovrebbe revisionare almeno due volte gli articoli prodotti (la mediana di revisori attuali è probabilmente due). Vi invito a fare questo calcolo, moltiplicate i vostri articoli pubblicati per 2; e poi chiedetevi, “ho fatto un numero corrispondente di revisioni nella mia carriera?” Sarà molto difficile. Io, con le mie attuali 26 pubblicazioni avrei dovuto fare 52 revisioni, ma ne ho fatte solo una quindicina (intendo articoli e non round di revisione come le conta l’ORCID). Ovviamente è un ragionamento che ha diverse falle (es. non è detto che le mie 26 pubblicazioni abbiano avuto 52 revisori diversi) ma serviva solo per presentare il problema. L’aumento sproporzionato di articoli ha reso le richieste di revisione un crescendo insostenibile per la comunità scientifica e le revisioni sono diventate un lavoro che nessuno vuole più fare.
In questa situazione insostenibile sono arrivate le AI.
Come manna dal cielo, un deus ex machina (questa locuzione latina è ironicamente appropriata), questi strumenti risolvono il problema precedentemente descritto. Se da un lato l’uso delle AI potrebbe migliorare la qualità delle revisioni, dall’altro ha reso molto svilente rispondere ad un revisore e vi spiego perché:
- Il sospetto che dietro ci sia una macchina: nelle ultime revisioni che mi sono arrivate questo pensiero mi ossessionava. A volte è stato palese e vi assicuro che sapere che la nostra risposta sarà data in pasto ad una AI che con molta probabilità sarà anche allenata da questa rende tutto incredibilmente demotivante. Prima ho detto che la peer review serve per crescere insieme, ma adesso non cresciamo più, al massimo facciamo crescere le AI a nostre spese.
- Occhio per occhio: la tentazione di rispondere utilizzando a propria volta una AI è grande soprattutto se si ha il sospetto che il revisore la stia usando. Il sospetto purtroppo rimane tale, non abbiamo modo di averne certezza.
- La peer AI review: Il risultato? Una peer review tra macchine, una corrispondenza tra AI. Botta e risposta in cui gli autori non leggeranno più le revisioni, ma useranno solo AI per rispondersi a vicenda, un futuro distopico che non avevamo previsto ma che sta già avvenendo. La peer review sta diventando uno squallido teatrino tra macchine mascherate da persone (una sorta di AI-ghostwriting).
2-Gli utilissimi articoli di revisione (review paper)
Fare articoli di revisione è un lavoro immenso, ma che da molte soddisfazioni e soprattutto (a mio avviso) tante conoscenze. Infatti, il lavoro di ricerca, comparazione, elaborazione delle informazioni ottenute da diversi autori, permette di crescere molto e capire a pieno un determinato argomento. Una buona review è quella che viene spesso definita critical review, e cioè una review che non fa solo un lavoro descrittivo degli ultimi articoli pubblicati, ma che, a volte con coraggio, analizza e critica alcuni modi di approcciarsi a quel topic. Non è anche questo l’obiettivo di un buon ricercatore? Questi tipi di articoli sono sempre meno, mentre aumentano quelli descrittivi che non danno mai un’opinione critica. Anche per questo le review sono diventate tante, e allo stesso tempo sono un ottimo modo per far crescere l’IF delle riviste che, come “buona” strategia, hanno quella di pubblicare un grande numero di review.
In questa situazione insostenibile sono arrivate le AI.
Le AI sono bravissime a fare lunghi articoli di revisione descrittivi. Se dai in mano ad una AI anche una chiave API poi, si riesce a creare un vero e proprio review-ificio. Come vedo il futuro? Molto nero, e se le AI continuano a crescere alle velocità attutali, nel prossimo futuro, le review descrittive non serviranno più. Se avremo bisogno di una sintesi sugli ultimi lavori pubblicati su un tema scientifico basterà chiedere ad una AI di farla, e in pochi secondi l’intera bibliografia mondiale sarà scansionata, analizzata, e descritta con un testo di 10 righe molto tecnico e professionale paragonabile a quelli prodotti oggi negli articoli di revisione. Sono cose che fanno già più o meno adesso, ma in futuro le AI saranno così performanti e potenti, con un tasso di allucinazioni talmente basso che scrivere review sarà uno sforzo inutile.
3-L’elaborazione dati
Ho sempre considerato l’elaborazione dati la parte più bella e interessante del lavoro del ricercatore. Lo scoglio più grande, soprattutto per il mondo delle scienze applicate, è la statistica. La statistica è il linguaggio delle scienze e deve essere imparata da tutti, proprio come l’inglese. Ovviamente facciamo scienza anche se non siamo madrelingua inglese, e lo stesso discorso lo possiamo applicare alla statistica. Così come imparare l’inglese richiede impegno, anche per la statistica è così, ma vedo sempre più persone fare fatica a capirla. Come dico spesso, capire la statistica (mi riferisco soprattutto a quella inferenziale) non è solo studiare noiosi libri pieni di formule per una mera formalità scientifica; capire la statistica serve principalmente per capire appieno i nostri dati, imparare a trovare i difetti e i pregi e di conseguenza valorizzarli (e, in senso più ampio, valorizzare il nostro lavoro). Il problema diventa serio quando alcuni articoli affermano cose diverse rispetto a quello che suggerisce la statistica (giusto per fare un esempio basta pensare al calcolo del minimo sample size, vulnus di molti articoli scientifici soprattutto nel campo delle scienze mediche/psicologiche).
In questa situazione insostenibile sono arrivate le AI.
Le AI sono diventate molto talentuose anche nell’elaborazione dati. È sufficiente dare il dataset in pasto alle AI e avrai come output statistiche avanzatissime e grafici già pronti per la pubblicazione. Ma chi capisce realmente quell’output? Se deleghiamo alla macchina anche l’elaborazione dati, come facciamo a discutere i risultati davanti ad una platea in un convegno scientifico? Sapremo rispondere alle domande dell’audience? Questo discorso si applica non solo alla statistica ma a molti altri temi dove delegare alle AI è spesso un atto di pigrizia piuttosto che di crescita.
4-La soluzione?
L’incontro tra il peggioramento della qualità della ricerca degli ultimi anni, vittima di un incalzante publish or perish (oppure come meglio viene definita publish or vanish), e il miglioramento esponenziale dei modelli LLM sta creando una combinazione perfetta, in un incrocio tra domanda e offerta quasi ironico.
In Italia la situazione è forse anche peggiore. I pochi fondi destinati alla ricerca, il precariato sistemico (I precari dell’università italiana) e la rincorsa a titoli e pubblicazioni in una valutazione principalmente quantitativa spingerà molti a ricorrere alle AI. Mi chiedo se la risposta del Ministero a tutto questo sarà semplicemente alzare le soglie dei semafori della ASN (che sebbene non ci sia più, sarà sostituita da procedure locali con i loro semaforini; L’ASN finisce nel dimenticatoio, Addio all’ASN. Ecco il testo di riforma del reclutamento approvato dal Senato).
Sebbene io abbia dipinto le AI come un grande problema, non vorrei far passare questo messaggio. Attualmente uso intensamente le AI per implementare una app statistica gratuita specifica per il mio settore disciplinare. La competenza che delego alla macchina è il coding ma le conoscenze teoriche le impongo io basandomi su diversi libri accademici scritti da autori di fama internazionale. Se le AI mi propongono alternative e implementazioni chiedo la fonte bibliografica, la valuto, la consulto, la studio, e se trovo riscontro positivo accetto la modifica. È un lavoro molto impegnativo che mi ha permesso di imparare tanto. Secondo me questo è un esempio di integrazione virtuosa delle AI nelle nostre vite da ricercatori.
Il problema principale è sempre nell’uso di queste tecnologie; secondo la mia opinione, il rischio più grande è approcciarsi a loro per pigrizia.
Di certo i Publisher faranno poco e nulla per fermare questa deriva; infatti, le AI porteranno ad un incremento significativo degli articoli pubblicati (come sta già succedendo per i preprint ArXiv versus AI slop: will capping preprint submissions work? e conferenze As AI triggers a tsunami of submissions, computer science conferences impose caps) con ovvi vantaggi economici per queste aziende.
Come risolvere? Puntare solo ed esclusivamente alla qualità della ricerca. Un numero alto di pubblicazioni deve diventare sinonimo di “cattiva scienza” (il tema della iper-produttività è stato a lungo trattato: Il problema ideologico della valutazione). Ad esempio, ai concorsi si dovrebbe accedere solo con un numero massimo di pubblicazioni (quelli che l’autore reputa di migliore qualità) e non con un minino come si fa adesso. Una soluzione, forse banale, che mi viene in mente è dare più valore al confronto diretto “tête-à-tête” live o in presenza: ciò vuol dire dare valore ai convegni e alle discussioni tra pari.
Concludo dicendo che se le organizzazioni scientifiche, le autorità governative e i legislatori non affrontano il tema seriamente le mie speranze per una scienza prospera e di qualità sono poche.
AI statement
Questo documento è scritto da me, senza l’utilizzo di AI. Se trovate piccoli errori di ortografia, grammatica o refusi di qualsiasi genere non preoccupatevi perché errare è umano.
