E’ possibile migliorare le modalità con cui i pari effettuano la revisione degli articoli? E’ possibile non farsi influenzare nel proprio giudizio da elementi esterni quali l’università di provenienza dell’autore, i suoi maestri, il numero di citazioni o la sede editoriale? Secondo l’autrice di un recente articolo su Science è doveroso. Le comunità disciplinari hanno una responsabilità ben precisa nel favorire la circolazione di ricerche solide e di buon livello. Ma lo stesso atteggiamento di responsabilità non dovrebbe essere adottato anche negli atenei? Forse no, visto che si pensa che una manciata di algoritmi non validati dalle comunità internazionali e pensati per campagne specifiche possano risolvere molti dei problemi di valutazione  e selezione interni.

Recentemente è apparso su Science un articolo che nella sua semplicità va dritto al punto. La scienza e gli scienziati tendono ormai a giudicare sulla base delle etichette, o di quello che l’autrice, Simine Vazire, definisce eminence: vale a dire il prestigio che viene a un autore dall’aver vinto questo o quel grant, dall’aver pubblicato su questo o quel top journal:

I don’t deny that most eminent scientists are very good at what they do. But I think that is equally true for tens of thousands of scientists who toil away mostly in obscurity. Science is difficult and important, and we should recognize the people who do it well. But concentrating recognition among a select few might not be justified, and it could damage science.

Gli scienziati, nel loro ruolo di revisori, spesso appoggiano il loro giudizio a elementi esterni alla ricerca, come appunto il prestigio dell’autore o della sua istituzione. Una sorta di effetto di San Matteo che si verifica anche nel caso del processo di validazione delle ricerche.

When eminence begets eminence, noise in the system gets amplified. There’s an element of luck to who ends up having the most success, and that luck will build on itself.

E ancora:

Favouring elite scientists when evaluating papers and proposals is like giving Usain Bolt a 10-metre head start in his next race because he won his last five. It incentivizes scientists to present themselves and their results in the best light possible, to shun transparency and to deflect criticism. Those tendencies contribute to reproducibility problems.

La proposta dell’autrice è quella di affrontare la lettura dei lavori da validare senza pregiudizi giudicando la ricerca solo ed esclusivamente nel merito, senza farsi condizionare da elementi esterni alla ricerca stessa. Una proposta difficile da realizzare, certo, ma uno sforzo necessario richiesto alle comunità scientifiche per poter garantire che la ricerca pubblicata sia davvero quella scientifically sound.

L’articolo ha il merito di porre l’accento, in un periodo di sovrapproduzione di articoli scientifici, sulla  responsabilità individuale e su un atteggiamento privo di pregiudizi.

Questo articolo e l’appello alla responsabilità individuale nella selezione di ciò che vale o non vale la pena di pubblicare, l’esortazione a non giudicare il valore di una ricerca sulla base di elementi esterni alla ricerca stessa, ci riporta in Italia, alla completa automatizzazione della valutazione dei lavori di ricerca basata esclusivamente su algoritmi, e a quanto sta accadendo con la preoccupante commercializzazione del software prodotto dalla Università della Basilicata e promossa in maniera molto insistente dalla commissione ricerca della CRUI.

Questo software, come già ricordato, applica in maniera pedissequa gli algoritmi anvuriani (VQR, ASN, ora persino quello per la definizione dei punteggi nella procedura di Finanziamento delle attività di ricerca di base). Il software ha il “merito” di eliminare totalmente il giudizio umano, affidando ad aggiustamenti algoritmici anche quelle parti di valutazione che neppure ANVUR si era sentita di quantificare in maniera automatica. Anche per le aree umanistiche un algoritmo risolverà tutti i problemi, sputando l’agognato numeretto che i decisori istituzionali avranno a disposizione per… per fare cosa?

Il software è stato acquistato da decine di università, che hanno abdicato al prezioso spazio lasciato dalla autonomia per riprodurre al proprio interno sistemi pensati per altri tipi di campagne, per altri livelli di valutazione.

Sembra che la predizione “meglio una cattiva valutazione che nessuna valutazione” si sia finalmente realizzata. Meglio una valutazione pensata per altri scopi piuttosto che nessuna valutazione.

E così qualcuno, chi crede negli automatismi e nel fatto che la ricerca possa essere in qualsiasi caso valutata meglio da un algoritmo piuttosto che dal giudizio umano, utilizzerà il software a livello micro, per valutare i commissari delle commissioni di concorso ad esempio, o i curricola dei condidati, facendo esattamente quello da cui il recente articolo su Science ci mette in guardia oltre che a riprodurre all’interno degli atenei un sistema che a livello internazionale non ha ancora ottenuto alcuna validazione.

Chissà se nell’acquistare i servizi di questo software (a un prezzo non propriamente economico e che va a duplicare, come abbiamo mostrato, strumenti già in uso nelle università) i rettori si sono posti queste domande molto semplici che ogni decisore istituzionale dovrebbe porsi:

La ricerca del mio ateneo diventerà migliore? Riuscirò a promuovere una ricerca solida e di buon livello? A creare una scuola di pensiero? La scienza prodotta dal mio ateneo sarà più efficace? Renderà il mondo migliore? Va bene, l’Italia, ma il resto del mondo? Come mi andrò a posizionare in un modo che ragiona su criteri diversi?

E infine, c’è qualcuno all’interno del mio ateneo in grado di leggere questi numeri e di interpretarli? Oppure vince sempre il numero più alto?

 

 

Print Friendly, PDF & Email

24 Commenti

  1. Sono felice che finalmente si parli della necessità di leggere i libri senza riferimenti esterni (casa editrice, grant, ecc.ecc), che spesso dicono solo quanto il ricercatore/studioso è ben introdotto nell’ambiente, al di là dei suoi meriti scientifici. Molte delle decisioni prese nell’ultimo periodo andrebbero riviste.

    • Ma se uno legge un libro o un articolo, il suo giudizio non è oggettivo. Ci vuole una misura oggettiva della qualità, mica ci possiamo basare sulle opinioni.

  3. A me pare, da sempre, che per giudicare i lavori prodotti dalla ricerca, bisogna leggerli direttamente. Anzi, ne sono convinta, da sempre. Ora, però, con la sovrapproduzione, come si fa? Qualcuno aveva calcolato, per la prima Asn, quanti minuti ciascun commissario poteva dedicare a leggere i lavori dei candidati, e ovviamente dai calcoli veniva fuori un quadro assurdo e grottesco. Tale modello è stato ottimamente illustrato di recente nella trasmissione di Augias, quando durante una porzione dell’anno, Michela Murgia presentava un libro al giorno (170 in tutto), e nessuno si domandava – mi pare – o si stupiva come facesse a leggere, capire, ricordare, sintetizzare e presentare con lucidità (come se fosse un robot) una tale mole di informazioni – dovendo poi fare anche altro nella vita, se non altro mangiare, bere e dormire. E infatti tutto finiva in battute più o meno felici.
    Che nella società ci sia una visione robotizzata della nostra esistenza, è più che evidente. Come fossimo macchine, senza nessuna indulgenza o comprensione rispetto alla possibilità di commettere errori (umani) quando si devono compilare moduli su moduli, e in fretta perché si rischia che il sistema si chiuda perché il tempo è scaduto, l’apparato burocratico carica sui cittadini
    incombenze digitali che dovrebbero essere gli uffici a gestire. Così facciamo anche gli impiegati, dovendo però pensare a far bene il nostro lavoro anzitutto e vivere decentemente, non in una gabbia per criceti. E irrilevante se la gestione digitalizzata è mal concepita e non contempla molti aspetti importanti del singolo (perchè tutto è fatto per una media umana cioè per un umano mediano, dove la curva Gauss è la più alta – se non mi sbaglio con la curva; cosa ci mettiamo dell’umano è irrilevante). A partire dalle formalizzazioni fatte a pera o inutili, se non idiote e ridicole, per esigenze di ‘scientificità’ di facciata, dalle metafore ossimoriche della “intelligenza artificiale”, che risultati pratici ci si aspetta da tutta questa algoritmizzazione dell’infinito? Tutto è conteggiabile, a questo punto, anche la qualità parametrizzata, e deve esserlo perché gli umani non riescono a smaltire decentemente questa enorme quantità di ‘prodotti’, e credo che anche nature e Science abbiano dato in tal senso il loro contributo nel passato. Tra neofordismo e robotizzazione dell’umano siamo messi proprio bene! Però ai vertici di queste procedure si arriva diversamente, per vie politiche, eh eh ….

  4. Sarebbe interessante sapere di più sul software, sperando che possa essere utilizzato da ANVUR e da tutte le università.
    Inoltre mi chiedo se abbia anche un sitema di ricerca anti-plagio, come ad es. fa Grammarly.

    • Johnny Mnemonico: “chiediamo anche a De Nicolao la qualità delle proposte di Baccini.”
      ____________________
      Molto buona, direi. Baccini, prima di scrivere pensa.

  7. Una volta c’erano le pepite d’oro, o i filoni aurei..ancora si trovano (talvolta-poche volte)! Ma oggi il metodo migliore è scavare nel terreno, nella sabbia, nel quarzo aurifero; più ne scavi più e probabile che ci siano oro, diamanti pietre preziose, platino o altro. Inoltre l’unica via non è selezionare i migliori scavatori ( se lo fai qualsiasi criterio è discutibile e umanamente interpretabile) ma escludere i peggiori (gente che non produce nulla in anni di attività). Per farlo (un grande scavo) però ci vogliono scavatrici potenti e tecnologicamente avanzate non setacci a mano, pale arrugginite e per ogni minatore anche più di in controllore che verifichi l’onestà dei pericolosi delinquenti/cercatori.

  8. Ah però, notevole. Ma perché non praticare una bella estrazione a sorte, tipo tombola, che assegni punteggi a caso. Sicuramente meno dispendiosa e mi verrebbe quasi da dire più precisa di un qualsiasi algoritmo. Che poi questa fascinazione per gli algoritmi è inquietante, già siamo soggetti alle fluttuazioni della borsa ormai fuori controllo a causa di algoritmi super sofisticati…ma andiamo avanti così.

  9. @orwell prprio così caro orwell, dopo una selezione negativa (cioè che nega a chi non ha un minimo requisito la possibilità) si tira a sorte…lei crede che gli attuali sistemi funzionino meglio?!!! Forse si o forse no, Se li decidesse lei di sicuro per lei, se li decisesse un altro di sicuro per l’altro e così via. Come dovrebbe sapere (ma temo non sia così -mi perdoni se può-), un metodo dovrebbe dimostrare di essere migliore di una scelta casuale. Da quanto si discute (a volte purtroppo tra i giovani velleitariamente) qua (roars)sembra che tutti i metodi siano sbagliati. Quindi in abbondanza di risorse (o meglio con risorse in linea col patto di lisbona) si tolgono gli indecorosi (in quantità) a gruppi di lavoro si dà in modo casuale (sorteggio. Mi dimostri che funziona peggio degli altri metodi. Se lei come suppongo sapesse di storia politica, ricorderà che i metodi per sorteggio erano i più efficaci. Vedasi la repubblica serenissima che molti secoli fa sembrava funzionare meglio del nostro disgraziato siste renzusconiano…
    Valete comites

  10. Concordo al 100% con questo articolo. Le cose pero’ in Italia non cambiano
    nelle valutazioni anzi peggiorano (vedi i ludi dipartimentali). Mi chiedo: ma non sara’ questione di numeri e cioe’ noi che protestiamo magari siamo un numero irrisorio rispetto ai 50000 docenti universitari ?. Quanti siamo ? qualcuno ha un’idea ?. Io penso non piu’ di 1000, cioe’ su 50000 siamo come un partito che arriva al 2%. Che fare ?

  12. Abbassarsi allo stesso livello dei decisori: se la valutazione è davvero basata completamente su una serie di algoritmi, allora con un po di reverse engineering si può sviluppare un software che (dato come input un certo ‘punteggio’ finale) il software restituisce la ‘strategia’ ottimale da seguire e.g. pubblica 2 papers su Suinicoltura piuttosto che 1 su Sience, etc.

    • Correggo un refuso di Bernardino DAmico: in (neo)lingua anvuriana, la dizione corretta non è “Suincoltura” ma “Suinicultura”, un “punto di riferimento imprescindibile per gli allevatori di suini, per i tecnici e per le imprese impegnate nell’indotto della filiera suinicola nazionale” [così la rivista descrive se stessa] che i vertici dell’agenzia di valutazione hanno accostato al Caffè di Pietro Verri:
      ____________
      «Oggetto di sarcasmo è in particolare la Rivista di suinicultura (cui si aggiunge Stalle da latte, che non è una rivista, ma un supplemento de L’informatore agrario), il cui titolo ha colpito la fantasia dei critici. Se il titolo è così importante, suggeriremo alla redazione di cambiarlo in “Sus Scrofa Domesticus Proceedings”… Del resto, Il Caffè [1764-1766] dovrebbe forse essere escluso dal novero delle riviste che hanno fatto la cultura italiana perché ha un nome che lascia piuttosto pensare alla cucina? (Ribolzi e Castagnaro [componenti del Direttivo ANVUR]: “La vendetta del suino: l’Anvur risponde al Corriere”, http://www.ilsussidiario.net/News/Educazione/2012/10/19/UNIVERSITA-La-vendetta-del-suino-l-Anvur-risponde-al-Corriere/330447/).
      _____________
      In quello che sembra teatro dell’assurdo, il titolo “vendetta del suino: l’Anvur risponde …” che – se usato da Roars – sarebbe stato da querela fu partorito (inconsapevolmente?) da due componenti del direttivo dell’epoca. Ciliegina sulla torta: la rivista di suinicoltura non era stata collocata nella lista delle riviste scientifiche di area 07 (scienze agrarie e veterinarie) ma in quella di area 13 (Scienze economiche e statistiche). Non credo con l’intenzione di sbeffeggiarle, ma giunti a questo punto tutto è possibile.


      https://www.roars.it/per-giustificare-le-riviste-pazze-lanvur-paragona-suinicoltura-al-caffe-di-pietro-verri/

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.