VQR: AnvurLeaks, il complotto australiano, la maledizione di Atuk e le classifiche di Pinocchio

Nella sua replica a ROARS l’ANVUR difende l’uso della Principal Component Analyis (PCA) da parte del GEV09 con i seguenti argomenti: (i) non si intendeva fare uso dei percentili (che avrebbero fatto ricadere nella “classifica di Nonna Papera“) e (ii) l’uso della PCA è del tutto lecito perché i risultati contraddittori segnalati da ROARS (la “classifica di Pinocchio” che viola il principio di dominanza paretiana) sono limitati a piccoli insiemi di riviste. Le nostre repliche: (i) se non si intendeva  usare i percentili, come mai il “New experimental algorithm” oggetto di studio del Bibliometric Working Group dell’ANVUR applica la PCA proprio ai percentili? (ii) se l’uso della PCA è del tutto lecito, come si spiegano le numerose violazioni del principio di dominanza paretiana nelle classifiche delle riviste pubblicate dal GEV09? Cosa farà l’ANVUR? Continuerà a difendere la PCA anche di fronte all’evidenza di questi errori?

In un altro documento, Potenzialità e limiti della analisi bibliometrica nelle aree umanistiche e sociali, Andrea Bonaccorsi, membro del consiglio direttivo ANVUR e vice coordinatore della VQR, riporta una comunicazione personale anonima che attribuisce il ritiro della classifica delle riviste nella valutazione nazionale australiana non a debolezze metodologiche, ma a pressioni politiche esercitate da influenti ricercatori ed opinion-maker. Tuttavia, alla luce della letteratura internazionale, la lettura di Bonaccorsi, non priva di una sfumatura cospirativa, appare  scientificamente isolata e alquanto irrituale per un documento ufficiale.

L’autore del presente articolo ritiene che l’aereo sia un utile mezzo di trasporto e se ne serve senza timore. Tuttavia, si rifiuterebbe di viaggiare su un aereo i cui motori sono stati assemblati da meccanici dilettanti e che verrà pilotato da un ottimo guidatore di automobile, ma privo di brevetto di volo. Proprio chi ritiene che la valutazione sia una cosa seria non può fare meno di preoccuparsi di fronte alle modalità con cui si sta svolgendo la Valutazione della Qualità della Ricerca italiana. Alcune dichiarazioni del coordinatore della VQR, unite al disinteresse per il rigore metodologico (la bibliometria fai-da-te) e la deontologia (la composizione dei GEV e i loro conflitti di interesse nella formulazione dei criteri di valutazione) destano il sospetto che la valutazione sia ostaggio di finalità ideologiche per la cui realizzazione, rigore etico e scientifico non sono necessari o, forse, sono persino di impaccio.

Ancora una volta, per rendere meno arida l’esposizione, faremo ricorso ad un espediente narrativo, immaginando un dialogo tra due personaggi di fantasia che discutono della VQR condotta dall’Agenzia Nazionale per la Valutazione del sistema Universitario della Ruritania (ANVUR). Tuttavia, tutte le informazioni tecniche riflettono fedelmente i problemi e i documenti della VQR italiana.

AnvurLeaks?

Una passeggiata nella tiepida serata primaverile era quello che ci voleva dopo un consiglio di facoltà noiosetto come al solito, ma insperatamente breve. Mentre si avviavano verso il bar di ingegneria, Gedeone raccontava a Peppe gli ultimi sviluppi della VQR della Ruritania:

“Era ora che L’ANVUR (Agenzia Nazionale per la Valutazione dell’Università della Ruritania) gliele cantasse a quel blog che ha montato una vera e propria campagna di denigrazione … come si chiama? Ah, adesso ricordo! ROARS, Ruritan Organization for Academic ReSearch.”

“Gedeone, tu lo sai che quei burloni di ROARS mi stanno simpatici. Scherzano con Nonna Papera, nani e giganti, la formula ammazza-atenei, Pinocchio, il vino a due stadi e le copule bibliometriche – Peppe sorrise – ma quanto a rigore metodologico non scherzano per niente. In che senso il tuo amico Edward [membro del Consiglio Direttivo dell’ANVUR e coordinatore della VQR] gliele ha cantate?”

“L’ANVUR ha pubblicato un documento intitolato La bibliometria della VQR. Prima di tutto li ha messi in riga: una basilare regola di metodo è che le critiche facciano riferimento a documenti ufficiali, debitamente approvati, e non a semplici versioni di lavoro, intermedie e riservate. Cosa vogliono fare? Imitare Assange e WikiLeaks? Invece che ROARS, il loro sito dovrebbe chiamarsi AnvurLeaks!”

“Caro Gedeone – quando doveva contraddire qualcuno Peppe esordiva sempre così – Edward avrebbe ragione di lamentarsi se l’ANVUR seguisse la prassi che seguono tutte le agenzie di valutazione serie. Si fa uno studio esplorativo, eventualmente ricorrendo a vere e proprie valutazioni pilota, si pubblica un documento preparatorio e si apre una consultazione pubblica raccogliendo in modo trasparente critiche, osservazioni e suggerimenti. Per esempio il REF (Research Excellence Framework) britannico nel luglio 2011 ha pubblicato una versione preliminare degli “assessment criteria and working methods”, aprendo una consultazione on-line che si è chiusa ai primi di ottobre. Lo scorso gennaio hanno infine pubblicato le loro risposte, articolate in più di 70 punti, come pure la versione finale degli “assessment criteria and working methods”. Tra consultazione e revisione dei criteri, l’intero processo è durato circa sei mesi e i criteri sono stati pubblicati con quasi due anni di anticipo rispetto alla scadenza [fine novembre 2013] per la presentazione dei “prodotti della ricerca”. Invece, quei disperati dei nostri colleghi ruritani devono presentare il materiale entro fine maggio e in molte aree i criteri non sono ancora del tutto noti, perché mancano le soglie bibliometriche esatte e le classifiche delle riviste. Pensa che i valutati si stanno organizzando su base volontaria per calcolare, almeno approssimativamente, le soglie bibliometriche che l’ANVUR non è in grado di fornire in tempo utile!”

Gedeone era visibilmente irritato e voleva obiettare qualcosa, ma Peppe era inarrestabile.

“Nel caso dell’ANVUR, se ROARS non avesse denunciato l’uso della ‘classifica di Nonna Papera‘ prima della sua pubblicazione, quell’errore metodologico sarebbe finito dritto dritto nei criteri per la classificazione delle riviste, dato che non era prevista nessuna consultazione. L’ANVUR, invece di prendersela con i bloggers di ROARS, dovrebbe ringraziarli per il lavoro gratuito di revisione che stanno facendo. Soprattutto perché i collaboratori di ROARS stanno dimostrando di essere più competenti della squadra messa insieme dall’ANVUR. Io sarei stato più spietato: avrei aspettato la pubblicazione dei criteri e, solo allora, avrei evidenziato tutti gli errori.”

Scommettiamo un dollaro?

Erano arrivati al bar. La sosta alla cassa e l’attesa per i due caffé fornì a Gedeone il pretesto per cambiare discorso:

“Devi venire a vedere il poster dei Blues Brothers che ho appena appeso nel mio ufficio. L’ho comprato su eBay. Un bianco e nero veramente splendido!”

Peppe e Gedeone avevano frequenti contrasti, ma bastava dirottare la discussione sul cinema e la comune passione diradava ogni nube. Gedeone era un fan di John Belushi e conosceva a memoria tutti i film di John Landis:

“È un peccato che alla televisione mandino in onda così raramente i film di Landis.”

“Hai ragione, Ged” – il nomignolo affettuoso era un ramoscello d’ulivo – “ma c’è un’eccezione: ‘Una poltrona per due’ che viene trasmesso puntualmente ogni anno durante le feste natalizie.”

“Un gran bel film. Indimenticabili i due fratelli Mortimer e Randolph Duke che sconvolgono le vite di Dan Aykroid ed Eddie Murphy quando la posta in palio è la scommessa di un unico misero dollaro!”

“E che dire della scena finale del gorilla?”

“A dire il vero io preferisco la scena della borsa con gli sguardi persi nel vuoto dei due fratelli Duke ridotti in rovina. Il film sembra quasi una metafora della VQR: sconvolgere la vita degli altri minacciando di metterli sul lastrico. Ma nel film la presunzione viene punita.”

Peppe si pentì di queste parole nel momento stesso in cui le pronunciava: sapeva bene che Gedeone non avrebbe incassato senza reagire.

The Australian way

“Peppe, c’è un’altro documento dell’ANVUR su cui vorrei chiederti un parere. Tu e quelli di ROARS sostenete che l’esperienza dell’Australia dimostra che la classificazione delle riviste è dannosa.”

La classificazione delle riviste in fasce di qualità era stata usata nella valutazione nazionale della ricerca australiana, ERA 2010, suscitando notevoli controversie. A seguito di ciò, nel maggio delo scorso anno era stata ufficialmente abbandonata. Il Ministro Carr, di fronte ad una commissione del Senato Australiano aveva dichiarato che

There is clear and consistent evidence that the rankings were being deployed inappropriately … in ways that could produce harmful outcomes

La decisione era stata accolta favorevolmente da diverse organizzazioni scientifiche, tra cui l’Australian Academy of Science.

Mentre si avviavano verso l’ufficio di Peppe, Gedeone proseguì:

“Guarda questo documento di Andrew Goodran, vice-coordinatore della VQR. Goodran riporta le confidenze di un esperto australiano, che ha avuto ruoli importanti nell’Australian Research Council (ARC) [l’equivalente australiano dell’ANVUR] e che, per ovvie ragioni, vuole restar anonimo. La verità è ben diversa da quella che circola di solito.”

“In che senso?”

“Alcuni opinion maker, insieme a influenti ricercatori, che erano scontenti della classificazione delle riviste di cui erano editor, hanno persuaso il Presidente dell’Australian Research Council che i ranking delle riviste venivano utilizzati in modo inappropriato dalle università per indirizzare le attività e le pubblicazioni. È saltato tutto a causa di pochissime riviste la cui classificazione aveva scontentato personaggi influenti. Su ROARS fanno credere che ci fossero chissà quali problemi metodologici. Invece, come scrive Goodran:”

Si è trattato quindi … non di debolezze metodologiche ma di pressioni politiche

Peppe ascoltava in silenzio. Nel frattempo erano entrati nell’ufficio di Gedeone.

La maledizione di Atuk

“È proprio splendido, Ged!” – Peppe era rimasto a bocca aperta davanti al poster dei Blues Brothers – “In missione per conto di Dio! Il motto dei Blues Brothers … Aretha Franklin, James Brown, Cab Calloway, Ray Charles: che film!”

Peppe sembrava aver scordato VQR e ANVUR:

“Ged, conosci la vera causa della morte di John Belushi?”

“Certo, è stata un’overdose. Aveva problemi di tossicodipendenza.”

“E invece no. La droga non c’entra nulla. È’ stato la prima vittima della “maledizione di Atuk”. Si tratta di una sceneggiatura maledetta. Tutti gli autori che accettano il ruolo di protagonista muoiono misteriosamente. Sono già morti ben sei attori. Mio cugino, che lavora per una Major mi ha raccontato che conosce un amico di Belushi, che vuole rimanere anonimo, il quale è sicuro che John in quel periodo non prendeva droghe e stava benissimo. Pensa, se John non avesse accettato quella parte, sarebbe ancora vivo!”

Gedeone sbarrò gli occhi:

“Ma cosa dici, Peppe? Ti sei bevuto il cervello? Ti sei messo anche tu a guardare i servizi di Voyager sulla profezia Maya del 2012, i cerchi nel grano e l’archeologia eretica? Se è per questo, ti avverto che c’è chi crede che Elvis Presley e Michael Jackson siano ancora vivi. Ti fidi di una testimonianza di seconda mano di uno che vuole rimanere anonimo?“

Ged ci era cascato in pieno. Un sorrisetto beffardo affiorò sulle labbra di Peppe:

“Certo che non credo alla maledizione di Atuk! Tu, invece, credi alla ‘vera storia dei ranking australiani’ a sostegno della quale Goodran porta una confidenza anonima. La maledizione di Atuk, almeno, la trovi su Wikipedia e ci sono anche i nomi degli attori morti. La ‘versione di Goodran’, invece, riduce una controversia scientifica testimoniata da centinaia di studi e articoli – guardati Google Scholar se non ci credi – alla ripicca di pochi personaggi influenti. Io trovo incredibile che una comunicazione personale anonima venga riportata in un documento ufficiale dell’ANVUR. Prova a scriverla in un articolo scientifico e poi mi racconti cosa ti rispondono i revisori. Dammi la tastiera che ti mostro cosa ha detto il direttore del REF britannico in un’audizione alla Camera dei Comuni:”

David Sweeney:  … we are very clear that we do not use our journal impact factors as a proxy measure for assessing quality. Our assessment panels are banned from so doing. That is not a contentious issue at all. […] I think we were very interested to see that in Australia, where they conceived an exercise that was heavily dependent on journal rankings, after carrying out the first exercise, they decided that alternative ways of assessing quality, other than journal rankings, were desirable in what is a very major change for them, which leaves them far more aligned with the way we do things in this country

“Come vedi nessun cenno a interpretazioni dietrologiche, ma la semplice convinzione che la scelta australiana risponda alle stesse esigenze scientifiche che portano il REF britannico ad evitare l’uso dell’Impact Factor per valutare i singoli prodotti.”

Il ritorno di Nonna Papera?

La discussione stava prendendo la solita piega spiacevole. Gedeone voleva a tutti i costi riscattarsi e calò la carta più pesante.

“Però devi ammettere che ROARS ha preso una cantonata sulla cosiddetta ‘classifica di Pinocchio’. In questo documento, Informazioni sulla bibliometria nella VQR, l’ANVUR mette in chiaro un po’ di cose. Prima di tutto non è vero che il GEV09 era ricascato nella ‘classifica di Nonna Papera‘ nel suo uso della Principal Component Analysis. Infatti, non intendevano usare i percentili ma ricorrere a variabili standardizzate.”

“Aspetta. Mi ricordo bene che il post di ROARS si era posto il problema di quale normalizzazione si dovesse usare. Mi sai spiegare perché nel documento del gruppo di lavoro bibliometrico dell’ANVUR viene detto chiaramente che si usano i percentili? Apri il file che mi avevi mandato l’altro giorno.

Nel punto 2 del New Experimental Algorithm, anch’esso basato sulla PCA, è detto chiaramente:

Calculate the cumulative distribution of both indicators, thus obtaining homogeneous values comparable in range [0,1]

Ti ricordo che, a meno di un fattore 100, usare la cumulative distribution è la stessa cosa che usare i percentili. Se l’ANVUR non intendeva usare i percentili nei criteri del GEV09, come si spiega la contraddizione con quanto proposto nel New Experimental Algorithm, che li usa senza ombra di dubbio e che doveva essere l’arma finale della scienza bibliometrica dell’ANVUR?“

Gedeone non sapeva cosa replicare e Peppe affondò il dito nella piaga.

“ROARS ha rivelato che la task force bibliometrica dell’ANVUR voleva studiare come ultima frontiera della bibliometria un ‘new experimental algorithm’  che, come vedrebbe subito persino uno dei nostri studenti, si riduce alla media di due ranking, il cui uso è un errore ampiamente noto nella letteratura statistica. Non so se Edward ha pubblicato o  pubblicherà mai i nomi del Bibliometric Working Group. Io, se ne facessi parte, preferirei rimanere più anonimo dell’australiano citato da Goodran. Essere eccellente nel tuo settore non basta a darti la patente per occuparti di bibliometria e metodologia della valutazione.

La classifica di Pinocchio colpisce ancora

Gedeone era disperato e cercò almeno il goal della bandiera:

“Però, non è vero che la PCA del GEV09 produce una classifica di Pinocchio che viola il principio di dominanza di Pareto. Su ROARS hanno costruito un esempio ad arte. Invece di prendere tutta un’intera Scientific Category hanno selezionato un gruppo ristretto di riviste. Come scrive l’ANVUR:”

se si effettua una selezione arbitraria di un numero di dati molto inferiori alla popolazione, i risultati ottenuti non hanno più alcuna attinenza con quanto ottenibile da una analisi statistica operata sull’insieme completo. Nelle classifiche complete, non si verificano violazioni del principio di dominanza paretiana e, pertanto, l’applicazione della tecnica PCA è del tutto lecita.

“Scusa, Gedeone, ma questa ti sembra una risposta scientifica? Quali proprietà statistiche deve avere la popolazione e quanto numerosa deve essere per evitare le violazioni? L’assenza di violazioni è solo frutto di una valutazione ex-post? Hanno veramente controllato che non ci fossero violazioni? Perché usare un metodo così fragile quando ne esistono infiniti altri garantiscono il rispetto della dominanza paretiana sempre e comunque? Anche quando non vedo assurdità palesi, come faccio a fidarmi delle classifiche? Il post di ROARS ha dimostrato che la PCA può produrre risultati assurdi e, giustamente, ha concluso che:“

È bene notare che la sola possibilità che si verifichi tale violazione pone seri dubbi sull’affidabilità del criterio anche nei casi in cui la sua applicazione non produce contraddizioni così evidenti.

“Però, ti dirò la verità, Ged, questa volta ROARS mi ha deluso!”

Gedeone fu colto di sorpresa, quasi avesse messo a segno un insperato canestro decisivo mentre già suonava la sirena del fine partita.

“Ti ricordi, Ged, che l’altro giorno ti avevo detto che un assegnista di ricerca aveva trovato un’altro svarione nei criteri dei GEV? Non ne abbiamo più parlato perché in mensa ci siamo messi a discutere della ‘trilogia dei morti viventi’ di Romero. Prima di andare in facoltà, ti ho girato la mail dell’assegnista.”

“Adesso la apro. Ecco cosa ti scriveva il tuo assegnista:”

Leggendo i criteri direttamente dal PDF ho notato uno svarione potenzialmente pure peggiore: se leggi i punti da (v) a (viii) dell’Appendice 1 dei criteri del GEV09, noti come si stia allegramente sommando pere e mele: i coefficienti ottenuti con una decomposizione su 2 indici vengono confrontati con quelli ottenuti con una decomposizione su 4.

“Vedi, Ged, perché sono deluso da ROARS? Si sono fissati sul sassolino e hanno trascurato il macigno. Dato che per alcune riviste Thomson-Reuters pubblica solo due indicatori bibliometrici invece di quattro, il GEV09 deve ricorrere a due PCA diverse. Per le riviste che hanno quattro indicatori, il punteggio è ottenuto proiettando sulla componente principale della PCA a quattro dimensioni, mentre per le altre riviste il punteggio si ottiene proiettando sulla componente principale della PCA a due dimensioni. È come mettere insieme le mele con le pere. L’unico dubbio è se questo svarione conduce a violazioni della dominanza paretiana nelle classifiche complete. Il 19 marzo scorso il GEV09 ha pubblicato le classifiche delle riviste basate sulla PCA e ieri ho trovato il tempo di verificare se l’assegnista aveva ragione.“

“Non tenermi sulle spine, cosa succede nelle classifiche complete?”

“Ecco, guarda questa parte della classifica per ‘Automation & Control Systems 2010’. In particolare, nota che la rivista INF TECHNOL CONTROL, è in classe 3, ovvero è ritenuta migliore di ASSEMBLY AUTOMATION che è in classe 4.

Adesso andiamo a controllare i parametri bibliometrici delle riviste nell’edizione 2010 dei Science Citation Reports dell’ISI. Ecco qui, questa è la tabella della Scientific Category ‘Automation & Control Systems 2010’.

La classificazione del GEV09 è paradossale perché INF TECHNOL CONTROL è dominata da ASSEMBLY AUTOMATION, nel senso che è inferiore sia come Impact Factor che come Eigenfactor. Questo è un  esempio di violazione del principio di dominanza paretiana, non in un gruppo ristretto di riviste, ma come risultato dell’applicazione della PCA ad un’intera categoria scientifica.”

Gedeone si ribellò:

“Ma non è possibile! Nella risposta a ROARS, l’ANVUR ha scritto testualmente

Nelle classifiche complete, non si verificano violazioni del principio di dominanza paretiana

Non posso credere che abbiano mentito! Avranno sbagliato a trascrivere le classi delle riviste. Inoltre, è un caso poco importante perché riguarda la classe 3 e la classe 4.”

Peppe lo guardò dritto negli occhi e, con calma, tornò sull’allegato del GEV09 e mostrò a Gedeone la classifica ‘Automation & Control Systems’ del 2008.

“Ecco, vedi che DISCRETE EVEN DYN S è in classe 2, mentre ANNU REV CONTROL è in classe 3? Tra l’altro non sono riviste strampalate. Io ho anche pubblicato un articolo su ANNU REV CONTROL. Adesso, andiamo a vedere i loro indicatori bibliometrici nell’edizione 2008 dei Science Citation Reports dell’ISI.”

“Ecco, ANNU REV CONTROL, che è in classe 3, dovrebbe essere peggiore di DISCRETE EVEN DYN S, che è in classe 2, ma entrambi gli indicatori bibliometrici, Impact Factor e Eigenfactor Score, testimoniano la superiorità di ANNU REV CONTROL. Insomma, si è avverata la previsione di ROARS: il GEV09 ha prodotto delle classifiche di Pinocchio, delle classifiche bugiarde che ribaltano la gerarchia degli indicatori bibliometrici.“

Gedeone tentò una timida difesa d’ufficio:

“Forse sono solo degli errori di calcolo limitati ad un’unica categoria scientifica …”

Peppe, non rispose, ma si limitò a mostrare la classifica 2010 delle riviste di Chemical Engineering.

“Caro Gedeone, vedi che REV CHIM-BUCHAREST è in classe 4, preceduta sia da LUBR SCI e CHEM IND CHEM ENG Q che sono entrambe in classe 3? Andiamo a controllare i loro indicatori bibliometrici dell’edizione 2010 dei Science Citation Reports dell’ISI“

Gedeone riusciva a malapena a deglutire la saliva, mentre Peppe, implacabile, proseguiva la demolizione delle classifiche del GEV09.

“Eccoti servite altre due violazioni paretiane! Come puoi vedere sia l’Impact Factor che l’Eigenfactor di REV CHIM-BUCHAREST sono migliori di quelli di LUBR SCI e CHEM IND CHEM ENG Q. Vuoi che andiamo a vedere qualche altra categoria scientifica?”

“Puoi fermarti. Hai ragione. Aver mescolato due PCA diverse ha causato un pasticcio irreparabile …”

Peppe riprese a parlare con quel tono un po’ saccente che assumeva quando saliva in cattedra:

“Cosa c’era scritto nel documento ANVUR?:

Nelle classifiche complete, non si verificano violazioni del principio di dominanza paretiana e, pertanto, l’applicazione della tecnica PCA è del tutto lecita

Invece, come ti ho appena mostrato, nelle  classifiche complete le violazioni si verificano davvero e, pertanto, l’applicazione della PCA non è lecita. Queste classifiche di Pinocchio verranno additate nella letteratura bibliometrica come un esempio di errore da evitare. Pubblicare delle classifiche che contengono diverse violazioni della dominanza paretiana dopo averne escluso la possibilità in un documento ufficiale dell’ANVUR è a dir poco imbarazzante.

Se io fossi nei panni di Edward e del presidente del GEV09 ritirerei tutte le classifiche calcolate con la PCA. Non mi piacerebbe essere oggetto di derisione e nemmeno vorrei macchiare una reputazione scientifica frutto di anni di lavoro, mettendo la mia firma sotto classifiche bibliometriche i cui paradossi sono ormai evidenti anche ai profani.

Nel GEV09 la situazione è grave anche per un’altra ragione: su ROARS hanno fatto notare che, all’interno del GEV09, vengono usati criteri bibliometrici disuniformi e che la distorsione che ne segue è tutt’altro che trascurabile [VQR: tutte le valutazioni sono uguali, ma alcune sono più uguali delle altre]. Edward sa bene che questa disuniformità di giudizio è in grado di invalidare la VQR dell’Area 09, rendendola inutilizzabile per qualsiasi confronto imparziale tra i dipartimenti. ” – concluse Peppe.

ROARS mi ha proprio deluso!

“Devo avvisare Edward al più presto!” – disse Gedeone, mentre già cominciava a scrivere un messaggio al suo amico ruritano – “la reputazione scientifica dell’ANVUR subirebbe un duro colpo se non ritira le classifiche del GEV09 prima che ROARS divulghi questi risultati. Per fortuna che tu l’hai scoperto per primo!”

“ROARS mi ha proprio deluso. Come hanno fatto a non accorgersi?” – mormorava sconsolato Peppe mentre si alzava per andarsene.

Gedeone rimase con la mano ferma a mezz’aria sopra la tastiera. Aveva avuto un’illuminazione, proprio come John Belushi davanti al reverendo James Brown:

“Sei così sicuro che non se ne fossero accorti, Peppe? Non ti ricordi che ROARS nell’articolo sulle copule bibliometriche aveva menzionato l’esistenza di un ulteriore svarione senza dire quale fosse? … Oddio, vedo che è uscito in questo momento un nuovo post su ROARS intitolato “VQR: AnvurLeaks, il complotto australiano ...”

Capitava di rado che Gedeone cogliesse Peppe di sopresa. Peppe rimase paralizzato sulla soglia. Poi si girò. Sembrava contento, ma il suo sguardo aveva un che di inquietante, quasi come l’occhiata finale di Michael Jackson nel finale di Thriller …