Ormai, sono in molti a pensare che, nel match #stopVQR, il dodicesimo uomo in campo nella squadra di chi protesta sia l’ANVUR, un trascinatore molto più efficace di Carlo Ferraro e Stefano Semplici nello spingere i docenti all’astensione. In particolare, gli inediti criteri bibliometrici sono un’autentica arma di astensione di massa, capace di indurre alla disobbedienza anche Gesuiti avvezzi all’obbedienza perinde ac cadaver. Sono criteri di inaudita complessità, senza precedenti nella letteratura scientifica e, per di più, sbagliati, come sanno persino gli studenti che affrontano i test di algebra delle High School statunitensi. Talmente contorti da produrre esiti imprevedibili anche per il coordinatore del GEV 09 che li ha progettati. Coordinatore che, per inciso, si era già distinto per avere fatto circolare delle sue slide in cui veniva fornita una definizione errata dell’impact factor, una delle nozioni di base in ambito bibliometrico
Il 4 febbraio è stato pubblicato un video in cui Gianluca Setti, coordinatore del GEV 09, fornisce una consulenza sui criteri VQR, rispondendo a quesiti sulla selezione dei prodotti. Circa un’ora di botta e risposta, che – per chi è particolarmente tenace – aiuta a farsi un’idea un po’ più precisa della bibliometria fai-da-te che sta alla base della VQR per i cosiddetti “settori bibliometrici” (un giorno o l’altro, qualcuno dovrebbe anche essere chiamato a rispondere per l’introduzione nell’accademia italiana di questa neolingua priva di fondamento ed erronea).
Per inciso, il coordinatore del GEV 09 si era già distinto per avere fatto circolare delle sue slide in cui veniva fornita una definizione errata dell’impact factor, una delle nozioni di base in ambito bibliometrico (Una VQR 2011-2014 “un sacco bella” oppure …).
Tornando al video, per l’ascoltatore minimamente esperto, l’aspetto che dà più da pensare è la parvenza di scientificità che si cerca di attribuire ad un apparato bibliometrico sostanzialmente pseudoscientifico che ha corso solo nella provincia italiana “governata” dall’ANVUR. Per fare un esempio, un qualsiasi studioso di bibliometria non potrebbe fare a meno di provare un brivido lungo la schiena, sentendosi raccontare le procedure con cui l’ANVUR calcola i percentile rank dei lavori apparsi su riviste di tipo “multidisciplinare”.
A conferma della tesi che vede nell’ANVUR il dodicesimo giocatore nella squadra della protesta #stopVQR, al 31-esimo minuto il coordinatore del GEV 09 dichiara candidamente che
Iris lo odio tanto quanto voi
Un modo come un altro per rinsaldare il clima di collaborazione nella squadra di chi tenta di condurre in porto la VQR e per motivare i docenti renitenti a caricare e ordinare i prodotti.
Ma l’aspetto più interessante è il tentativo di spiegare la “filosofia” su cui si baserebbero i criteri della VQR. Sono quei criteri i cui paradossi sono stati già evidenziati su Roars, mostrando anche che derivano da un fatal error, ovvero aver sommato delle quantità che, secondo innumerevoli testi di statistica per la valutazione, sommabili non sono.
Che sommare i percentile rank sia un errore è noto persino a chi affronta i test di algebra delle High School statunitensi. Come conseguenza di questo errore, può accadere che articoli poco citati vengano classificati eccellenti, mentre questo premio sia precluso ad articoli citatissimi, ma con un impact factor (o un indice SJR) della rivista di poco inferiore. Un fenomeno che contraddice in pieno la pretesa di non attribuire un eccessivo peso alla valutazione del contenitore (la rivista) rispetto alla valutazione dell’articolo basata sulle citazioni ricevute.
Una pretesa che viene richiamata anche nel video:
Tutto questo per dire che se una cosa ha decisamente più citazioni, uno vede il numero di citazioni ed è ovviamente invogliato a valutare molto meglio l’articolo piuttosto che se questo è pubblicato su una rivista che ha un indicatore elevato perché è il singolo articolo che conta.
Ad un certo punto, per essere più chiaro, il coordinatore del GEV 09 fa anche un esempio:
… una rivista che ha SJR = 3 e l’articolo pubblicato ha 2 citazioni e una rivista che ha SJR = 1.5 e l’articolo pubblicato ne ha 25. Allora io sono portato a scegliere il secondo.
In effetti, risulta chiaro a chiunque che il secondo articolo (che corrisponde al punto rosso nel grafico di destra), che ha più di dieci volte le citazioni del primo (punto blu), dovrebbe avere qualche carta in più al tribunale della valutazione bibliometrica. Dopo tutto, l’indice SJR della rivista (pari a 1.5) è solo la metà di quello della prima rivista. Naturale pensare che i criteri bibliometrici della VQR non possano che tradurre in numeri questa “saggezza” abbastanza intuitiva. Avendo preso un esempio così estremo, è ovvio che, l’articolo che riceve un numero di citazioni più di dieci volte maggiore sarà sempre e comunque il vincitore secondo le tabelle delle soglie VQR.
Ma le cose non stanno così. Basta avere un po’ di pazienza e, consultando le tabelle delle soglie pubblicate dall’ANVUR, si trova senza troppa fatica un caso, proprio nel GEV 09 (ASJC-1803-Management Science and Operations Research-anno2014), in cui i criteri bibliometrici del GEV 09 danno esattamente il risultato opposto:
- Articolo con SJR = 3 e solo 2 citazioni: classificato automaticamente come Eccellente
- Articolo con SJR = 1.5 e ben 25 citazioni: mandato in Informed Review.
In pratica, il coordinatore del GEV 09 dice che i criteri VQR sono stati fatti per premiare l’articolo che corrisponde al pallino rosso che dovrebbe essere “migliore” perché, sebbene pubblicato su una rivista con SJR un po’ più basso (SJR=1.5 contro 3) ha ricevuto un numero di citazioni (ben 25) più di dieci volte maggiore rispetto al pallino blu (solo 2 citazioni). Eppure, una tabella pubblicata dall’ANVUR dice che il pallino blu è migliore, dimostrando che il coordinatore non ha chiaro in mente quali effetti paradossali possono produrre i criteri che lui stesso ha contribuito a progettare.
Come si vede nel grafico, il paradosso nasce dalla particolare forma della curva di demarcazione tra la zona dei prodotti eccellenti e di quelli che verranno sottoposti a Informed Review. La curva, somigliante a un’iperbole, si impenna verticale, ragion per cui a sinistra di un certo SJR, nemmeno centinaia di citazioni consentono di raggiungere l’eccellenza. Una forma iperbolica che, come era stato spiegato in tempi non sospetti (Nei criteri VQR c’è un “fatal error” (noto da più di 20 anni) intitolavamo quasi due mesi fa), è diretta conseguenza dell’errore statistico commesso da chi ha progettato i disgraziati criteri bibliometrici della VQR.
Altro che Carlo Ferraro e Stefano Semplici: è la quinta colonna interna all’ANVUR la principale risorsa su cui possono contare coloro che vorrebbero tenere in ostaggio la VQR per costringere MIUR e Governo a mettere mano ai nodi economici del sistema universitario. E se va avanti così, potrebbe persino toccarci di dover ringraziare l’ANVUR e la bibliometria fai-da-te.
Eppure sarebbe sufficiente Wikipedia. Tutto nasce dalla ossessione di certi ambienti di ingegneri per le citazioni a breve termine ( 2-3 anni dalla pubblicazione) perché un certo tipo di letteratura scientifica ha una decadenza esponenziale essendo soggetta molto più di altra alla “commercializzazione” del prodotto. Avere imposto questa filosofia a tutto il sistema e da parte degli altri averla accettata senza reagire, porterà purtroppo a forme di “corruzione” nella produzione e nella pubblicazione della letteratura i cui segni si cominciano a vedere. Come matematico se devo giudicare un paper pubblicato negli ultimi tre anni trovo il dato delle citazioni quasi irrilevante e non significativo sull’impatto di medio / lungo termine, a quel punto meglio solo avvalersi della sede editoriale, almeno sai che un editorial board di un certo prestigio lo ha valutato bene ( con tutti i boss del caso).
Sì, per come sono progettati questi criteri, succede che un articolo, per essere pubblicato su una rivista non famosa, può anche ricevere fior fiore di citazioni ma non rientrare mai nella categoria di eccellenza. Può essere interessante e citatissimo, appunto, ma a priori non vale molto.
A questo punto, può andare in “informed peer review” se rientra nella zona grigia nella quale il GEV dubita dei propri criteri di eccellenza.
Questo si vede dalla diapositiva 55 di questa presentazione:
.
http://pqa.uniroma2.it/files/2015/07/VQR-TOR-VERGATA-red.pdf
.
Vista l’inclinazione della retta in alto a sinistra, ad esempio, si direbbe che ha più probabilità di finire in peer review, e quindi di essere rivalutato, un articolo con un numero di citazioni “medio” (percentile CIT sopra 0,5) in una rivista “scarsa” (JM basso), piuttosto che un articolo in una rivista con un JM migliore e più citazioni.
Questo vuole anche dire che, spostandosi a destra nel grafico, capitano più facilmente casi in cui un articolo, anche se in rivista buona e ben citato, non venga rivalutato.
E questo è quello che si ritrova nei file excel, dove in certi casi compare ad esempio un “mai in classe A”, non importa quante citazioni.
Per esempio, guardando la figura 3 a pag 18 del file sui file dei criteri del GEV5:
.
http://www.anvur.it/attachments/article/846/Criteri%20GEV%2005.pdf
Figura 3. Esempio di definizione delle zone incerte da gestire tramite informed peer review (IR).
.
succede che:
– a sinistra: un articolo con 3 o 4 citazioni in una rivista con JM tra 0.1 e 0.2 vada in peer review;
– nella zona del “cuneo” fra zona grigia e di eccellenza, una articolo con più di 21 citazioni (fra 21 e 148) e JM della rivista tra 0.8 e 0.9 sia automaticamente “elevato” (mai eccellente per quel JM)
– a destra: un articolo con 8-9 citazioni e JM della rivista fra 0.9 e 1, automaticamente “eccellente”.
.
Come con la retta che parte dal punto (0, 0.5) e finisca nel punto che determina l’inizio dell’eccellenza, si delimiti l’1.56% della produzione mondiale in una categoria, non mi è chiaro.
.
Quindi, in teoria, in futuro e se i criteri restassero questi, si dovrebbe puntare o a riviste con alto/issimo JM (SJR e IPP ad esempio, prestigiose o popolari), per le quali basterebbero relativamente poche citazioni, o “scarse”, sperando in un buon numero di citazioni e che la informed peer review ribalti il pronostico sfavorevole (col pregiudizio che la rivista non è eccellente).
Ma si “rischia” maggiormente di non essere mai eccellenti con le riviste “solo” buone, anche con tante citazioni.
Uh… grazie per aver messo le immagini nel mio commento, che mostrano ancora una volta, fra l’altro, il progresso che c’è stato dopo gli iniziali “quadrati magici”. Ora abbiamo le “cravatte magiche” – rigorosamente regimental :-) Baci.
Aggiungo che anche le citazioni sono spesso fasulle. Ormai tutti sanno che lavorare in alcuni settori incrementa esponenzialmente il numero di citazioni. Inoltre basta costituire un gruppetto internazionale per ottenere risultati lusinghieri. Per averne la riprova, osservate la crescita abnorme di citazioni negli ultimi anni.
Poi concordo con Marcati sul fatto che le citazioni di breve periodo non sono molto significative. Paradossalmente i lavori migliori sarebbero quelli citati poco sul breve periodo e citati molto sul lungo periodo, anche oltre i dieci anni.
Infine, l’inserimento delle riviste da parte dei GEV in alcuni settori piuttosto che altri, può favorire alcune riviste penalizzandone altre. Se si guardano i famosi file excel il giochino mi sembra fin troppo evidente.
Fino ad oggi ritenevo di non essere una cima, ma nemmeno uno stupido. Dopo aver visto il video del quale non ho capito una parola, mi sono sentito, oltre che stupido, anche completamente avulso dal contesto. Nell’Università se c’è posto per gente come questa, non c’è posto per me. Sollecito il sistema a licenziarmi!
«Mirabile videtur quod non rideat haruspex, cum haruspicem viderit» scriveva Cicerone [Sembra incredibile che un aruspice non rida incontrandone un altro]. Anch’io mi sorprenderei se non accadesse qualcosa di simile quando due cultori della bibliometria anvuriana incrociano gli sguardi.
… veddero un fregno buffo co’ la testa dipinta come fosse un giocarello, vestito mezzo ignudo, co’ ‘na cresta tutta formata di penne d’uccello.
Se fermorno. Se fecero coraggio:
– Ah quell’omo! – je fecero, – chi siete?
– Eh – fece, – chi ho da esse’? So’ un servaggio. e voi antri quaggiù chi ve ce manna?
Pascarella
Comunque qualcosa ho capito (forse non sono completamente stupido). Al di là dei tecnicismi la discussione si è incentrata su modo di inserire i dati dei prodotti, modo che influenzerà in modo determinante il risultato della valutazione. La cosa mi pare folle e prefigura una seconda VQR, rivolta questa volta a valutare le persone, ed incentrata sulla abilità dei singoli nel classificare i prodotti per la VQR.
Seconda VQR, altrimenti detta VQR-VQR, ossia:
Verifica di Quanti Riescono a Vendere Questa Roba.
Sto ascoltando. Iris è un prodotto commerciale sviluppato da Cineca che le università comprano. Perché lo comprano, perché non lo ricevono gratis se la vqr è obbligatoria? E quanto costa?
Poi mi sembra che ognuno deve fare la propria valutazione (massimizzando) e poi la commissione valuta se ha valutato bene, come dice anche braccesi.
Mi piace anche quando si dice ‘questa è una domanda tecnica’ per dire ‘domanda specifica o di dettaglio”, come se le altre non fossero tecniche.
Mi piace anche il concetto di ‘massimizzazione’: ma a cosa servono le commissioni? Per stilare la graduatoria e basta? Ah, no, fanno anche riclassifiche.
Poi ci sarebbe anche un massimizzatore automatico, ma l’ottimizzazione sfrenata non va bene, perchè la commissione se ne potrebbe accorgere.
La scadenza del 29 febbraio resta ferma.
Nel bel mezzo di queste speculazioni matematiche, io torno a bomba sul prrché di una simile complicazione.
Sui grandi numeri, non bastava usare la banca dati di ugov/iris, o anche pubmed/scopus/wos e persino googlescholar per avere un’idea di come Atenei e Dipartimenti si collocano nel ranking?
Insomma, se voglio stilare una classifica delle provincie in cui si pratica piú sport credo (anzi, ne sono convinto perché gli studi di epidemiologia si fanno cosí) sia sufficiente usare degli indicatori giá disponibili senza fare “campagne di raccolta dati”: basterebbe acquisire il fatturato dei negozi che vendono scarpe da ginnastica o quello delle palestre e piscine. Nessun ricercatore si sognerebbe di chiedere a ciascun cittadino di indicare le sue due migliori prestazioni (numero di squat, km percorsi, vasche fatte etc…)…
Francamente da persona che lavora con i numeri e con i dati che derivano da indagini epidemiologiche o da esperimenti, queste campagne VQR mi sembrano, oltre che farraginose, anche deboli dal punto di vista statistico.
Vorrei sapere cosa ne pensano altri colleghi.
Io penso che siamo tutti drogati di vqr. Che abbiamo perso il senso della realtà e della misura. Che ci hanno coinvolto in un gioco perverso, che come qualsiasi gioco d’azzardo ha generato dipendenza e che non siamo più in grado di interrompere, solo per giustificare tagli di spesa e per addossarci anche colpe e responsabilità per mezzo di campagne denigratorie. Che una persona normale non va a dire all’ultimo momento che le università hanno comprato un programma da un ente parauniversitario o paraministeriale che riceve finanziamenti pubblici, ma che quel programma ecc. non gli piace nel senso che non è adatto allo scopo. In simili casi si restituisce il prodotto e si richiedono i soldi, altrimenti l’imbroglio è doppio. E che non vai a raccontare le favole dell’ottimizzatore massimizzante da maneggiare con cura perché altrimenti la commissione ti demassimizza anziché leggersi le cose e discuterne. Ciò che si deve leggere e studiare sono i tabelloni excel, o i comunicati periodici dell’Anvur da dove ora si toglie ora si aggiunge, i quali piano piano ci distorcono il modo di pensare e ci guastano irreparabilmente il linguaggio.
A volte cerco di immaginare come ci si sentirebbe a essere governati dal Maestro do Nascimento (https://it.wikipedia.org/wiki/M%C3%A1rio_Pacheco_do_Nascimento). Il problema è che ho l’impressione di saperlo indovinare.
@cenci goga 1 (pascarella) grazie per il momento di piacere.
@cenci goga 2: pur non lavorando con numeri da indagini epidemiologiche penso esattamente quanto ha scritto.
penso che con i soldi usati per la vqr si sarebbe potuto fare lo stesso lavoro, in termini di accuratezza dei risultati, e contemporaneamente erogare dei finanziamenti alla ricerca.
perche’ e’ stato imposto di fare l’ORCID, quando ormai tutti sanno che non e’ vincolante per la VQR?
quanto e’ stato pagato IRIS?
quanto e’ stata pagata l’interfaccia ORCID-IRIS?
quanto verranno pagati i prossimi aggiornamenti e le prossime interfacce che si rendono necessarie essendo il sistema incredibilmente farraginoso?
queste cifre, se qualcuno le avesse, sarebbero molto significative e magari contribuirebbero a spiegare dove siano finiti i tagli progressivi ai fondi PRIN (ad esempio), oppure i tagli ai nostri stipendi per il mancato recupero giuridico (sempre ad esempio), …
Mi pare che lo stesso discorso fosse stato affrontato qui https://www.roars.it/atenei-e-iris-a-che-punto-siamo-con-i-current-research-information-systems/
Cercherei di non confondere Iris con l’interfaccia VQR che ne è una parte in continua evoluzione, purtroppo, a causa delle indicazioni che arrivano a singhiozzo.
La funzione della anagrafe (persone, strutture, pubblicazioni, progetti), pubblica, mi pare evidente.
Certamente restano sempre i fogli excel…
Uno per il ricercatore, uno per il dipartimento, uno per l’Ateneo, uno per gli SSD, reinserendo i dati ogni volta da capo, ogni volta in modo un po’ diverso, certamente diverso da quello che fanno tutti gli altri coautori dell’ateneo o degli altri atenei….
non e’ vero che l’alternativa fossero i fogli excel, esisteva gia’ ugov e prima esistevano altri archivi istituzionali, gia’ costati molto denaro al sistema universitario
le domande restano tutte:
quanto e’ costato il passaggio da ugov a iris?
quanto e’ costata l’interfaccia orcid-iris?
quanto costano i periodici rilasci di “nuove funzionalita’”?
perche’ tutto questo e’ affidato sempre allo stesso soggetto in regime di sostanziale monopolio?
qualcuno ha le cifre globali, qualcuno sa rispondere?
a questo ovviamente si puo’ aggiungere l’ulteriore domanda, collegata alle precedenti:
quanto costa la VQR?
ma anche le precedenti meriterebbero una risposta
Faccio presente che Ugov era un sistema chiuso che non parlava se non con loginmiur (altro sistema chiuso) e che i repositories istituzionali contenevano una parte molto parziale della ricerca svolta negli atenei.
Ricordo anche, perché pare che nessuno lo menzioni mai, che Cineca è un consorzio di atenei.
Gli organi di governo sono formati da docenti o dirigenti degli atenei.http://www.cineca.it/it/content/consiglio-consortile
Presidente e vicepresidente sono docenti di atenei italiani.
Il consiglio consortile formato da rappresentanti degli atenei elegge la consulta e il CDA dove stanno docenti degli atenei italiani più un rappresentante del MIUR.
Il Direttore…. quello non c’è da quasi un anno, ma sembra che ciò non disturbi i rappresentanti degli atenei.
Credo che ciascuno possa ragionevolmente porre le domande su orcid IRIS e quant’altro al proprio rappresentante, così come potrebbe richiedere ai propri rappresentanti la pubblicità di tutti gli atti e verbali degli organi.
Ma questo mi pare tema di un altro post
scusate ma a “mecciando”, mi sono arreso… vado a vedere X-files…
In effetti, “I want to believe” riassume bene il punto di vista di chi si ostina a prestar fede alla bibliometria anvuriana.
Dopo mecciare nulla ha più senso.
Prenderli, chiuderli in una stanza in compagnia della Divina Commedia, fargliera imparare a memoria altrimenti non escono (ammessa qualche sberla per i renitenti).
In quale girone finiscono i valutatori maldestri e presuntuosi che contribuiscono ad affossare l’istituzione che li ha cresciuti e quale contrappasso è loro riservato?
https://youtu.be/pIComyzyv7Y