Il TAR del Lazio, con sentenza passata in giudicato, ha annullato il criterio che utilizza per la costruzione di indicatori il motore di ricerca Google Scholar, sancendo di fatto l’illegittimità dell’intero impianto di valutazione adottato in Area13 (Economia) nei due esercizi VQR. Una notizia clamorosa. Peccato che non si tratti di una novità dell’ultima ora, ma di una sentenza che risale ormai a oltre un anno fa. E che la comunità italiana di Area13 (economisti, statistici e aziendalisti) ha fatto passare del tutto sotto silenzio, secondo la migliore tradizione del “sopire, troncare, padre molto reverendo, troncare, sopire“.  

Il TAR Lazio (Sezione Terza Bis) con questa sentenza del 30/10/2017 che MIUR ed ANVUR non hanno impugnato e che è ormai passata in giudicato, ha stabilito che le modalità di classificazione delle riviste utilizzate dal GEV di Area13 sono illegittime.

Il ricorso era stato proposto dalla rivista L’industria, con l’intervento ad adiuvandum di Romano Prodi, Gian Maria Gros Pietro, Giovanni Zanetti, Carlo Scognamiglio e Patrizio Bianchi. Il ricorso contro MIUR-ANVUR chiedeva “l’annullamento della classificazione delle riviste operata dal Gev13” nella VQR 2011-2014, dove L’industria era stata classificata in fascia E, che corrispondeva a punti 0 (zero) per qualsiasi articolo pubblicato sulla rivista.

E’ opportuno ricordare che nella VQR2, così come nella VQR1, Area13 è riuscita ad imporsi come zona franca, dove la valutazione degli articoli su rivista non avviene né con l’algoritmo bibliometrico adottato nelle aree bibliometriche, né con la informed peer review. In Area13 gli articoli vengono valutati esclusivamente sulla base della classificazione delle riviste in cui sono pubblicati, classificazione sviluppata in casa dal GEV di Area 13.

Il GEV13  della VQR1 (Presidente Tullio Jappelli) sviluppò una classificazione basata su indicatori bibliometrici. Il problema principale che dovette affrontare era relativo al fatto che molte riviste di economia non erano (e non sono) indicizzate in Web of Science o Scopus. Per classificare anche quelle riviste si procedette a calcolare valori stimati degli indicatori bibliometrici a partire dall’indice h disponibile su Google Scholar. La procedura è stata ripetuta con semplificazioni dal GEV della VQR2 (Presidente Graziella Bertocchi).

Il TAR Lazio ha annullato proprio l'”elemento chiave” del maccanismo di valutazione:

“Come esattamente osserva il ricorrente l’elemento chiave, cioè quello che permette l’associazione tra la rivista non indicizzata e il dato medio degli indicatori ricavato con la correlazione tra riviste non indicizzate e riviste indicizzate è sempre e comunque l’indice h calcolato da Google, sicché se questo non è affidabile, visto che alla rivista non indicizzata è associato il valore h relativo a quello di WoS e Scopus, tutto il processo diventa non corretto, ed erronea – o meglio immotivata- è la classificazione che ne consegue.”

Per sostenere l’inaffidabilità dell’h index di Google Scholar il TAR Lazio ricorre ad una lunga citazione di un documento ANVUR del 2016 in cui si sostiene che sia necessario svolgere ricerche per “valutare la possibilità di utilizzo dei dati Google Scholar a fini valutativi”. Ma il GEV13 aveva già utilizzato quell0indatore per le valutazioni. Secondo il TAR Lazio “il ricorso va accolto per difetto di istruttoria, travisamento dei fatti e carenza di motivazione, con derivato annullamento del criterio prescelto e della correlata classificazione della rivista ricorrente”.

“Il Tribunale Amministrativo Regionale per il Lazio (Sezione Terza Bis), definitivamente pronunciando sul ricorso, come in epigrafe proposto, lo accoglie e per l’effetto annulla il criterio che utilizza per la costruzione di indicatori il motore di ricerca Google Scholar e della correlata classificazione della rivista ricorrente.”

MIUR ed ANVUR hanno rinunciato all’appello e la sentenza è passata in giudicato.

Di fatto la sentenza distrugge l’intero lavoro di classificazione delle riviste di Area13 della VQR1. Ma c’è di più. La sentenza mostra che tutta la valutazione degli articoli su rivista di Area 13 è basata su un criterio che il TAR ha ritenuto di dover annullare.

Sentenza clamorosa accolta in (cupo) silenzio dalla comunità accademica di Area13. Certo difficile alzare la voce quando ben due GEV hanno lavorato indefessamente a mettere a punto un criterio annullato “per difetto di istruttoria, travisamento dei fatti e carenza di motivazione”. A suo tempo scrivemmo che le modalità dei selezione dei GEV non facevano presagire niente di buono. Ma la realtà ha superato di molto le peggiori previsioni che si potevano fare. Colpisce davvero che nessuno nei GEV abbia trovato qualcosa da obiettare nella procedura adesso annullata dal TAR. E colpisce il silenzio della comunità accademica successivo alla sentenza. Forse entrambi i silenzi possono essere spiegati proprio con le modalità blindate di composizione del GEV. Se si guarda per esempio all’economia in senso stretto, il GEV è stato costruito intorno al nucleo degli economisti bocconiani e che circolano intorno a LaVoce.info; a questi sono stati affiancati da qualificate presenze di minoranze (sedicenti) “non mainstream” che evidentemente non hanno trovato nulla da obiettare di fronte alla procedura ora annullata.

Per concludere la distribuzione delle risorse FFO e i soldi distribuiti ai dipartimenti di eccellenza, in Area13 dipendono da un criterio di valutazione annullato dal TAR. Nel mentre, la comunità scientifica dell’Area tace in un silenzio assordante, evidentemente convinta che abbia trionfato la meritocrazia, anche se “con difetti di istruttoria, travisamento dei fatti e carenza di motivazione”.

Sentenza completa: download.

Send to Kindle

14 Commenti

  1. Gli economisti avevano gia’ cercato di imporre l’utilizzo di Google Scholar a tutti. Ci fu anche una riunione al MIUR dove presentarono una proposta. ANVUR non ha accettato di proseguire su questa strada. Una delle motivazioni piu’forti e’ che il “set” iniziale su cui sono calcolati gli indici da google scholar non e’ pubblico. Lo scrivente, in uno scambio con i proponenti, dimostro’ che gli oltre 1000 articoli che mi erano stati assegnati erano -per una frazione importante- riconducibili non ad articoli su riviste ma ad altro tipo di pubblicazione (note interne, presentazioni, lezioni e quant’altro). Evidentemente, pero’, la comunita’ del GEV 13 e’ andata diritta per la sua strada. Piu’ che MIUR ed ANVUR qui, a fallire,e’ la comunita’ accademica stessa.

    • Giusta la decisione dell’ANVUR di non accettare l’utilizzio di Google Scholar perché è ignoto il set iniziale su cui sono calcolati gli indici.
      Peccato che sia ignoto anche il set iniziale e l’algoritmo che utilizza l’ANVUR per calcolare gli stessi indici con cui ha costruito le soglie di accesso all’abilitazione.

  2. E’ piuttosto curioso che in Sardegna, dove io vivo, gli unici Dipartimenti che abbiano beneficiato del titolo di Eccellenti (e relativi finanziamenti) siano i Dipartimenti di Economia delle due Università, apparentemente attraverso un meccanismo con ‘difetti di istruttoria, travisamento dei fatti e carenza di motivazione’ conseguentemente annullato dal TAR. Che Dio ci aiuti…

  3. Non solo vi sono effetti su valutazione interna all’area 13, ma essendo stata la stessa intera area 13 valutata in modo inconsistente, lo stesso confronto tra questa e le altre aree disciplinari perde qualsiasi significato per entrambe le vqr.
    Grande il Gev13, sotto la guida Jappelli-Bertocchi !
    Qualcuno potrebbe chiamarli in giudizio come co-responsabili di svariati casi di distribuzione falsata dei fondi ministeriali e all’interno degli Atenei, dato che quelle liste di riviste sono state impiegate a tal fine.
    P

  4. Non dovrei essere io a dirlo… ma dubito che altri possano accorgersene, e vorrei che Roars festeggiasse questa sua vittoria: la sentenza riprende letteralmente un passo dell’articolo “Del rigore metodologico del Gev 13” che ho pubblicato tre anni fa su Roars. Auguri!

  5. Le istituzioni pubbliche coinvolte non hanno la minima intenzione (pena la autodeleggittimazione) di riconoscere le loro responsabilità nell’aver ideato dei sistemi valutativi della ricerca che sono difettosi e che pertanto risultano dannosi, oltre che inaffidabili. Queste modalità di valutazione che vogliono trasformare e semplificare le grandi quantità caotiche in qualità predefinite hanno come effetto soltanto l’aumento della quantità (= i cosiddetti prodotti della ricerca) . Se fossi matematico mi divertirei a continuare a ragionare in questi termini.

  6. io non capisco il senso di queste classificazioni a priori di riviste, ne’ quello di benedire i database a pagamento e stigmatizzare gli altri. a chi dovrebbe servire?

    consideriamo che so un dirigente di scuola che deve decidere se la persona che ha davanti (e che ha pubblicato qualche lavoro) e’ competente o e’ un chiacchierone, per poi magari assumerlo (o meno). bastera’ il fatto che la rivista e’ di classe a per renderlo competente – o non sarebbe meglio che il dirigente parlasse con quella persona e si formasse un’idea?

    mettiamo l’altro caso, di qualcuno che pubblici un bel lavoro su una rivista che non e’ di classe a e che si presenti al concorso all’università, sostenendo che e’ valido. il commissario (o la commissaria) che lo esamina non farebbe meglio a leggere quel lavoro prima di dirgli – vattene via?

    mettiamo infine lo stesso commissario/commissaria che vuole farsi una idea di massima dei 300 candidati che hanno fatto domanda per un posto di ricercatore. non arrivo assolutamente a capire perche’ l’uso di google scholar non dovrebbe essere considerato un mezzo legittimo – non l’unico, non il principale, aggiungete quello che volete – e allo stesso tempo perche’ un database che comporta ai contribuenti di sborsare soldi dovrebbe essere migliore.

    e gia’ che ci siamo, esistono altri database specializzati piu’ completi accurati ed aggiornati — e gratis: ho in mente quello che usiamo noi fisici detto inspire. lo usiamo in tutto il mondo, e’ aggiornato, e’ uno standard riconosciuto, e’ gratis, non grava sui contribuenti direttamente – pero’ non va bene, a priori.

    non l’ho mai capito, e ancora non ci arrivo; certo anche perche’ sono testone, ma perche’ non se ne parla mai, perche’ si fanno calare le decisioni dall’alto, perche’ non si fa uno sforzo per motivare delle posizioni che hanno dei costi non indifferenti per la comunità?

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.