Volete laurearvi in ingegneria meccanica (o informatica) studiando con i professori che eccellono nella ricerca scientifica? Se acquistate in edicola la Classifica CENSIS-Repubblica 2015-2016, scoprirete che, se non volete salire fino a Trento, la vostra seconda migliore scelta è il Foro Italico di Roma. Peccato che quell’ateneo, specializzato nelle scienze motorie, non offra corsi di ingegneria e che nell’area dell’ingegneria industriale e dell’informazione disponga di un professore e tre ricercatori in tutto. Anche quest’anno il CENSIS ha diffuso le sue classifiche fai-da-te, i cui risultati paradossali, come denunciato l’anno scorso da Roars, sono diretta conseguenza di una metodologia non sostenuta da basi scientifiche. Secondo Repubblica la Grande Guida offre «Una raccolta di dati di qualità e notizie attendibili che aiutano genitori, future matricole e studenti a non annegare nel mare delle informazioni». Ne siamo sicuri?
Per saperne di più sulle classifiche CENSIS-Repubblica:
- Le classifiche CENSIS-Repubblica sono credibili?
- CENSIS chiedeva 20.000 Euro agli atenei per partecipare alla calibrazione di algoritmi di ranking. E 17 atenei aderirono.
Eccoci. Siamo alle solite. Si comincia con lo smontare la bibliometria, si dice che per smontarla bisogna conoscerla, si finisce col dire che ISI e SCOPUS sono affidabili. Alla fine si è sdoganata la bibliometria e la si promuove, sia pure dopo attenta osservazione.
Cosa si doveva fare? Semplice, mandare a spigare chi passa del tempo per trovare in giro le sue citazioni. Dire che se c’è bisogno di conoscere le nostre citazioni siamo fritti. Ancora una volta però vincono loro, anche qui.
Va bene. Ricominciamo da capo.
_____________________
1. Non è questione di “sdoganare” la bibliometria. Non esiste solo una “bibliometria valutativa” (che trova in Italia le sue realizzazioni più grottesche), ma pure una bibliometria finalizzata a comprendere, anche in termini sociologici, i flussi di conoscenza, le interazioni tra gli scienziati, le mode scientifiche, etc.. In tale ambito, è logico domandarsi quali siano le caratteristiche delle diverse fonti di dati ed è ben noto che Google Scholar ha caratteristiche strutturalmente diverse da quelle dei database commerciali. Citando Baccini:
____________
Sull’affidabilità/copertura di Google Scholar rispetto a WoS e Scopus c’è ormai ampia letteratura. Più o meno tutti concordano che il problema principale di GS è la cattiva qualità dei metadati. Che sono raccolti automaticamente da crawler. A questo si aggiunge la facile manipolabilità dei dati, provata dal caso di Ike Antkare, e in modo ancora più raffinato da Delgado et. al, 2014.
Questa è la sintesi della rassegna condotta degli estensori di The metric tide (si legge qui a p. 6):
“Various studies also investigate specific problems with GS. A general conclusion from the literature is that there is a lack of quality control in GS. There are many inaccuracies and errors. Jacsó (2006) for instance discusses the problem of incorrect citation counts in GS. The possibility of manipulating citation counts in GS is discussed by Beel and Gipp (2010a), Labbé (2010), and López-Cózar et al. (2014). GS is also criticised for its lack of transparency (e.g. Wouters & Costas, 2012). It is unclear what is covered by GS and what is not. Researchers also point out that cleaning GS data can be very
time consuming (Li et al., 2010; Meho & Yang, 2007).
https://www.roars.it/classifica-censis-repubblica-davvero-foro-italico-surclassa-i-politecnici-nella-ricerca-di-ingegneria/comment-page-1/#comment-50956
==================
2. Sull’utilità di smontare gli errori e l’incompetenza tecnica di chi produce classifiche e valutazioni. Qui cito me stesso:
__________________
Io do la solita risposta. Chi conosce la termodinamica sa che la realizzazione del moto perpetuo è una bufala. E se nel suo paese di campagna arriva un tizio che vuole vendere marchingegni “a moto perpetuo” gli ride dietro. Ma se i suoi concittadini, che non conoscono la termodinamica, sono pronti a farsi svenare dal tizio, allora ha senso aprire il marchingegno e mostrare che ci sono le pile e che se le togli si ferma. Semplicemente perché vedere con i propri occhi le pile e gli ingranaggi che si fermano è più veloce e alla portata di tutti che assimilare i principi della termodinamica. E smascherare il trucco può anche essere un modo per persuadere qualcuno che ha senso studiare la termodinamica (se credo al moto perpetuo perché me lo vedo davanti, non mi metto a studiare una disciplina che afferma la sua impossibilità). Alcuni sanno decifrare bene il vuoto che c’è dietro le classifiche e dietro certe campagne di stampa per la riforma di istruzione e università. Ma molti altri guardano incantati e anche affascinati dalla (presunta) autorevolezza dei pulpiti. Smontare le macchine miracolose e fare debunking delle #fakenews cambia poco la vita di chi ha già capito. Ma la maggioranza non ha capito e si fa abbindolare (inclusi molti colleghi). Si tratta di aiutare ad aprire gli occhi insomma e a mettere a fuoco chi è autorevole e chi no (autorevole anche solo nel riportare dei numeri, che è poco, ma se non si riesce a fare nemmeno quello, figuriamoci il resto).
https://www.roars.it/non-potevo-verificare-perche-e-a-pagamento-de-biase-sole24-non-lo-sa-ma-le-liste-degli-highly-cited-sono-gratis/comment-page-1/#comment-64791
__________________
Morale della favola: se ti mostro che chi compila le classifiche non conosce nemmeno l’ABC della bibliometria e/o non sa distinguere tra fonti affidabili e inaffidabili, diventa chiaro che quella classifica è una cialtronata e deve ammetterlo persino chi è ideologicamente schierato a favore delle classifiche. A costoro l’onere di mostrarci una classifica ben fatta. Esattamente come sta ai fautori del moto perpetuo l’onere di mostrarci una macchina che lo realizza (senza avere le pile al suo interno).