Omonimie, libri scambiati per articoli, omissioni e aggiunte.
Ma chi ce lo ha ordinato? Non era meglio il curriculum Cineca?
Innanzitutto tre brevi domande: prima, di chi l’idea in Europa; seconda, di chi l’idea nel governo o meglio dentro il MIUR; terza, di chi la responsabilità di non aver verificato come funziona l’aggeggio, e se per caso era possibile evitarne l’adozione. L’aggeggio è Google Scholar, il valutatore ‘tecnico’ e ‘neutrale’ delle mie pubblicazioni secondo numero di citazioni su Google stesso: mi compare quando apro la scheda di adesione ai nuovi cicli di Dottorato cortesemente inviati dalla Presidenza: un’apparizione improvvisa come un fulmine, ma a ciel non sereno ma molto nuvoloso, scuritosi paurosamente negli ultimi mesi dopo gli sguardi preoccupati alle banche dati Scopus e ISI. Private quelle, e privato questo, terzo nuovo aggeggio transnazionale ‘tecnico’ e ‘neutrale’. A queste entità divine sarebbe giocoforza inchinarsi per non essere marginalizzato. Si inchinano a loro società, Stati e continenti interi, guidati da leadership senza dignità e senza memoria di quanta storia e scienza vera siano portatori i loro paesi. I proprietari dei valutatori informatici si chiamano Larry Page e Sergey Brin (Google), Eugen Garfield (ISI), gruppo Elsevier (Scopus) …
E va bene, vado avanti per capire meglio. Clicco dunque sul link del modulo d’adesione, ed ecco la sorpresa, tra il comico e il tragico.
1) La valutazione riguarda, chissà perché, solo gli articoli. Non c’entra nulla qui il criterio comunque assurdo delle citazioni “made in ISI” e “made in Scopus”: il problema è che anche i libri sono citabili e citati.
2) I miei libri ci sono, ma rubricati come articoli, alla voce “Gruppi di articoli” (vedi TABELLA 1). E’ il primo errore del valutatore ‘tecnico’: i libri schedati sono L’Africa alla periferia della Storia, editore Guida, Napoli 1993, Premio cultura presidenza del Consiglio; la sua traduzione in francese, L’Afrique à la peripherie de l’Histoire, prefaz. di C. Coquery Vidrovitch, l’Harmattan, Paris 1995; La rivoluzione etiopica: testi e documenti, prefazione dello Enzo Santarelli, Argalia, Urbino 1980; Etiopia dietro la trincea, un reportage giornalistico (sono stato giornalista, e sono entrato in ruolo nell’Università nel 1985) Celuc, Milano, 1978. Quattro in tutto, su sei citazioni.
3) Dei miei libri, le case editrici, gli autori delle prefazioni (Coquery Vidtrovicth è storica africanista di fama internazionale, Enzo Santarelli è stato storico notissimo nella saggistica italiana di storia contemporanea), il numero di pagine (da cui evincere che non possono essere articoli), o il Premio di cui è stato insignito il libro edito da Guida, non vengono menzionati. Contano solo le citazioni, astratte per altro dai loro contenuti specifici.
4) Rimangono alla voce “Gruppi di articoli”, in prima schermata, due soli saggi, uno su una rivista straniera e l’altro su rivista italiana. Non si capisce il criterio della selezione ‘tecnica’, e vado a vedere cosa nasconde la finestrella “Aggiungi tutti i 21 articoli”. Prima di cliccare, mi chiedo: ventuno?
5) Ventuno? Sul mio curriculum pubblicato Sul sito Cineca lo scorso anno, gli articoli si contano in numero 80 (TABELLA 2), fatto normale dopo una trentina d’anni di attività; sul sito Unite.it, sono anche di più. Perché solo 21, e con che criteri ‘tecnici’ sono stati selezionati? Perché non compaiono riviste come Limes, Africana, Politica Internazionale, Le Monde Diplomatique, Rivista di storia contemporanea, Eurasia e simili? Clicco la finestrella “Aggiungi …” e scopro l’incredibile …
6) Ho un nipote archeologo omonimo, non l’ho mai visto, ci ho parlato un paio di volte al telefono, ma eccolo qui, nel mio curriculum! (TABELLA 3). Infatti tra i 21 articoli selezionati teoricamente dagli 80 elencati sul sito Cineca da Google Scholar, ci sono quattro saggi di Claudio Moffa il mio omonimo archeologo: n. 6, “L’organizzazione dello spazio sull’Acropoli di Broglio di Trebisacce: dallo studio delle strutture e dei manufatti in impasto di fango all’analisi della distribuzione dei reperti”; n. 7: “L’architettura in malta di fango nella penisola italiana tra Media età del Bronzo e prima età del Ferro”; n. 16) “Analisi degli intonaci di capanna e delle piastre da focolare in malta di fango nei riempimenti delle buche 45 e 10”; n. 21) “Analisi dell’intonaco di capanna di un abitato protostorico”. Ci rido su, ancora di più quando mi viene un sospetto: ho pubblicato un lungo articolo sui graffiti rupestri del Sahara sulla rivista Archeo, anno 1999 mi pare. Non è che questo articolo è finito nel curriculum di mio nipote? Attenti dunque agli omonimi, Google Scholar non è in grado di distinguerli come farebbe normalmente un qualsiasi commissario di concorso o valutatore alle prese con un candidato di nome Claudio Moffa;
7) Anche in questo secondo elenco di ‘articoli’ compaiono miei libri: di nuovo L’Africa alla periferia in italiano e francese; poi La favola multietnica: per una critica della sociologia dell’immigrazione facile, prefazione di Umberto Melotti, Harmattan Italia, Torino 2002; Saggi di storia africana, Unicopli, Milano 1996; la terza edizione de L’Africa alla periferia della Storia, Aracne, Roma 2005; Lamerica, di cui si cita solo il sottotitolo, Ideologie e realtà dell’immigrazione, e che in realtà è una curatela, edita da Aracne nel 2003; e il mio primo libro, pubblicato a 28 anni, una antologia di testi su La Resistenza palestinese, editore Savelli, 1976.
Ricapitoliamo: libri non oggetto di valutazione; libri confusi con articoli; monografie confuse con curatele, veri articoli citati in numero di 10 (dieci) sugli 80 del curriculum Cineca; niente numero di pagine, non editori, no autori delle prefazioni, niente recensioni sui propri libri, che valgono più delle citazioni che siano o no di scambio, una selezione arbitraria anche dei libri … insomma tutto quello che un commissario o valutatore in carne ed ossa, un essere umano pensante esaminerebbe con attenzione o per valorizzare il candidato o per sminuirlo – ma in entrambe i casi, in buona o in mala fede, restando egli soggetto sovrano con potere decisorio argomentato e ponderato, in dialettica con gli altri valutatori e col candidato – tutto quello che è stato normale sin qui, viene sradicato e annientato.
A vantaggio di cosa? Della maggiore produttività dei docenti e ricercatori italiani? No, innanzitutto perché la qualità della ricerca non la si valuta con la presunta ‘obbiettività’ delle banche dati e dei motori di ricerca; in secondo luogo perché ci possono essere altri strumenti per valutare a monte la produttività dei singoli, ad esempio la vecchia verifica triennale co-gestita con valutatori esterni.
A vantaggio del valutatore? No di certo, per quanto già detto. A vantaggio allora del giovane studioso, che si ‘libera’ dei maestri e dei concorsi ‘truccati’? Nemmeno: innanzitutto i concorsi truccati sono una generalizzazione assurda, in secondo luogo con il sistema della valutazione ‘tecnica’ ex banche dati e motore di ricerca privati, la corruzione e i trucchi restano e si moltiplicano, si spostano semplicemente ai livelli superiori, assolutamente incontrollabili. Si diventa tutti ‘eguali’, ma in un clima orwelliano, da una parte l’appiattimento delle individualità e dall’altra le élites tecno-informatiche che, bypassando i tre classici poteri dello stato un tempo sovrano – norme: quelle vere e fonte di discriminazione, fatte dai gestori informatici; esecutività delle norme, idem, attraverso gli indici bibliometrici; controllo giudiziario, pressoché zero, come già accade oggi nei confronti di tutte le anomalie e irregolarità della rete – impongono un loro punto di vista, una visione del mondo, che forse devono ancora essere svelati o compresi nella loro interezza. E che a giudicare dai primi passi compiuti, non devono promettere nulla di buono.
Inquietante. Se ISI e Scopus sono opinabili come affidabilità, google scholar non ha alcun grado di affidabilità, per sua stessa ammissione. Basta caricare su siti diversi tante reviews (anche approssimative o scopiazzate) in cui si citano i propri articoli o libri per ritrovarsi un boom di citazioni.
Gentile collega, bisognerebbe intimare, in termini legali, a chi ha effettuato il collegamento con i dati Google (che tutti sanno essere delle indicazioni di massima, tanto per farsi un’idea approssimativa ), di togliere immediatamente il collegamento. In quanto procura danno: all’immagine, allo stato di salute, al grado di stima che la famiglia ed altri nutrono ecc. ecc.
Cara Marinella: google scholar cerca tutto. Uno po’ puoi crearsi un “profilo utente” e certificare quali articoli sono suo. Stessa cosa per essere affidabili in ISI bisogna procurarsi un userID. Quindi Scholar ed ISI sono la stessa cosa. Solo che google mi prende tutti gli articoli e tutte le citazioni ISI no. Google è gratis ISI costa …. Comunque stiamo a parlare di valutare la ricerca con formulette matematiche degni del migliore “Lombroso” e le sue misure. Poi se per fare un idoneità ci vuole un anno e mezzo ed il ministero si tiene i risultati nel cassetto non è un problema.
mi chiedevo se, alla luce addirittura di Google come fonte per la valutazione delle citazioni, non avesse più senso e più valore, un elenco di citazioni autoprodotto con lo strumento dell’atto notorio e autocertificazione, quindi suscettibile di essere verificato e al limite sanzionato in caso di false dichiarazioni.
Da parecchi anni mi occupo di valutazione e di una cosa sono sempre stato convinto (e anche confortato dal parere di moltissimi molto più bravi di me): Google Scholar è enormemente meno affidabile di ISI o Scopus.
Era matematico che venisse quindi scelto Google Scholar…………..
Qui più che una critica a Google Scholar mi sembra che si debba fare una censura al suo improprio. GS ha un enorme pregio, è gratis, e un enorme difetto, è inaffidabile. Io trovo GS utile per le ricerche bibliografiche per argomenti dato che usa l’intero testo, e trovo anche utile guardare i profili della gente, specie se hanno dei cognomi comuni. Ma non mi sognerei di usarlo come strumento ufficiale di valutazione, e del resto è già sbagliato usare ISI e Scopus! I Curricula vanno letti e giudicati, non pesati con dubbi indicatori. Io credo che si debba dare impulso a un sistema come ORCID che identifica gli autori in maniera univoca, e smetterla di cercare scorciatoie.
Non è la prima volta che ROARS si occupa dell'(ab)uso di Google Scholar per scopi di valutazione. Agli interessati, segnalo almeno altri tre articoli:
https://www.roars.it/primo-capitolo-e-il-suo-h-index/
https://www.roars.it/google-scholar-soluzione-o-problema/
https://www.roars.it/scholar-search-allinferno-andata-e-ritorno/
Chi si occupa scientificamente di bibliometria è al corrente delle falle di Google Scholar (che, come osservato da Fedele Lizzi rimane un utilissimo strumento di ricerca bibliografica). Per spiegare il motivo delle falle, basta citare Diane Hicks:
[Google Scolar] “is not in a form usable for structured analysis. Basically this is beacause GS is not built from structured records, that is from metadata fields. Rather that using the author, affiliation, reference etc. data provided by publishers, GS parses full text to obtains its best guess for these items.”
http://works.bepress.com/diana_hicks/18
Ovvero non è basato su record strutturati ottenuti a pagamento (per pubblicare in molte delle riviste che appaiono in ISI bisogna pagare il costo di pubblicazione).
io ottengo,gli stesdi risultati,solo,che con google devo togliere, mentre con glimaltri due devo aggiungere perchè molte delle citazioni a miei lavori, col fatto che ho ilmdoppio cognome, sia thomson che scopus le perdono. sono diverse le maglie. però, essendo uno che fa epidemiologia preferisco dei falsi positivi (che poi posso eliminare) piuttoscto che dei falsi negativi (una volta perso è perso per sempre).
insomma una capra è tale con tutti e tre, uno scienziato lo è con tutti e tre. il problema sorge quando si pretende di discriminare tra positivi (infetti, o sopra mediana) e negativi (sani o sotto mediana) con un test poco specifico e poco sensibile, ma accontentandosi di differenze impercettibili…
se poi aggiungiamo che nella consultazione pubblica ci sono orrori con sí senza accento, il quadro è completo: siamo nelle mani dei soliti…
L’uso improprio degli strumenti, genere in effetti, una sensazione di non valido. Un utente sopra, infatti, faceva notare come GS, ISI e SCOPUS sono la medesima cosa se utilizzati e “settati” bene. Personalmente, ho curato il mio profilo GS e non ho trovato grossi scostamenti dalle banche dati più blasonate, se non per quelle citazioni che non sono in archivio a SCOPUS e ISI stesso. Aggiungo che GS ha un vantaggio che, per esempio, SCOPUS non ha; tiene in considerazione anche le citazioni di articoli non ISI e SCOPUS appunto. Non è una cosa da poco, ovviamente. Nel mio settore disciplinare, ci sono stati autori che negli anni passati hanno scritto contributi (in italiano, tengo a dire) in atti di convegni nazionali che oggi sono pienamente citati da autori stranieri su rivista internazionali classificate come ISI e SCOPUS. Su questi casi è evidente che GS fa un servizio che altri non fanno.
Non entro nel merito della critica alla “valutazione fatta per numeri” (che poi così non è, visto che, come al solito, le commissioni hanno un grandissimo potere al punto di aggiungere una ventina di punti, anche non propriamente corretti, per “rigirare la frittata”), ma mi soffermo su due affermazioni finali dell’autore dell’articolo:
“…(1) innanzitutto i concorsi truccati sono una generalizzazione assurda, (2) in secondo luogo con il sistema della valutazione ‘tecnica’ ex banche dati e motore di ricerca privati, la corruzione e i trucchi restano e si moltiplicano, si spostano semplicemente ai livelli superiori, assolutamente incontrollabili”.”
Sul punto (1): generalizzazione si, ma profonda verità ancora più si. Se non fosse così, mi domando come mai negli ultimi 20 anni il 95% dei vincitori di concorsi (ripeto concorsi) sono i “candidati di casa”. Non entro nel merito se i “candidati di casa” sono stati più o meno degli rispetto agli altri candidati, quanto sull’assunto che il “concorso” in italia è stato (e sarà) pura cooptazione (senza però far pagare il prezzo della cosa al cooptante!).
Sul punto (2): condivido la critica, ma con in questo modo l’autore critica, in maniera più o meno velato, sia il sistema della “valutazione numerica” sia della “valutazione per cooptazione” (vedi punto 1). Mi chiedo, quindi, quale sia per l’autore peggio: un GS usato male o il sistema accademico italiano profondamente malato?