Lunedì 27 luglio uscirà nelle edicole la Grande Guida Università CENSIS-Repubblica, le cui classifiche sono in parte già state anticipate. Per l’occasione, ripubblichiamo un nostro articolo, uscito il 19 gennaio scorso, in cui si sollevava il problema della trasparenza delle classifiche, nel caso in cui chi le stila fornisce servizi di consulenza a pagamento alle università. È il caso del CENSIS, che qualche anno fa avrebbe fornito servizi a pagamento a diciassette atenei per sviluppare un “modello di valutazione sperimentale” con la collaborazione di esperti designati dagli atenei. Alcuni degli indicatori proposti in quel progetto erano ancora in uso nella Classifica CENSIS-Repubblica 2014. Costo? 20.000 Euro per ateneo.
Segue: articolo di G. De Nicolao, apparso su Roars il 19 gennaio 2015 con il titolo:
Classifiche trasparenti? Il caso della Grande Guida CENSIS-Repubblica
Le società che stilano le classifiche internazionali degli atenei forniscono servizi di consulenza a pagamento alle università al fine di migliorare le posizioni in classifica. Un fenomeno che suscita interrogativi sulla trasparenza dei rapporti tra valutatori e valutati. Pure in Italia, il CENSIS, che cura la classifica nazionale più nota, ha fornito servizi a pagamento a diciassette atenei per sviluppare un “modello di valutazione sperimentale” con la collaborazione di esperti designati dagli atenei. Costo? 20.000 Euro per ateneo, se si presta fede al preventivo rintracciabile in rete. Alcuni degli indicatori proposti in quel progetto sono stati effettivamente usati nella classifica della ricerca della Grande Guida CENSIS-Repubblica pubblicata nel luglio 2014.
Non molto tempo fa, Roars aveva lanciato la campagna Ranking trasparenti. Infatti, le società/agenzie che stilano le classifiche internazionali forniscono direttamente o attraverso società collegate servizi di consulenza alle università al fine di migliorare le posizioni in classifica. Questi servizi sono a pagamento, nonostante le consulenze siano in larga misura basate sui dati forniti gratuitamente dagli atenei stessi per essere inseriti nei rankings. Ma le università italiane usufruiscono/hanno usufruito di questi servizi? E se sì quanto hanno speso/spendono ciascuna e complessivamente per questi servizi? La nostra campagna mirava, con l’aiuto dei lettori, a cercare di capire cosa costano i ranking ai contribuenti italiani.
In attesa di quantificare la spesa nei contronti delle società/agenzie internazionali, abbiamo scoperto che, già qualche anno fa, un drappello di atenei italiani ha pagato delle consulenze a chi stila la classifica più visibile e diffusa sul territorio nazionale. Oggetto della consulenza era
coordinare con gli atenei, che indendano aderire al progetto, un modello di valutazione sperimentale
Ma andiamo per ordine e ricostruiamo la pista ci ha consentito di risalire a questa informazione.
1. Pagare il CENSIS per concordare algoritmi di rating e di ranking
Il punto di partenza è stato la nostra analisi delle basi metodologiche della Classifica CENSIS-Repubblica in cui abbiamo evidenziato l’uso di criteri bibliometrici non solo privi di validità scientifica, ma fondati sull’interrogazione di una base dati (Google Scholar) che la letteratura ritiene inadatta alla valutazione della ricerca scientifica. Questi particolari indicatori, assenti nella letteratura scientometrica, coincidono con quelli utilizzati in un’interfaccia, denominata Scholar Search, sviluppata e mantenuta dal Molecolar Genetics Group dell’Università di Roma Tor Vergata, sotto il coordinamento di Gianni Cesareni e Daniele Peluso. Il CENSIS ha usato Scholar Search per costruire le sue classifiche? Anche se non abbiamo una conferma esplicita, a pagina 10 della versione cartacea della Guida, si ringraziano “il prof. Cesareni e il dr. Peluso per il supporto sui dati Google Scholar“. Scholar Search è uno strumento artigianale, di cui sono noti i grossolani errori che commette nella disambiguazione delle omonimie (si veda qui e qui).
Ma in questa sede, più che le falle tecniche della Classifica CENSIS-Repubblica, ci interessa ricostruire la genealogia di un modello di valutazione così artigianale. Una prima traccia è data da un documento ufficiale dell’Università di Pavia che cita l’adozione di Scholar Search da parte del CENSIS:
Il nostro Ateneo ha aderito al “Progetto sperimentale di valutazione del sistema universitario” coordinato dal CENSIS cui aderiscono 17 Atenei[4]. Il CENSIS ha deciso di utilizzare il data base Scholar Search che consente di ottenere indicatori di prodotti e citazioni procapite, nonché l’indice H individuale per ogni singolo ricercatore affiliato ai Dipartimenti e medio per ogni aggregato desiderato (Area, SSD, Facoltà, Dipartimento, Università) sia a livello nazionale che di Ateneo incrociando i dati tratti da Google Scholar con quelli dei settori scientifico disciplinari del MIUR.
[4] Si tratta di Bologna, Bolzano, Cassino, Catania, Cattolica, Luiss, Lumsa, Marche, Messina, Padova, Palermo, Pavia, Perugia, Roma La Sapienza, Roma Tor Vergata, Sassari , Salento, Torino Politecnico
Ma cos’era questo progetto sperimentale? Attraverso una ricerca sul web, abbiamo rintracciato il preventivo CENSIS (29 luglio 2010), tuttora scaricabile dal sito dell’ateneo di Sassari, da cui si desume che, per partecipare a questo “progetto sperimentale”, il CENSIS chiedeva 20.000 Euro a ciascun ateneo.
Per che cosa voleva farsi pagare il CENSIS? Lo leggiamo a pag. 4 del preventivo:
per coordinare, con gli atenei che intendano aderire al progetto, un modello di valutazione sperimentale
Ecco tutte le fasi del percorso:
In altri termini, l’adesione (onerosa) consentiva di partecipare ad un board di atenei i cui esperti, sotto il coordinamento del CENSIS, avrebbero formato dei gruppi di lavoro. L’obiettivo finale? La costruzione di algoritmi di rating e di ranking la cui calibrazione avrebbe fatto uso di “punteggi assegnati dagli esperti”. Si parla di “simulazioni cieche di rating e ranking”, ma non è chiaro come potessero esssere tali per gli esperti che, essendo ovviamente a conoscenza dei dati forniti dal proprio ateneo, avrebber potuto monitorare ad ogni passo i punteggi ed il ranking della propria università per evitare di fare scelte svantaggiose per la propria sede.
2. Trasparenza e opportunità: un paio di domande
Che fine ha fatto questo modello di valutazione?
Nella sua parte bibliometrica è stato usato come strumento di valutazione interna agli atenei (la già citata Pavia, ma anche, per esempio, Cassino). In relazione alla trasparenza delle classifiche, risulta più interessante notare che alcuni degli indicatori bibliometrici artigianali proposti da Giovanni Cesareni al “gruppo di lavoro ricerca” del progettto CENSIS (per es. l’h-index normalizzato medio citato qui, pag. 70) coincidono con quelli usati per stilare le classifiche della ricerca della Grande Guida CENSIS-Repubblica.
I riscontri a nostra disposizione sono limitati alla valutazione della ricerca. Sarebbe pure interessante ricostruire i legami tra gli indicatori e i punteggi elaborati dagli altri gruppi di lavoro del progetto CENSIS e quelli usati nella costruzione delle altre classifiche della Grande Guida.
Per concludere, formuliamo due domande:
- È opportuno che un gruppo di atenei paghi l’Istituto che pubblica la classifica più visibile sul territorio nazionale perchè, attraverso il coordinamento di gruppi di lavoro formati dagli esperti degli stessi atenei, costruisca e calibri un modello di valutazione sperimentale?
- In che misura gli algoritmi di ranking delle classifiche della Grande Guida sono stati concordati e calibrati con quegli atenei che, per collaborare allo sviluppo di un modello di valutazione sperimentale, avevano pagato al CENSIS 20.000 Euro ciascuno?
Per rispondere alla seconda domanda, basterebbe confrontare la nota metodologica della Grande Guida con il Documento di Sintesi citato nella Fase E del progetto. Il CENSIS oppure qualcuno dei 17 atenei sarà così trasparente da pubblicarlo?
[…] di un “modello di valutazione sperimentale” e calibrarne i pesi. Costo? 20.000 Euro per ateneo (CENSIS chiedeva 20.000 Euro agli atenei per partecipare alla calibrazione di algoritmi di ranking. E…). Non proprio il massimo della trasparenza, visto che alcuni degli indicatori proposti in quel […]