Classifica delle mie brame, qual è la scuola migliore del reame?
Molti confondono la valutazione con la compilazione di classifiche, incluso il coordinatore della VQR, Sergio Benedetto: “Il risultato finale sarà una classificazione delle università fatta all’interno di ogni area scientifica.” (Repubblica 4/2/2012). In realtà, le agenzie di valutazione serie si limitano alla stima di quality profiles rifiutandosi categoricamente di stilare classifiche: “We have not produced any ranked lists of single scores for institutions or UoAs [Units of Assessment], and nor do we intend to.” (FAQ UK RAE 2008). Infatti, lungi dall’essere oggettive, le classifiche nascondono assunzioni di valore talmente arbitrarie da renderle incompatibili con il ruolo super partes di un’agenzia di valutazione. Tra l’altro, molte classifiche, una volta sottoposte a verifica, si rivelano basate su metodi e criteri largamente empirici se non addirittura errati.
ROARS ha già citato il clamoroso infortunio di Times Higher Education che nell’edizione 2010 della sua classifica internazionale degli atenei aveva collocato l’università di Alessandria di Egitto davanti a Stanford e Harvard in quanto a “research influence”. Come denunciato dal New York Times, la metodologia era talmente debole che era bastato un singolo professore egiziano molto citato nella rivista da lui stesso diretta per produrre un risultato paradossale.
Messo di fronte ad una classifica, lo spirito critico dell’osservatore resta paralizzato dall’apparente indiscutibilità dei numeri. Tutti si prostrano davanti alle classifiche e si affannano a commentarle. Pochi ne controllano l’affidabilità. Nell’articolo che segnaliamo si discute l’affidabilità della classifica delle scuole superiori elaborata dalla Fondazione Giovanni Agnelli (FGA). Per alcuni anni, la classifica ha riguardato le scuole piemontesi e adesso sta diffondendosi ad altre regioni ottenendo larga eco nella stampa. Abbiamo appena pubblicato un contributo (“Del furore di fare graduatorie“) di Giorgio Tassinari, professore di statistica aziendale presso l’Università di Bologna, il quale sottolinea la scarsa trasparenza metodologica della classifica della FGA e solleva dubbi sulla possibilità di distinguere l’effetto scuola dall’effetto studente e dall’effetto classe. Pietro De Nicolao è andato ancora più nel dettaglio: ha esaminato le classifiche FGA delle scuole pubblicate in due anni consecutivi e ha fatto una scoperta interessante …
Per saperne di più:
Scuole superiori: ci si può fidare della classifica della Fondazione Agnelli?
di Pietro De Nicolao
[…] è stato ripreso da ROARS! Condividi:CondividiEmailStampaLike this:LikeA un blogger piace questo elemento post. […]
[…] Reposted from https://www.roars.it/?p=7048 […]
Leggo alla fine dell´articolo “Scuole superiori della Lombardia: ecco quelle che formano meglio”: MA SOSTENGONO GLI AUTORI, È UN VALIDO ESERCIZIO DI VALUTAZIONE!”.
Mi sento rassicurata che è solo un esercizio, così per il COMPITO possono esercitarsi meglio e speriamo che le scuole superiori della Lombardia formino meglio dei loro “CLASSSIFICATORI”!
Sarebbe interessante sapere che scuole hanno fatto questi ultimi, così evito di mandarci mio figlio!
È vero, l’articolo del Corriere della Sera (http://tinyurl.com/bnwybzq) scrive proprio queste cose. Nonostante che nel rapporto tecnico (http://tinyurl.com/chbvs2l) della Fondazione Giovanni Agnelli, siano gli stessi curatori della classifica ad evidenziarne alcuni gravi limiti (tra cui il fatto che per quanto riguarda il profitto, l’effetto scuola dell’87,5% delle scuole piemontesi non si distinguesse in modo statisticamente significativo dalla media), le classifiche vengono propagandate come attendibili.
È anche significativo che la documentazione tecnica sia limitata a “working papers” molto sommari che non forniscono dettagli sufficienti a giudicare la validità statistica delle elaborazioni. In base alle ammissioni degli autori e all’analisi esterna di Pietro De Nicolao (http://tinyurl.com/ctue3v3 sembra lecito dubitare di tale affidabilità. Se ci fosse serietà, gli autori avrebbero dovuto sottoporre metodologia e risultati al vaglio di una rivista scientifica internazionale.
È poco corretto diffondere valutazioni di merito sulle scuole ricavate mediante metodi poco trasparenti attribuendo a tali classifiche una validità che non hanno. Rincresce dire che tale iniziativa non giova alla reputazione della Fondazione Giovanni Agnelli.
Vorrei segnalare l’articolo John Ewing “Mathematical Intimidation: Driven by the Data” pubblicato sul numero di Maggio 2011 di Notices of the American Mathematical Society, (Vol. 58, Number 5, pag. 667-673). L’articolo critica decisamente i metodi statistici cosiddetti “value added models” che a partire dai risultati dei test somministrati agli studenti dovrebbero consentire di isolare il contributo della scuola ed in particolare dei docenti, da altri fattori (preparazione precedente, contesto sociale e famigliare, ecc.). Non so se la fondazione Agnelli ha utilizzato metodi analoghi sostituendo ai risultati dei “test” il profitto negli studi universitari. L’articolo di Ewing contiene anche indicazioni bibliografiche. Non dovrebbe essere difficile scaricare l’articolo dalla rete.
[…] PISTOIA. Sulla Cronaca di Pistoia (da La Nazione – n.d.r.) del giorno 4 dicembre u.s. sono state pubblicate le graduatorie delle scuole di Pistoia e dintorni stilate dalla Fondazione Agnelli (vedi). […]