Misurare il learning loss: le “perdite di apprendimento” degli studenti

L’idea che i giovani abbiano “perso apprendimento” a causa delle interruzioni della loro istruzione durante la pandemia di Covid-19 è stata accettata come conoscenza comune. La “perdita dell’apprendimento” – learning loss – è oggetto di numerosi studi su larga scala, ha un ruolo di primo piano nei media e sta guidando le politiche di recupero e gli schemi di finanziamento delle scuole in molti paesi. Eppure, sembra esserci meno attenzione ai modi specifici, ma vari, con cui viene calcolata la perdita di apprendimento. Il mio interesse qui non è negare gli effetti dell’esser fuori dalla scuola, o criticare i vari sforzi di recupero. Piuttosto, proverò a fare un primo tentativo di esame del concetto di learning loss, basato su particolari forme di misurazione e quantificazione, della sua commercializzazione e della sua riformulazione in termini econometrici, da parte delle più influenti e grandi organizzazioni internazionali: dall’OCSE alla Banca Mondiale.

Pubblichiamo questo articolo ripreso e tradotto dal blog di Ben Williamson, ricercatore presso il Centre for Research in Digital Education, University of Edinburgh.

L’idea che i giovani abbiano “perso apprendimento” a causa delle interruzioni della loro istruzione durante la pandemia di Covid-19 è stata accettata come conoscenza comune. La “perdita dell’apprendimento” è oggetto di numerosi studi su larga scala, ha un ruolo di primo piano nei media e sta guidando le politiche di recupero e gli schemi di finanziamento delle scuole in molti paesi. Eppure, nonostante tutta la sua trazione, sembra esserci meno attenzione ai modi specifici ma vari con cui viene calcolata la perdita di apprendimento. La perdita di apprendimento è importante perché è stata concettualizzata e considerata in modi particolari come un’urgente preoccupazione educativa e sta animando l’ansia pubblica, il marketing commerciale e l’azione politica.

Chiaramente le interruzioni dell’istruzione avranno colpito i giovani in modi complessi e altamente differenziati. Il mio interesse qui non è negare gli effetti dell’essere fuori dalla scuola o criticare i vari sforzi di recupero. È fare un primo tentativo nell’esaminare la perdita di apprendimento come un concetto, basato su particolari forme di misurazione e quantificazione, che ora sta guidando le strategie di politica educativa e gli interventi scolastici nei paesi di tutto il mondo. Si distinguono tre diversi modi per calcolare la perdita di apprendimento. Il primo è parte della più lunga storia psicometrica della ricerca statistica sulla perdita di apprendimento, il secondo la sua commercializzazione da parte dell’industria dei test, e il terzo la riformulazione della perdita di apprendimento attraverso forme di analisi econometriche da parte degli economisti.

I sistemi di misurazione che enumerano la perdita di apprendimento sono, in molti casi, contraddittori, contestati e incompatibili tra loro. La “perdita di apprendimento” può quindi essere un concetto incoerente, meglio inteso come “perdite di apprendimento” multiple basate sui propri sistemi di misurazione.

Set up psicometrici

La ricerca sulla perdita dell’apprendimento viene solitamente fatta risalire a più di 40 anni fa all’influente pubblicazione Summer Learning and the Effects of Schooling di Barbara Heyns nel 1978. Il libro riportava un importante studio statistico sullo sviluppo cognitivo di 3000 bambini mentre non erano a scuola nel corso dell’estate, utilizzando le vacanze estive come una ‘situazione sperimentale naturale’ per l’analisi psicometrica. L’autrice scopre che i bambini provenienti da gruppi socioeconomici inferiori tendono a imparare di meno durante l’estate, o addirittura sperimentano una perdita misurabile di risultati.

Questi risultati iniziali sono stati apparentemente confermati da studi successivi, che hanno generalmente sostenuto due conclusioni principali: (1) il divario di rendimento dovuto a un differente stato socio economico (SES) familiare è sostanzialmente riconducibile a disparità di opportunità di apprendimento dei bambini a casa e negli ambienti comunitari; e (2) l’esperienza della scuola tende a compensare la pressione iniqua degli ambienti di apprendimento extrascolastici dei bambini. Fin dall’inizio degli studi sulla perdita di apprendimento, quindi, l’accento è stato posto sull’impiego di test psicometrici sullo sviluppo cognitivo dei bambini che non frequentano la scuola, in particolare sul rendimento inferiore degli studenti a basso SES e sul ruolo compensatorio che le scuole svolgono nel mitigare gli effetti disuguali di ambienti familiari, domestici e comunitari a basso SES.

Tuttavia, anche i ricercatori precedentemente simpatizzanti con il concetto di perdita di apprendimento hanno iniziato a mettere in discussione alcuni di questi risultati e le metodologie sottostanti. Nel 2019, il ricercatore sulla perdita di apprendimento Paul T. von Hippell ha espresso seri dubbi sull’affidabilità e la replicabilità di tali studi. Ha identificato gravi difetti nei test di perdita di apprendimento, mancanza di replicabilità dei risultati classici e notevole contraddizione con altre ricerche ben fondate sulle disuguaglianze educative.

Forse più urgentemente, ha notato che un cambiamento significativo nei metodi di punteggio dei test psicometrici – dai sondaggi con carta e penna a “un metodo più computazionalmente intensivo noto come Item Response Theory” (IRT) a metà degli anni ’80 – ha completamente invertito i risultati originali del primi anni ’80. Con l’IRT, la perdita di apprendimento sembrava svanire. Il metodo psicometrico originale “ha modellato le scoperte classiche sulla perdita di apprendimento estivo”, ma il nuovo metodo della teoria della risposta agli oggetti ha prodotto una “immagine mentale dell’apprendimento estivo” molto diversa.

Inoltre, ha osservato von Hippel, anche i test moderni che utilizzano lo stesso metodo IRT hanno prodotto risultati contraddittori. Lo studioso ha riferito di un confronto tra il test Measures of Academic Progress (MAP) sviluppato dall’organizzazione di test Northwest Evaluation Association (NWEA) e un test sviluppato per lo studio longitudinale della prima infanzia. Quest’ultimo ha scoperto che “la perdita di apprendimento estivo è banale”, ma il test NWEA MAP ha riportato che “la perdita di apprendimento estivo è molto più grave”. La perdita di apprendimento, quindi, appare almeno in parte come un artefatto del particolare assetto psicometrico costruito per misurarla, con risultati contraddittori. Questo non è solo un problema storico dovuto a  strumenti psicometrici sottosviluppati, ma persiste nei sistemi IRT computerizzati che sono stati implementati per misurare la perdita di apprendimento quando la pandemia di Covid-19 è iniziata nel 2020.

Commercializzazione della perdita di apprendimento

Qui è importante notare che la NWEA è tra le organizzazioni di test più visibili che producono dati sulla perdita di apprendimento durante la pandemia. Anche prima dell’inizio delle interruzioni di Covid-19, NWEA utilizzava i dati su milioni di studenti statunitensi che avevano effettuato una valutazione della crescita MAP per misurare la perdita di apprendimento estiva. Successivamente, il test NWEA MAP Growth è stato una delle principali fonti di dati sulla perdita di apprendimento negli Stati Uniti, insieme a varie valutazioni e meta-analisi di società di test commerciali come Illuminate, Curriculum Associates e Renaissance e la società di consulenza McKinsey and Company.

Peter Greene ha chiamato questi test “fake science“, sostenendo che “praticamente tutti i numeri utilizzati per “calcolare” la perdita di apprendimento sono inventati”. In parte perché i test misurano solo la lettura e il calcolo, quindi non contano nient’altro di ciò che potremmo pensare come “apprendimento”, e in parte perché i risultati della prima ondata erano principalmente proiezioni basate sul ricalcolo di dati passati provenienti da contesti pre-pandemici completamente diversi. Nonostante i loro limiti come sistemi per misurare l’apprendimento, i risultati cumulativi dei test sulla perdita di apprendimento hanno portato a un’ampia copertura mediatica, all’allarme dei genitori e a interventi politici ben finanziati. Negli Stati Uniti, ad esempio, gli stati stanno spendendo circa 6,5 miliardi di dollari per affrontare la perdita di apprendimento.

In Inghilterra, nel frattempo, il Dipartimento per l’Educazione ha incaricato la società di valutazione commerciale Renaissance Learning e l’Education Policy Institute di produrre uno studio nazionale sulla perdita di apprendimento. Utilizzando i dati delle valutazioni di lettura e matematica di oltre un milione di alunni che hanno sostenuto un test Renaissance Star nell’autunno 2020, i risultati sono stati poi pubblicati dal Dipartimento per l’Istruzione come documento ufficiale del governo. Un rapporto di aggiornamento del 2021, pubblicato sulla stessa pagina web del governo, collegava i risultati di Renaissance Star al National Pupil Database. Questa disposizione esemplifica sia i modi in cui le società di test commerciali hanno generato affari dalla misurazione della perdita di apprendimento, sia la loro capacità di modellare e informare la conoscenza del problema da parte del governo, nonché l’uso persistente dei risultati di lettura e calcolo come prova prossimale delle carenze nell’apprendimento.

Inoltre, la perdita di apprendimento è diventata un’opportunità commerciale non solo per le aziende di test che forniscono i test, ma per il più ampio settore delle risorse educative e tecnologiche che cercano di commercializzare soluzioni di “recupero” dell’apprendimento a scuole e famiglie. “Il marketing della perdita di apprendimento”, ha affermato Akil Bello, “è stato abbastanza efficace nell’ottenere denaro stanziato che quasi sicuramente finirà per avvantaggiare l’industria che ha coniato la frase. Apparentemente, la perdita di apprendimento è un termine scaturito dalla ricerca educativa che ha identificato e quantificato un effetto delle interruzioni legate alla pandemia sulle scuole e sull’apprendimento. In realtà, è il risultato di campagne di editori di prova e consulenti di Wall Street.

Sebbene non sia del tutto vero, come abbiamo visto, la perdita di apprendimento ha una storia accademica più lunga, sembra corretto affermare che il concetto è stato attivamente riformulato dal suo utilizzo iniziale nell’identificazione della perdita estiva. Piuttosto che fare affidamento su strumenti psicometrici per valutare lo sviluppo cognitivo, ora è stato ristretto alle valutazioni di lettura e calcolo. Quello che un tempo era un’indagine psicometrica con carta e penna negli anni ’80 è ora diventata un’industria commerciale nei test computerizzati e nella produzione di dati che influenzano la politica. Ma questa non è l’unica riformulazione che ha subito la perdita di apprendimento, poiché le misurazioni prodotte dall’industria della valutazione sono state parallele allo sviluppo di misurazioni alternative da parte di economisti che lavorano per grandi organizzazioni internazionali.

Isteresi economica

Mentre gli studi sulla perdita di apprendimento precoce si basavano sulla ricerca psicometrica in contesti distrettuali scolastici localizzati e l’industria della valutazione si è concentrata sui risultati a livello nazionale in lettura e calcolo, altri recenti studi su larga scala sulla perdita di apprendimento hanno iniziato ad adottare un approccio più econometrico, a scala nazionale e anche globale, derivata dall’apparato disciplinare dell’economia e dell’analisi del mercato del lavoro.

Influenti organizzazioni internazionali come l’OCSE e la Banca mondiale, ad esempio, hanno promosso e pubblicato ricerche econometriche che calcolano e simulano gli impatti economici della perdita di apprendimento. Hanno inquadrato la perdita di apprendimento come previsto deficit di competenze causato dalla riduzione dell’orario scolastico, che si tradurrebbe in una minore capacità della forza lavoro, in una riduzione del reddito per gli individui, in carenze complessive di “capitale umano” per le nazioni e quindi in una riduzione del prodotto interno lordo.

Il team della Banca Mondiale ha calcolato che ciò costerebbe all’economia globale 11 trilioni di dollari, mentre gli economisti che scrivono per l’OCSE hanno previsto che “l’impatto potrebbe essere ottimisticamente quantificabile in termini di una riduzione dell’1,5% del PIL per il resto del secolo e proporzionalmente anche inferiore se i sistemi educativi sono lenti a tornare a precedenti livelli di prestazione. Queste perdite saranno permanenti a meno che le scuole non tornino a livelli di rendimento migliori rispetto a quelli del 2019′.

Questi tetri calcoli econometrici si basano su particolari concetti e pratiche economiche. Come ha definito un’altra pubblicazione dell’OCSE, la perdita di apprendimento rappresenta una sorta di “effetto isteresi” solitamente studiato dagli economisti del lavoro come misura degli impatti economici persistenti a lungo termine della disoccupazione o di altri eventi nell’economia.

Pertanto, inquadrare l’istruzione in termini di isteresi in economia presuppone che la perdita di apprendimento sia una determinante causale della perdita economica a lungo termine e che mitigare questo problema dovrebbe essere una delle principali preoccupazioni politiche per i governi che cercano di migliorare il capitale umano per la crescita del PIL a lungo termine.

Christian Ydesen ha recentemente notato che i calcoli dell’OCSE sui deficit di capitale umano causati dalla perdita di apprendimento stanno già influenzando direttamente i responsabili politici nazionali e plasmando le politiche educative.

È abbastanza ovvio il motivo per cui le enormi proiezioni di disavanzo multimiliardario della Banca Mondiale e dell’OCSE allarmano i governi e galvanizzano gli interventi politici correttivi nell’istruzione. Ma la domanda rimane: come sono stati prodotti questi enormi numeri. Le mie note successive su questo sono motivate dai discorsi alla recente conferenza Quantifying the World, in particolare da una presentazione di apertura della storica economica Mary Morgan.

Morgan ha esaminato i “concetti ombrello” utilizzati dagli economisti, come “povertà”, “sviluppo” e “reddito nazionale”, e i modi in cui ciascuno incorpora un insieme di elementi, set di dati e sistemi di misurazione disparati.

La produzione di misurazioni numeriche, sosteneva Morgan, è ciò che conferisce a questi concetti ombrello il loro potere, in particolare per essere utilizzati per l’azione politica. La povertà, ad esempio, deve essere assemblata da un’ampia gamma di misurazioni in un “set di dati di gruppo”. Oppure, come ha scritto altrove Morgan, «i dati sulla crescita demografica di una società sono costituiti da individui, che possono essere contati in un semplice insieme aggregato», ma per gli economisti «più probabilmente si troveranno in serie di dati divise per classi occupazionali, o coorti di età o spazi regionali». Il suo interesse è nei “tipi di sistemi di misurazione coinvolti nella costruzione del set di dati di gruppo”.

Cifre pubblicate dall’OCSE sugli impatti economici della perdita di apprendimento sui paesi del G20

La perdita di apprendimento, forse, può essere considerata un concetto ombrello che dipende dalla costruzione di un set di dati di gruppo, mentre anche quel set di dati di gruppo si basa su un particolare sistema di misurazione che allinea i dati disparati nel “tutto”. Ad esempio, se osserviamo il rapporto dell’OCSE “The Economic Impacts of Learning Loss“, esso si basa su un’ampia gamma di elementi, set di dati e sistemi di misurazione. I suoi autori sono Eric Hanushek e Ludger Woessmann, entrambi economisti e membri del think tank conservatore sulla politica pubblica del libero mercato, la Hoover Institution, con sede alla Stanford University. Le proiezioni nel rapporto di un PIL inferiore dell’1,5-3% per il resto del secolo rappresentano il “set di dati di gruppo” nella loro analisi. Ma questo consiste in insiemi di dati disparati, che includono: stime delle ore giornaliere dedicate all’apprendimento; giorni interi di apprendimento persi per paese; valutazioni dell’associazione tra competenze apprese e reddito da lavoro; analisi correlazionali del livello di istruzione e del reddito; effetti del tempo perso a scuola sullo sviluppo delle abilità cognitive; potenziali deficit nello sviluppo delle abilità socio-emotive; e come tutto ciò si riflette nei punteggi dei test standardizzati.

È istruttivo guardare alcuni estratti dal rapporto:

Coerentemente con l’attenzione alla perdita di apprendimento, l’analisi qui si concentra sull’impatto di maggiori capacità cognitive misurate da test standard sulle future opportunità di mercato del lavoro di uno studente. … Una regola empirica approssimativa, trovata dai confronti dell’apprendimento sui test progettati per monitorare le prestazioni nel tempo, è che gli studenti imparano in media circa un terzo di una deviazione standard per anno scolastico. Di conseguenza, ad esempio, la perdita di un terzo di un anno scolastico di apprendimento corrisponderebbe a circa l’11% di una deviazione standard dei risultati dei test persi (cioè 1/3 x 1/3). … Per comprendere le perdite economiche dovute alla chiusura delle scuole, questa analisi utilizza la relazione stimata tra le deviazioni standard nei punteggi dei test e i redditi individuali … sulla base dei dati del Survey of Adult Skills (PIAAC) dell’OCSE, il cosiddetto “Adult PISA” condotto dall’OCSE tra il 2011 e il 2015, che ha censito le competenze alfabetiche e matematiche di un campione rappresentativo della popolazione di età compresa tra 16 e 65 anni. Quindi mette in relazione i redditi del mercato del lavoro con i punteggi dei test (e altri fattori) nei 32 paesi per lo più ad alto reddito che hanno partecipato all’indagine PIAAC.

Quindi, come possiamo vedere, il modo in cui la perdita di apprendimento è costruita come un concetto ombrello e un intero set di dati dagli economisti che lavorano per l’OCSE implica l’aggregazione di molti fattori, misure e pratiche di misurazione econometriche disparate. Includono dati OCSE passati, nonché ipotesi di base sull’apprendimento come sinonimo di “abilità cognitive” e misurabili oggettivamente attraverso test standardizzati e una serie di sistemi di misurazione specifici. Le proiezioni dei dati sono costruite da tutti questi elementi per proiettare i costi economici della perdita di apprendimento per i singoli paesi del G20 e quindi calcolate insieme come “perdite aggregate del PIL tra le nazioni del G20” utilizzando il database degli indicatori di sviluppo mondiale della Banca mondiale come fonte di base per le previsioni di alto livello del rapporto.

È sulla base di questo calcolo “intero” della perdita di apprendimento, inquadrata in termini di isteresi economica come una minaccia a lungo termine per il PIL, che i responsabili delle politiche e i politici hanno iniziato ad agire.

 “Il modo in cui suddividiamo il mondo economico, contiamo e rifiutiamo di contare, o aggreghiamo, sono convenzioni storiche contingenti e in evoluzione”, sostiene Marion Fourcade.

“Cambia la convenzione… e cambia anche il quadro della realtà economica, a volte in modo drammatico”. Sebbene possano esistere altri modi per valutare e classificare la perdita di apprendimento, è lo specifico insieme econometrico di pratiche statistiche, convenzioni, ipotesi e grandi numeri che ha reso la perdita di apprendimento una parte della “realtà economica” e un potente catalizzatore di politiche intervento.

Conteggio dei costi della perdita di apprendimento

Come riflessione finale, voglio pensare ancora per un momento alla presentazione di Mary Morgan sui concetti di ombrello. Come indicano i tre esempi qui sommariamente delineati, la perdita di apprendimento non può essere intesa come un “tutto” senza disaggregarla nei suoi elementi disparati e nelle varie pratiche e convenzioni di misurazione su cui si basano. Ho contato solo tre modi per misurare la perdita di apprendimento qui: gli studi psicometrici originali; testare le valutazioni delle società di lettura e calcolo; e calcoli econometrici di “effetti di isteresi” nell’economia, ma anche questi sono composti da più parti e si basano su storie di misurazione più lunghe che sono contestate, incompatibili tra loro, a volte contraddittorie e incoerenti quando raggruppate insieme.

Come ha detto Morgan alla conferenza Quantifying the World, “le difficoltà – nello scegliere quali elementi misurare esattamente, nel valutare quegli elementi e nel combinare i numeri per quei molti elementi affollati sotto questi termini generali – sollevano interrogativi sul potere rappresentativo dei numeri, e quindi sulla loro integrità come buone misure”.

Difficoltà simili nel combinare i numeri che costituiscono la perdita di apprendimento potrebbero anche sollevare interrogativi sul loro potere di rappresentare i complessi effetti delle interruzioni del Covid sugli studenti e sulla loro integrità nel produrre conoscenze significative per il governo. Come suggeriscono le mie note preliminari di cui sopra, non esiste una perdita di apprendimento, ma molteplici “perdite di apprendimento” concettuali basate sui propri sistemi di misurazione. Ci sono vite sociali dietro i metodi di apprendimento della perdita.

Indipendentemente dall’incoerenza del concetto, la perdita di apprendimento continuerà ad esercitare effetti sulle politiche educative, sulle pratiche scolastiche e sugli studenti. Sosterrà le industrie e continuerà ad essere oggetto di programmi di ricerca in diverse discipline e in diversi siti di produzione di conoscenza, dalle università ai gruppi di riflessione, alle società di consulenza e alle organizzazioni internazionali di test. La perdita di apprendimento può comportare costi considerevoli per l’istruzione, nonostante le sue contraddizioni e incoerenza, deviando l’attenzione pedagogica su programmi di “recupero”, stanziando fondi ad agenzie esterne e attirando gli organi politici a concentrarsi su misure di mitigazione al di sopra di altre priorità educative.