Un commento sui sondaggi OCSE-PISA

I risultati del sondaggio Ocse per quel che concerne la scuola italiana possono essere così riassunti: l’Italia si colloca ancora al disotto della media dei 65 paesi esaminati, in matematica, in lettura e in scienze, ma è uno dei paesi che ha registrato i maggiori progressi soprattutto in matematica e in scienze. Il quadro mostra risultati deludenti per le regioni meridionali mentre, in alcune zone del nord-est, gli studenti sono secondi solo a quelli del Lichtenstein.

Le reazioni diffuse sono di gradita sorpresa, perché altri sondaggi recenti facevano temere il peggio. Si moltiplicano i tentativi di spiegazione ma non è affatto chiaro che cosa abbia determinato questa inversione di tendenza e quale ne sia l’autentico significato.

V’è difatti qualcosa di negativo in questo rito statistico che si ripete periodicamente e il cui effetto principale sembra essere l’anestesia dello spirito critico: piovono tabelle, grafici, istogrammi e milioni di numeri che vengono confusi con la “realtà” dimenticando non solo di interpretarli ma che la cosa più interessante di tutte è chiedersi attraverso quali strumenti (quiz, questionari) si è pervenuti a questi risultati. Stiamo adattandoci a prendere tutto per buono e a trarre conclusioni affrettate. L’attendibilità dei sondaggi Ocse-Pisa è stata già messa in discussione, per esempio dai sociologi Jörg Blasius e Victor Thiessen, che hanno messo in luce l’influsso di questionari compilati dai dirigenti scolastici in modi che apparivano confezionati in modo troppo meccanico per essere attendibili. Ma si dovrebbe andare a fondo su questioni di sostanza.

Il sondaggio Ocse-Pisa colloca i paesi sopra o sotto un livello medio che risulta dalle loro prestazioni. Queste sono l’esito di test uguali per tutti. Ciò è discutibile: la cultura universale condivisa è un sogno magnifico, ma niente più, perché le differenze nazionali esistono, eccome, ed è difficile pensare a un test che valuti sulla medesima scala uno studente cinese e uno spagnolo senza appiattire in modo indebito le loro diversità culturali e di formazione didattica. Questo può essere fatto soltanto stabilendo per decreto che cosa sia una competenza matematica, di lettura o di scienze: il che è un appiattimento poiché – malgrado la globalizzazione – neppure il modo di pensare la matematica è uguale in ogni parte del mondo. Quindi, la cosa più interessante è esplorare la concezione che ha ispirato il sondaggio Ocse e da cui derivano i test proposti. Questo è l’aspetto più oscuro della faccenda, nascosto dal diluvio dei dati.

Tuttavia, il sito Ocse offre esempi di alcuni test usati, in particolare per la matematica. La loro presentazione, redatta in fumoso gergo di stile didattico-burocratico, rivela una concezione rispettabile ma altrettanto discutibile della matematica, identificata semplicisticamente con il pensiero quantitativo-numerico.

È poi interessante fare i test. Uno di essi chiede di calcolare il numero di persone che entreranno in un edificio attraverso una porta rotante a velocità e capienza date, in un certo tempo. Ho indicato a colpo e per intuizione il valore più alto tra i 4 proposti. Ma la domanda voleva essere un test della capacità di mettere in gioco abilità nel modellizzare situazioni concrete. Uno studente che avesse correttamente seguito la via di costruire un modello avrebbe impiegato molto più tempo di me, forse troppo per dare la risposta; pur mostrando migliore competenza di chi ha indovinato “a naso”. A meno che non si voglia commettere l’errore capitale di premiare la velocità. Senza contare che un problema matematico non ha una sola via di soluzione: la scelta tra le tante possibili è un indizio delle capacità dello studente. Ma questo non risulta da un test a crocette.

Un altro modello più difficile mirava a mettere in gioco l’abilità di modellizzare situazioni complesse: dalla descrizione delle caratteristiche di un percorso di ascensione al Monte Fuji lo studente doveva desumere il tempo limite per tornare al punto di partenza entro le 8 di sera. Anche qui si chiedeva di rispondere con una cifra, mentre sarebbe stato assai più interessare valutare l’approccio seguito, indipendentemente da un eventuale errore numerico. Ebbene, l’Italia si è attestata su un mediocre 10% di risposte esatte, davanti al misero 9% di paesi scientificamente avanzati come USA e Israele, appena dietro il 13% francese: tutti – inclusa la Germania (18%) – stracciati da percentuali asiatiche oscillanti tra il 30% e il 55%. Davvero tutto ciò dice qualcosa di decifrabile? Davvero uno studente tedesco ha capacità tanto minori di tradurre un problema in formule matematiche di uno studente di Singapore? O forse è meno abituato alla messa in opera di algoritmi ad hoc, senza per questo avere minori capacità matematiche? Secondo il rapporto Ocse gli studenti italiani sarebbero più capaci di interpretare risultati matematici che non di formulare matematicamente situazioni concrete. Ma forse la conclusione è affrettata. Una visione più concettuale della matematica (magari maturata con studi altrove trascurati) può essere momentaneamente perdente su un test che verifica l’esito di abilità calcolistiche, e alla lunga vincente anche sul piano applicativo.

Si potrebbe continuare, ma ci sembra che l’unica risposta seria alla domanda se davvero l’Italia sia nella condizione descritta è: su queste basi non è affatto chiaro. L’unica cosa chiara è che dovremmo passare a una fase più matura e adulta del problema della valutazione, affrontando – anche con analisi non numeriche – i molteplici temi che si presentano nel problema del miglioramento dell’istruzione. Fattori complessi come la capacità, l’abilità ecc. hanno una gran quantità di aspetti – culturali, sociali, specificamente nazionali o regionali, psicologici, ecc. – che non si prestano al giochetto fallace da mago dei numeri di appiattirli su una scala unidimensionale. Nessuno può negare l’utilità dei test, a livelli minimali, ma credere che in tal modo si possa rappresentare la realtà mondiale dell’istruzione è regredire a una visione mistica in cui le percentuali assumono valore di per sé senza che neppure ci si chieda da dove nascano.

(Il Messaggero, 4 dicembre 2013)

Esaminiamo di seguito, in dettaglio, alcuni dei test OCSE-PISA di matematica per rendersi conto della loro qualità, del loro significato e per conoscere il significato che viene loro attribuito dall’ente.

Test di livello 3

Il test è un semplice esercizio volto ad accertare la comprensione della rappresentazione dei numeri in forma decimale e del loro ordinamento. La risposta è chiaramente D. L’Italia si è attestata su un dignitoso 51%, davanti al 48% degli USA ma lontano dall’89% di Shangai-Cina.

Ma sentite come viene presentato questo test da Ocse-Pisa:

Livello della domanda

Al livello 3 gli studenti possono eseguire chiaramente le procedure descritte, incluse quelle che descrivono decisioni sequenziali. Possono selezionare e applicare semplici strategie di problem solving. A questo livello gli studenti possono interpretare e usare rappresentazioni basate su differenti fonti d’informazione e ragionare direttamente a partire da esse. Possono sviluppare brevi comunicazioni che riportano le loro interpretazioni, i loro risultati e ragionamenti.

Categoria della domanda

Questo item appartiene alla categoria quantità. La nozione di quantità può essere l’aspetto matematico più pervasivo ed essenziale nell’aver a che fare col nostro mondo e che in esso funziona. Incorpora la quantificazione degli attributi di oggetti, relazioni, situazioni ed entità nel mondo, la comprensione di varie rappresentazioni di queste quantificazioni, e il giudizio delle interpretazioni e degli argomenti basati sulle quantità. Aver a che fare con la quantificazione del mondo comporta la comprensione delle misure, conteggi, grandezze, unità, indicatori, dimensioni relative, e tendenze e patterns numerici. Gli aspetti del ragionamento quantitativo – come il senso del numero, le molteplici rappresentazioni dei numeri, l’eleganza nella computazione, il calcolo mentale, la stima e la valutazione della ragionevolezza dei risultati – sono l’essenza della “literacy” matematica relativa alla quantità.

C’è da strabuzzare gli occhi. Se il redattore ha voluto dar mostra delle sue competenze non è riuscito altro che a esibire la retorica vacua delle persone di scarsa cultura e che nascondono la loro confusione mentale dietro un fraseggiare roboante.

Tutto questo dietro un banale esercizio di ordinamento dei numeri scritti in forma decimale? Ma per favore, non rendiamoci ridicoli…

Passiamo a:

Test di livello 4 

La risposta corretta è D. Il livello di difficoltà è maggiore, bisogna fare qualche calcolo e, soprattutto, occorrerebbe – più che indovinare il risultato esatto, che una stima a occhio fa intuire essere D – spiegare il modo con cui si è formalizzato il problema e si è pervenuti alla risposta. L’Italia si è attestata su un modestissimo 27%, ma sempre meglio di USA, Israele o Russia e poco dietro il Regno Unito (30%), sempre lontano dal 76% di Shangai-Cina o dal 62% sud-coreano.

Anche qui merita leggere la ridicola presentazione del quesito. Evitiamo di ripetere quanto detto a proposito del quesito precedente. La “categoria della domanda” ripete la stessa ridicola tiritera della domanda 3. Il livello della questione comporterebbe addirittura il ricorso a modelli di situazioni complesse… e lo studente in grado di rispondere correttamente sarebbe addirittura capace di tutte quelle cose sotto elencate… Retorica di pessimo livello o fantasia senza freni?

Livello della domanda

Al livello 4 gli studenti possono lavorare efficacemente con modelli espliciti di situazioni concrete complesse che possono comportare vincoli o possono richiedere di introdurre ipotesi. Possono selezionare e integrare differenti rappresentazioni, incluse quelle simboliche, legandole direttamente ad aspetti di situazioni del mondo reale. Gli studenti a questo livello possono utilizzare abilità ben sviluppate e ragionare in modo flessibile, con qualche veduta approfondita, in questi contesti. Possono costruire e comunicare spiegazioni e argomenti basati sulle loro interpretazioni, argomenti o azioni.

Categoria della domanda

[Come alla domanda precedente].

Test di livello 5

Non è poi così difficile. Se in discesa Toshi marcia a 3 km all’ora impiegherà 3 ore per fare i 9 km. Se in salita marcia a km 1.5/ora impiegherà il doppio, cioè 6 ore. 9 ore in totale. Quindi, se deve tornare entro le 8 di sera, deve partire entro le 11. Un medio frequentatore di enigmistica – anche digiuno di matematica – impiegherà un minuto o due per risolvere il “problema”, tutto sommato assai più facile del precedente (ma bisognerebbe vedere cosa dice il modello di Rasch quanto alla difficoltà “oggettiva”…). L’esito delle risposte è tutt’altro che esaltante: Germania 18%, Canada 16%, Finlandia 15% – ma come la “grande” Finlandia! – Francia 13%, Italia 10%, Israele e USA 9%, Russia 8%, Brasile 1%. In testa la solita Shangai-Cina col 55%, poi Singapore 40%, Corea 31%. Cosa pensare di questi dati in relazione al test l’ho detto nell’articolo. Coinvolge abilità calcolistiche alla portata di qualsiasi buon enigmista. Chi si metta a cercare di risolverlo con formule non farà in tempo, pur avendo una migliore idea di cosa sia la matematica, o – per meglio dire – ingannato dalla pretesa che questo sia un test di conoscenze e capacità matematiche.

Nel confrontare gli esiti del test 4 e 5 sembra plausibile ritenere che il 4 abbia spinto a dare la risposta “a naso” (che “suona” evidentemente 720) e quindi i risultati siano stati migliori. Invece, il 5 richiedeva per forza di fare un calcolo, e quindi ha prodotto esiti peggiori. (Se è così, come è assai ragionevole, questo rappresenta una confutazione su un caso specifico del modello di Rasch).

Ma la presentazione dei test Ocse-Pisa non manca di proporci la solita retorica che qui raggiunge livelli da operetta. Lo studente capace di risolvere questo test sarebbe un von Neumann in erba e la categoria della domanda s’identifica nientemeno con l’essenza della modellizzazione matematica dell’universo. La domanda apparterebbe alla categoria del cambiamento e delle relazioni. Tutto quello che si descrive sta dietro alla domanda… Rispondere correttamente alla domanda implicherebbe possedere la capacità di modellizzare il cambiamento mediante funzioni ed equazioni appropriate? Ma quali equazioni servono mai per risolvere questo problema? Un testo assolutamente incredibile. Forse l’autore aveva ecceduto nel pasto prima di darsi a cotanta prosa.

Tutto questo lo paghiamo profumatamente come cittadini europei.

Livello della domanda

Al livello 5 gli studenti possono sviluppare e lavorare con modelli di situazioni complesse, identificando vincoli e specificando ipotesi. Possono selezionare, comparare e valutare strategie appropriate di problem solving per trattare problemi complessi relativi a questi modelli. Gli studenti a questo livello possono lavorare strategicamente usando un pensiero ampio e ben sviluppato e abilità di ragionamento, rappresentazioni appropriate correlate, caratterizzazioni simboliche e formali e vedute pertinenti a queste situazioni. Possono riflettere sulle loro azioni e formulare e comunicare le loro interpretazioni e i loro ragionamenti.

Categoria della domanda

Questo item appartiene alla categoria del cambiamento e delle relazioni. I mondi naturali e progettati mostrano una moltitudine di relazioni temporanee e permanenti fra gli oggetti e le circostanze, in cui si verificano cambiamenti entro sistemi di oggetti interrelati o in circostanze in cui gli elementi si influenzano a vicenda. In molti casi questi cambiamenti si verificano nel tempo, e in altri casi i cambiamenti in un oggetto o in una quantità sono correlati ai cambiamenti in un altro. Alcune di queste situazioni comportano cambiamenti discreti; altri cambiamenti continui. Alcune relazioni sono di natura permanente, o invariante. Essere più “literate” circa il cambiamento e le relazioni comporta la comprensione dei tipi fondamentali di cambiamento e il riconoscere quando essi si verificano al fine di far uso di modelli matematici appropriati a descrivere e prevedere il cambiamento. Matematicamente questo significa modellizzare il cambiamento e le relazioni con funzioni appropriate ed equazioni, e creare, interpretare e tradurre le rappresentazioni simboliche e grafiche delle relazioni.