Le ultime rilevazioni OCSE-PISA mostrerebbero che i nostri quindicenni sono finiti dietro ai turchi: parola di Michele Boldrin. Fantasia o realtà? Gli anglosassoni usano dire che i pantaloni dei bugiardi prendono fuoco. A che punto sta la temperatura dei pantaloni di Boldrin?

_____________________________

“Liar, liar! Pants on fire!” (“Bugiardo, bugiardo! Ti vanno a fuoco i pantaloni!”) è la versione anglosassone del naso di Pinocchio. “Pants on fire” è anche la sentenza più severa che il sito PolitiFact.com emette nei confronti dei politici che rilasciano dichiarazioni del tutto false.

PolitiFact.com, nato nel 2007, ha conseguito il Premio Pulitzer nel 2009 per la sua opera di fact-checking svolta nel corso della campagna presidenziale del 2008. Wikipedia, ne dà la seguente descrizione:

PolitiFact.com is a project operated by the Tampa Bay Times, in which reporters and editors … “fact-check statements by members of Congress, the White House, lobbyists and interest groups…” They publish original statements and their evaluations on the PolitiFact.com website, and assign each a “Truth-O-Meter” rating. The ratings range from “True” for completely accurate statements to “Pants on Fire” (from the taunt “Liar, liar, pants on fire”) for outright lies.

http://en.wikipedia.org/wiki/PolitiFact.com

1. UniversiFact.com?

La discussione pubblica sull’università e l’istruzione è spesso approssimativa e basata su dati travisati o persino distorti. Se esistesse “UniversiFact.com”, l’equivalente universitario di PolitiFact, il lavoro non mancherebbe e il “Truth-O-Meter” (Misuratore di verità) dovrebbe lavorare a pieno ritmo, carbonizzando  pantaloni e mutande di giornalisti e politici.

Purtroppo, non c’è il tempo materiale per verificare a fondo tutte le affermazioni che lasciano perplessi, ma qualche volta è impossibile resistere alla tentazione. Il 9 maggio 2013, nel corso della trasmissione Servizio Pubblico, Michele Boldrin ha espresso un giudizio severo sul livello dell’insegnamento e della preparazione degli allievi della scuola statale italiana, adducendo come prova i risultati dei test PISA pubblicati dall’OCSE.

 [youtube=http://www.youtube.com/watch?v=aTccV5eI_i4&start=120s]

Michele Boldrin: Allora, I dati dicono, purtroppo – piaccia o meno – che la qualità media dell’insegnamento, del ragazzo e della ragazza quindicenne italiana stanno degradando anno dopo anno. Sono scese – dall’ultima rilevazione PISA – sotto la Turchia …

Gli ascoltatori avranno pensato che la situazione deve essere davvero drammatica se i dati ufficiali OCSE evidenziano un calo così grave da portarci al di sotto della Turchia. Boldrin, che stava cercando di convincere gli interlocutori dell’inadeguatezza della scuola statale italiana, ha calato un vero e proprio asso, senza che nessuno dei presenti fosse in grado di mettere in dubbio la dura realtà dei dati. Ma di realtà si tratta, o di fantasia?

Michele Boldrin è uno dei fondatori sia del blog noiseFromAmeriKa (nFA) sia del movimento politico Fare per Fermare il declino. Già in altre occasioni abbiamo avuto modo di rilevare alcune inesattezze commesse dai redattori di nFA quando scrivono di università e ricerca. Senza alcuna pretesa di completezza, ricordiamo alcune delle loro sviste messe in evidenza su ROARS:

  • Sostenere che il 30% di docenti italiani avesse zero pubblicazioni nel periodo 2004-2010, basandosi su dati totalmente inaffidabili (smentiti anche dai dati VQR).
  • Denunciare  la scarsa atttrattività internazionale dei dottorati italiani citando un flusso in ingresso degli studenti di dottorato stranieri relativo al 2000 senza riportare il dato più recente  del 2009/2010 che era più di quattro volte maggiore.
  • Normalizzare articoli e  citazioni  rispetto al PIL e alla popolazione per sostenere la scarsa produttività dell’università italiana, quando queste sono misure di produzione e non di produttività.
  • Affermare che nel 2010 il CNR ha prodotto il 42,4% della produzione scientifica italiana, senza accorgersi che la fonte dei dati faceva riferimento ad un quinquennio e non ad un solo anno.

Anche Oscar Giannino, ex-leader nazionale di Fare per Fermare il declino rilasciava dichiarazioni non sempre affidabili: la settimana prima delle elezioni si è scoperto che aveva millantato titoli di laurea e di master mai conseguiti. Ancor più grave, Mago Zurlì ha rivelato che aveva millantato persino la partecipazione allo Zecchino d’Oro. A quel punto, sono stati gli stessi cofondatori del movimento politico a prendere le distanze dal loro leader. Oscar Giannino si è dovuto fare da parte e Michele Boldrin è ora uno dei candidati alla Presidenza di Fare per Fermare il declino.

Vuoi per scrupolo, vuoi per eccesso di diffidenza, ci è sembrato che fosse il caso di applicare il Truth-O-Meter alle due affermazioni di Boldrin:

  1. La qualità media dell’insegnamento, del ragazzo e della ragazza quindicenne italiana stanno degradando anno dopo anno
  2. Sono scese dall’ultima rilevazione PISA sotto la Turchia

2. Test OCSE-PISA: Italia in declino?

Per misurare il grado di verità della prima affermazione di Michele Boldrin, basta consultare il sito OCSE-PISA: i dati più recenti sono quelli relativi a PISA 2009. Infatti, per quanto i dati di PISA 2012 siano già stati raccolti,

Le prime pubblicazioni in merito a PISA 2012 appariranno nel dicembre 2013.
http://pisa.educa.ch/sites/default/files/20111205/pisa-ita-2012-21-10-2011.pdf

La pagina PISA 2009 key findings contiene il rapporto PISA at a Glance che, tra le altre cose, riporta le variazioni tra le ultime due rilevazioni nei tre “subjects”

  • Reading
  • Mathematics
  • Science

Se Boldrin ha ragione sul degrado, le variazioni dell’Italia dovrebbero essere tutte, o almeno in gran parte, negative. Il primo grafico, relativo alla Lettura, sembra dare ragione a Boldrin: l’Italia presenta una (lieve) variazione negativa nel passaggio dal 2000 al 2009.

Tuttavia, la nota ai piedi del grafico segnala che

Statistically significant score point changes are marked in a darker tone.

La variazione dell’Italia è in azzurro chiaro e pertanto non è statisticamente significativa. In altre parole, il risultato è da ritenersi sostanzialmente stabile.

Passiamo ora ai risultati nella Matematica e nelle Scienze.

È immediato riconoscere che sia nella Matematica che nelle Scienze c’è stato un progresso. Il colore blue scuro sta ad indicare che il miglioramento è statisticamente significativo.

Pertanto, il degrado denunciato da Boldrin è smentito dai dati OCSE: il punteggio medio dei test relativi alla Lettura non è variato in modo statisticamente significativo mentre nella Matematica e nelle Scienze ci sono stati progressi statisticamente significativi. Anzi, l’Italia è tra le nazioni che mostrano i più decisi segni di progresso nei test di Matematica e Scienze.

Va osservato che la Turchia progredisce persino più rapidamente dell’Italia. Che Boldrin abbia ragione almeno quando afferma che nell’ultima rilevazione i turchi ci hanno superato?

3. Italia peggio della Turchia? Cosa dicono i dati OCSE-PISA?

La pagina PISA 2009 key findings contiene anche il volume con i risultati dei test dell’edizione 2009:

What Students Know and Can Do: Student Performance in Reading, Mathematics and Science,

Per ciascuna dei tre subjects abbiamo estratto dal rapporto OCSE la relativa classifica sotto forma di grafico. Le nazioni con le prestazioni migliori occupano la parte alta del grafico e poi si scende via via verso quelle che ottengono prestazioni peggiori. Per facilitare la lettura, la posizione dell’Italia è evidenziata in rosso e quella della Turchia in arancione. Se Boldrin avesse detto il vero, la Turchia dovrebbe stare sopra l’Italia.

 

 

 

In nessuno dei tre grafici si verifica il sorpasso denunciato da Boldrin. Per quanto riguarda il “Reading”, il rapporto OCSE riporta anche i risultati delle seguenti sotto-scale (cliccando sui titoli è visualizzabile il grafico della relativa classifica):

Come ognuno può verificare, la Turchia è preceduta dall’Italia anche in queste cinque sotto-scale.

Non si può nemmeno sostenere che la differenza di risultati tra Italia e Turchia sia talmente piccola da configurare una sostanziale parità. Infatti, per ogni classifica, l’OCSE riporta per ogni nazione l’elenco delle nazioni

whose mean score is NOT statistically significantly different from that of the comparison country

Ebbene, relativamente all’Italia non accade mai che la Turchia appartenga a questo elenco. In altre parole, la superiorità dell’Italia nei confronti della Turchia è sempre statisticamente significativa.

4. Al fuoco, al fuoco!

È giunto il momento di tirare le somme e di vedere il responso del Truth-O-Meter. Boldrin ha fatto due affermazioni:

  1. La qualità media dell’insegnamento, del ragazzo e della ragazza quindicenne italiana stanno degradando anno dopo anno
  2. Sono scese dall’ultima rilevazione PISA sotto la Turchia

Misurate con il metro dei test OCSE-PISA 2009, entrambe le affermazioni sono false:

  1. In due classifiche su tre (Mathematics e Science), l’Italia presenta progressi statisticamente significativi e nella terza (Reading) mostra un lieve regresso la cui entità non è statisticamente significativa.
  2. Nell’ultima rilevazione PISA, l’Italia supera la Turchia in tutte le tre classifiche principali (Reading, Mathematics, Science) ed anche nelle sotto-scale del Reading.

Pertanto, nei confronti delle affermazioni di Michele Boldrin, la lancetta del “Misuratore di verità” dà un responso scottante:

pants on fire!

Che dire? Se Fare per Fermare il declino eleggerà Michele Boldrin come suo presidente, sentiremo un po’ meno la mancanza di Oscar Giannino, che rimarrà comunque ineguagliabile. Chi altri avrebbe potuto millantare una partecipazione allo Zecchino d’Oro?

A proposito, nell’edizione 1996 della famosa competizione canora aveva partecipato anche Anıl Saplık, una bambina turca. Ma prima che in qualche talk-show venga annunciato con toni allarmati che “piaccia o meno, i piccoli cantanti italiani sono scesi sotto la Turchia”, ricordiamo che la canzone Tenerotto, Grigiolino e Ruvidone (qui il video) interpretata dalla simpatica Anıl Saplık si era classificata all’ultimo posto tra quelle in concorso. Nell’era di internet e di Google, le classifiche dello Zecchino d’Oro non sono di difficile reperimento. Come per molte altre cose – incluse le statistiche OCSE – è sufficiente documentarsi prima di parlare.

 

 

Print Friendly, PDF & Email

26 Commenti

  2. Ottimo post.

    Sono pero’ un po’ scettico sui dati OECD PISA in Matematica. Possibile che i Russi siano cosi in basso?

    La percentuale di studenti russi che sono nel livello 6 confrontata con quella degli studenti cinesi di Shanghai mi sorprende. Forse bisognerebbe mettere solo i russi dell’area di Mosca o di San Pietroburgo.

    C’e’ controllo sui controllori? Cioe’, i test vengono veramente somministrati in modo corretto in tutti i paesi? Non e’ che a Shanghai li fanno fare solo a studenti di certe scuole di eccelenza?

    Se tutto e’ regolare, mi arrendo all’evidenza.

    • Va ricordato che, proprio per la natura dei test che vengono somministrati, non si può dire (e neanche i responsabili lo dicono) che PISA sia un test di verifica del profitto rispetto ai programmi scolastici della materia in oggetto.
      Da quel poco che so, mi dicono che i Russi rimangono sorpresi quando vedono le domande che si riferiscono ai conti in banca – quando la maggior parte delle famiglie russe non ha un conto in banca! :-)

  5. Sì, però, anche se dimostrare che Boldrin è un cacciapalle dà le sue soddisfazioni, bisognerebbe riflettere su due fatti di impatto più sostanziale:
    .
    1) le sue balle sono in televisione almeno a giorni alterni (e senza efficace contraddittorio);
    2) lo scandalo è che da una crisi, reale o presunta, del sistema dell’istruzione pubblica si abbia la faccia tosta di dedurre che bisogna ridurre l’impegno pubblico nell’istruzione (a favore di quello privato). E’ il solito sistema italiano di strangolare un sistema pubblico per poi lamentarsi di come funziona male, invocandone la sostituzione con modelli privati.

    • Mi ricordo che diversi anni fa ci fu un servizio di una giornalista, recentemente proposta come Presidente, che spiegava allo spettatore come la “fusione fredda” fosse stata bloccata dalle multinazionali del petrolio. Con interviste a “scienziati coraggiosi italiani” che proseguivano le ricerche (finanziati pero’ da una multinazionale milanese, che aveva appena venduto il settore laser alla concorrente americana (che lo ha subito eliminato dall’Italia), e che quindi poteva permettersi anche di acquistare molti telefoni…).

      E’ da allora che ho iniziato a diffidare dei Report televisivi.

    • A quanto ne so, la multinazionale milanese non finanzia piu’ questi studi. E’ rimasto pero’ in questa superazienda (che fa anche dei bellissimi calendari, un po’ maschilisti) un settore che si occupa di “scienza strana”. Ma questa e’ un’altra storia…

  6. Grazie per il continuo lavoro di precisazione e, purtroppo, di continua smentita delle insopportabili parole al veleno che continuano a minare il mondo universitario. Questo è il mio primo commento ma vi seguo con passione dall’inizio.
    Purtroppo le distorte opinioni popolari si formano attraverso questi personaggi che nei talk show di radio e televisione pontificano senza contraddittorio. Il sito ROARS è ormai diventato un riferimento per chi vuole un po di verità ed analisi serie sull’Università italiana.
    Mi chiedo se non sia il caso di pubblicizzarsi di più con i media, magari iniziando a mandare questa analisi a Santoro con la richiesta di rettifica.

  8. Vorrei far notare un’altra sfilacciatura insopportabile. Da vecchio lettore del corriere sono sempre più sul fatto quotidiano. Motivo: ancora una volta le balle e i pregiudizi sul sistema di istruzione universitaria pubblica. L’ultima notizia, appena letta, di un premio dato ad una traduzione dall’arabo del testo su Platone e Aristotele scritto dal filosofo medievale al-Farab di cecilia martini, di 200.000 dollari, viene presa a spunto per dimostrare quanto incapaci siano le università italiane di valorizzare i giovani studiosi. Ma se i nostri atenei sono fatti da professori inadeguati come riescono questi giovani a diventare così bravi? Per talento naturale, intervento divino o perchè sistematicamente volendo favorire i peggiori le università come effetto collaterale producono geni? Il problema è che questi giornalisti non si capisce da dove vengano e perchè siano nelle posizioni che sono e di che cosa parlino quando parlano di università. Ps continuo ad essere un tollerante nei confronti di Giannino, laurea o no è bravo e spero riparta.

    • Scusate, ma le su considerazioni non si fondano sui dati, ma su un modello dinamico che ha un equilibrio che converge stabilmente alle “zero competenze” degli studenti italiani… :-)

    • Sottolineerei questo passaggio,

      “siamo in effetti poco sopra la Turchia e non poco sotto come ricordavo (sic) io”

      che è alquanto spassoso, se non fosse in effetti tragico. Cioè, Boldrin, prima di scrivere i suoi post-barzelletta (memorabile, quello linkato proprio qui http://noisefromamerika.org/articolo/aboliamo-classico), non verifica proprio nulla?
      Non si informa?
      Non legge?
      Butta lì bugie, pregiudizi e luoghi comuni senza patemi?

      Vorrei capire, tra lui e gli anziani al bar del paese, c’è differenza?

      Ah, sì, loro non hanno probabilmente un weblog dove scrivere le loro facezie.

      Come ha giustamente sottolineato F. Sylos Labini,

      “malgrado i dati dicano il contrario, ho ragione io in ogni caso”.

      Roba che neanche alla scuola dell’infanzia.

      Ad ogni modo, per chi fosse interessato, riguardo il post sull’abolizione del Liceo Classico, cosa che lui evidentemente tanto si augura, riporterei questo ottimo commento preso da http://www.reddit.com.

      https://www.reddit.com/r/italy/comments/2jpaes/aboliamo_il_classico/cldty2w/

      Ad ogni modo Boldrin non è poi così pernicioso, alla fine.

      Basta ignorarlo, non dare spazio alle sue bugie e amenità su scuola, istruzione, economia.

  10. I numeri delle figure 1.2.14, 1.3.9 a 1.3.20 tengono conto dei tassi di miglioramento delle figure 1.12, 1.16 e 1.17 (da come mi pare di capire dalle date)?
    Se si’, se ne dedurrebbe che la posizione dell’Italia (sotto a praticamente tutti gli altri paesi avanzati) e’ tale malgrado un tasso di miglioramento fra i piu’alti. Ma da dove partivamo?!?

    • Gli alti tassi di miglioramento sono probabilmente dovuti alla maggiore attenzione ai “test” da parte degli insegnanti e delle scuole. Il fenomeno è analogo all’improvviso aumento dello “impact factor” delle pubblicazioni mediche italiane (sto impropriamente attribuendo l’impact factor agli articoli pubblicati, come avviene usualmente nel mondo della medicina).Finché nessuno parlava dei “test” PISA è probabile che gli studenti, con la tolleranza dei docenti, considerassero i “test” una opportunità di tornare a casa con qualche ora di anticipo, dopo aver finto di rispondere ai “test”. E’ probabile che anche il differenziale di punteggio tra il nord ed il sud d’Italia sia attribuibile alla maggiore o minore attenzione ai “test”. Così appena lo IF è diventato importante per le promozioni, tutti si sono precipitati a pubblicare nelle riviste che rendevano di più in termini di IF.

    • Giustissima la sua argomentazione, professore. Potrebbe essere estesa anche per sostenere che se il nostro ranking in questi “test” è al di sotto quello di altri Paesi è colpa del fatto che la nostra attenzione ai test stessi è minore o è stata più tardiva? Ciò sconfesserebbe di fatto i detrattori del sistema universitario Italiano che si basano su questi dati.

  11. Anche se comodo, i dati numerici grezzi tratti dalla rilevazione PISA non possono essere usati per misurare la qualita’ dell’insegnamento di un paese rispetto a un altro perche’ fattori come le condizioni socio-economiche della famiglia dello studente influiscono pesantemente sulla performance nel test. Reddito e livello di istruzione dei genitori pesano, e nell’aggregato a livello nazionale questo effetto rimane.
    Pur non volendo dare un giudizio sulla qualita’ dell’insegnamento, andrebbe comunque prima scorporato l’effetto determinato dal background socioeconomico e vedere che succede.
    Se si tenesse conto di questo fattore di background, l’Italia, rispetto ad altri paesi, guadagnerebbe qualche posizione. Il punto e’ che la Turchia ne guadegnerebbe di piu’, tante di piu’ da superare l’Italia.
    Boulhol e Sicari hanno appena pubblicato per l’OCSE un piccolo paper che aggiusta i numeri grezzi del test pisa 2009 (facendo una media di reading, science e math) per tenere conto delle condizioni socio-economiche delle famiglie degli studenti, variabile da tempo monitorata nell’ambito delle rilevazioni PISA. Ebbene, il risultato e’ che l’Italia, pur superando alcuni paesi che nella versione grezza erano posizionati meglio, si colloca nel complesso sotto la Turchia.

    Il paper di Boulhol e Sicari e’ disponibile su http://www.oecd-ilibrary.org/docserver/download/5k4bxkv1d96k.pdf?expires=1368622632&id=id&accname=guest&checksum=C57D6403619D91B569C9303B45BE5963

    la tabella 4 a pagina 14 sintetizza bene.

  12. I “test” PISA sono somministrati a quindicenni. L’università questa volta non c’entra proprio. Comunque, a mio parere, i confronti internazionali su questi “test” dicono molto poco. Può essere, ad esempio, che in un certo paese i programmi e l’effettivo insegnamento siano vicini al contenuto dei “test” (come sembra sia il caso della Finlandia) ed in altri paesi sia molto lontano. Cambiando il tipo di “test” potrebbero cambiare i risultati. Trovo invece molto interessanti i risultati relativi ai risultati dei “test” PISA nelle diverse regioni d’Italia. I programmi di insegnamento, la formazione dei docenti, e perfino la loro origine regionale, sono gli stessi in Calabria e in Lombardia. Perché i risultati dei “test” sono così diversi? Io penso che un fattore importante sia la diversa “compliance” (scusate il termine inglese forse avrei dovuto dire “accettazione” o “obbedienza” ma “compliance” è un misto tra l’accettazione e l’obbedienza). Ma la mia opinione non è basata su uno studio empirico serio, che dovrebbe invece essere fatto, anche per capire che cosa succede nelle scuole delle diverse regioni. Mi sembra che qualcuno abbia già dimostrato che i risultati dei test PISA sono correlati con il reddito della provincia nella quale si trova la scuola e persino con l’ammontare speso per mantenere gli edifici scolastici. Ma le correlazioni non aiutano un gran ché a trovare le cause.

    • “scusate il termine inglese forse avrei dovuto dire “accettazione” o “obbedienza” ma “compliance” è un misto tra l’accettazione e l’obbedienza”

      adesione

      secondo il Webster, l’etimologia e’ questa: “Italian complire, from Spanish cumplir to complete, perform what is due, be courteous, modification of Latin complēre to complete. First Known Use: 1602”

  15. Non c’è da stupirsi delle “lievi imprecisioni” del professor Boldrin sui test PISA e gli studenti turchi … il suo curriculum parla per lui.

    Restiamo certi che non farà rimpiangere Giannino come leader di FARE per FID riproducendone i lusinghieri risultati politici ed elettorali.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.