Valutazione

Un commento sui sondaggi OCSE-PISA

Un articolo di Giorgio Israel pubblicato su Il Messaggero del 4 dicembre 2013 seguito da un commento dettagliato di alcuni dei test di matematica proposti.

I risultati del sondaggio Ocse per quel che concerne la scuola italiana possono essere così riassunti: l’Italia si colloca ancora al disotto della media dei 65 paesi esaminati, in matematica, in lettura e in scienze, ma è uno dei paesi che ha registrato i maggiori progressi soprattutto in matematica e in scienze. Il quadro mostra risultati deludenti per le regioni meridionali mentre, in alcune zone del nord-est, gli studenti sono secondi solo a quelli del Lichtenstein.

Le reazioni diffuse sono di gradita sorpresa, perché altri sondaggi recenti facevano temere il peggio. Si moltiplicano i tentativi di spiegazione ma non è affatto chiaro che cosa abbia determinato questa inversione di tendenza e quale ne sia l’autentico significato.

V’è difatti qualcosa di negativo in questo rito statistico che si ripete periodicamente e il cui effetto principale sembra essere l’anestesia dello spirito critico: piovono tabelle, grafici, istogrammi e milioni di numeri che vengono confusi con la “realtà” dimenticando non solo di interpretarli ma che la cosa più interessante di tutte è chiedersi attraverso quali strumenti (quiz, questionari) si è pervenuti a questi risultati. Stiamo adattandoci a prendere tutto per buono e a trarre conclusioni affrettate. L’attendibilità dei sondaggi Ocse-Pisa è stata già messa in discussione, per esempio dai sociologi Jörg Blasius e Victor Thiessen, che hanno messo in luce l’influsso di questionari compilati dai dirigenti scolastici in modi che apparivano confezionati in modo troppo meccanico per essere attendibili. Ma si dovrebbe andare a fondo su questioni di sostanza.

Il sondaggio Ocse-Pisa colloca i paesi sopra o sotto un livello medio che risulta dalle loro prestazioni. Queste sono l’esito di test uguali per tutti. Ciò è discutibile: la cultura universale condivisa è un sogno magnifico, ma niente più, perché le differenze nazionali esistono, eccome, ed è difficile pensare a un test che valuti sulla medesima scala uno studente cinese e uno spagnolo senza appiattire in modo indebito le loro diversità culturali e di formazione didattica. Questo può essere fatto soltanto stabilendo per decreto che cosa sia una competenza matematica, di lettura o di scienze: il che è un appiattimento poiché – malgrado la globalizzazione – neppure il modo di pensare la matematica è uguale in ogni parte del mondo. Quindi, la cosa più interessante è esplorare la concezione che ha ispirato il sondaggio Ocse e da cui derivano i test proposti. Questo è l’aspetto più oscuro della faccenda, nascosto dal diluvio dei dati.

Tuttavia, il sito Ocse offre esempi di alcuni test usati, in particolare per la matematica. La loro presentazione, redatta in fumoso gergo di stile didattico-burocratico, rivela una concezione rispettabile ma altrettanto discutibile della matematica, identificata semplicisticamente con il pensiero quantitativo-numerico.

È poi interessante fare i test. Uno di essi chiede di calcolare il numero di persone che entreranno in un edificio attraverso una porta rotante a velocità e capienza date, in un certo tempo. Ho indicato a colpo e per intuizione il valore più alto tra i 4 proposti. Ma la domanda voleva essere un test della capacità di mettere in gioco abilità nel modellizzare situazioni concrete. Uno studente che avesse correttamente seguito la via di costruire un modello avrebbe impiegato molto più tempo di me, forse troppo per dare la risposta; pur mostrando migliore competenza di chi ha indovinato “a naso”. A meno che non si voglia commettere l’errore capitale di premiare la velocità. Senza contare che un problema matematico non ha una sola via di soluzione: la scelta tra le tante possibili è un indizio delle capacità dello studente. Ma questo non risulta da un test a crocette.

Un altro modello più difficile mirava a mettere in gioco l’abilità di modellizzare situazioni complesse: dalla descrizione delle caratteristiche di un percorso di ascensione al Monte Fuji lo studente doveva desumere il tempo limite per tornare al punto di partenza entro le 8 di sera. Anche qui si chiedeva di rispondere con una cifra, mentre sarebbe stato assai più interessare valutare l’approccio seguito, indipendentemente da un eventuale errore numerico. Ebbene, l’Italia si è attestata su un mediocre 10% di risposte esatte, davanti al misero 9% di paesi scientificamente avanzati come USA e Israele, appena dietro il 13% francese: tutti – inclusa la Germania (18%) – stracciati da percentuali asiatiche oscillanti tra il 30% e il 55%. Davvero tutto ciò dice qualcosa di decifrabile? Davvero uno studente tedesco ha capacità tanto minori di tradurre un problema in formule matematiche di uno studente di Singapore? O forse è meno abituato alla messa in opera di algoritmi ad hoc, senza per questo avere minori capacità matematiche? Secondo il rapporto Ocse gli studenti italiani sarebbero più capaci di interpretare risultati matematici che non di formulare matematicamente situazioni concrete. Ma forse la conclusione è affrettata. Una visione più concettuale della matematica (magari maturata con studi altrove trascurati) può essere momentaneamente perdente su un test che verifica l’esito di abilità calcolistiche, e alla lunga vincente anche sul piano applicativo.

Si potrebbe continuare, ma ci sembra che l’unica risposta seria alla domanda se davvero l’Italia sia nella condizione descritta è: su queste basi non è affatto chiaro. L’unica cosa chiara è che dovremmo passare a una fase più matura e adulta del problema della valutazione, affrontando – anche con analisi non numeriche – i molteplici temi che si presentano nel problema del miglioramento dell’istruzione. Fattori complessi come la capacità, l’abilità ecc. hanno una gran quantità di aspetti – culturali, sociali, specificamente nazionali o regionali, psicologici, ecc. – che non si prestano al giochetto fallace da mago dei numeri di appiattirli su una scala unidimensionale. Nessuno può negare l’utilità dei test, a livelli minimali, ma credere che in tal modo si possa rappresentare la realtà mondiale dell’istruzione è regredire a una visione mistica in cui le percentuali assumono valore di per sé senza che neppure ci si chieda da dove nascano.

(Il Messaggero, 4 dicembre 2013)


Esaminiamo di seguito, in dettaglio, alcuni dei test OCSE-PISA di matematica per rendersi conto della loro qualità, del loro significato e per conoscere il significato che viene loro attribuito dall’ente.

Test di livello 3

Il test è un semplice esercizio volto ad accertare la comprensione della rappresentazione dei numeri in forma decimale e del loro ordinamento. La risposta è chiaramente D. L’Italia si è attestata su un dignitoso 51%, davanti al 48% degli USA ma lontano dall’89% di Shangai-Cina.

Ma sentite come viene presentato questo test da Ocse-Pisa:

Livello della domanda

Al livello 3 gli studenti possono eseguire chiaramente le procedure descritte, incluse quelle che descrivono decisioni sequenziali. Possono selezionare e applicare semplici strategie di problem solving. A questo livello gli studenti possono interpretare e usare rappresentazioni basate su differenti fonti d’informazione e ragionare direttamente a partire da esse. Possono sviluppare brevi comunicazioni che riportano le loro interpretazioni, i loro risultati e ragionamenti.

Categoria della domanda

Questo item appartiene alla categoria quantità. La nozione di quantità può essere l’aspetto matematico più pervasivo ed essenziale nell’aver a che fare col nostro mondo e che in esso funziona. Incorpora la quantificazione degli attributi di oggetti, relazioni, situazioni ed entità nel mondo, la comprensione di varie rappresentazioni di queste quantificazioni, e il giudizio delle interpretazioni e degli argomenti basati sulle quantità. Aver a che fare con la quantificazione del mondo comporta la comprensione delle misure, conteggi, grandezze, unità, indicatori, dimensioni relative, e tendenze e patterns numerici. Gli aspetti del ragionamento quantitativo – come il senso del numero, le molteplici rappresentazioni dei numeri, l’eleganza nella computazione, il calcolo mentale, la stima e la valutazione della ragionevolezza dei risultati – sono l’essenza della “literacy” matematica relativa alla quantità.

C’è da strabuzzare gli occhi. Se il redattore ha voluto dar mostra delle sue competenze non è riuscito altro che a esibire la retorica vacua delle persone di scarsa cultura e che nascondono la loro confusione mentale dietro un fraseggiare roboante.

Tutto questo dietro un banale esercizio di ordinamento dei numeri scritti in forma decimale? Ma per favore, non rendiamoci ridicoli…

Passiamo a:

Test di livello 4 

La risposta corretta è D. Il livello di difficoltà è maggiore, bisogna fare qualche calcolo e, soprattutto, occorrerebbe – più che indovinare il risultato esatto, che una stima a occhio fa intuire essere D – spiegare il modo con cui si è formalizzato il problema e si è pervenuti alla risposta. L’Italia si è attestata su un modestissimo 27%, ma sempre meglio di USA, Israele o Russia e poco dietro il Regno Unito (30%), sempre lontano dal 76% di Shangai-Cina o dal 62% sud-coreano.

Anche qui merita leggere la ridicola presentazione del quesito. Evitiamo di ripetere quanto detto a proposito del quesito precedente. La “categoria della domanda” ripete la stessa ridicola tiritera della domanda 3. Il livello della questione comporterebbe addirittura il ricorso a modelli di situazioni complesse… e lo studente in grado di rispondere correttamente sarebbe addirittura capace di tutte quelle cose sotto elencate… Retorica di pessimo livello o fantasia senza freni?

Livello della domanda

Al livello 4 gli studenti possono lavorare efficacemente con modelli espliciti di situazioni concrete complesse che possono comportare vincoli o possono richiedere di introdurre ipotesi. Possono selezionare e integrare differenti rappresentazioni, incluse quelle simboliche, legandole direttamente ad aspetti di situazioni del mondo reale. Gli studenti a questo livello possono utilizzare abilità ben sviluppate e ragionare in modo flessibile, con qualche veduta approfondita, in questi contesti. Possono costruire e comunicare spiegazioni e argomenti basati sulle loro interpretazioni, argomenti o azioni.

Categoria della domanda

[Come alla domanda precedente].

Test di livello 5

Non è poi così difficile. Se in discesa Toshi marcia a 3 km all’ora impiegherà 3 ore per fare i 9 km. Se in salita marcia a km 1.5/ora impiegherà il doppio, cioè 6 ore. 9 ore in totale. Quindi, se deve tornare entro le 8 di sera, deve partire entro le 11. Un medio frequentatore di enigmistica – anche digiuno di matematica – impiegherà un minuto o due per risolvere il “problema”, tutto sommato assai più facile del precedente (ma bisognerebbe vedere cosa dice il modello di Rasch quanto alla difficoltà “oggettiva”…). L’esito delle risposte è tutt’altro che esaltante: Germania 18%, Canada 16%, Finlandia 15% – ma come la “grande” Finlandia! – Francia 13%, Italia 10%, Israele e USA 9%, Russia 8%, Brasile 1%. In testa la solita Shangai-Cina col 55%, poi Singapore 40%, Corea 31%. Cosa pensare di questi dati in relazione al test l’ho detto nell’articolo. Coinvolge abilità calcolistiche alla portata di qualsiasi buon enigmista. Chi si metta a cercare di risolverlo con formule non farà in tempo, pur avendo una migliore idea di cosa sia la matematica, o – per meglio dire – ingannato dalla pretesa che questo sia un test di conoscenze e capacità matematiche.

Nel confrontare gli esiti del test 4 e 5 sembra plausibile ritenere che il 4 abbia spinto a dare la risposta “a naso” (che “suona” evidentemente 720) e quindi i risultati siano stati migliori. Invece, il 5 richiedeva per forza di fare un calcolo, e quindi ha prodotto esiti peggiori. (Se è così, come è assai ragionevole, questo rappresenta una confutazione su un caso specifico del modello di Rasch).

Ma la presentazione dei test Ocse-Pisa non manca di proporci la solita retorica che qui raggiunge livelli da operetta. Lo studente capace di risolvere questo test sarebbe un von Neumann in erba e la categoria della domanda s’identifica nientemeno con l’essenza della modellizzazione matematica dell’universo. La domanda apparterebbe alla categoria del cambiamento e delle relazioni. Tutto quello che si descrive sta dietro alla domanda… Rispondere correttamente alla domanda implicherebbe possedere la capacità di modellizzare il cambiamento mediante funzioni ed equazioni appropriate? Ma quali equazioni servono mai per risolvere questo problema? Un testo assolutamente incredibile. Forse l’autore aveva ecceduto nel pasto prima di darsi a cotanta prosa.

Tutto questo lo paghiamo profumatamente come cittadini europei.

Livello della domanda

Al livello 5 gli studenti possono sviluppare e lavorare con modelli di situazioni complesse, identificando vincoli e specificando ipotesi. Possono selezionare, comparare e valutare strategie appropriate di problem solving per trattare problemi complessi relativi a questi modelli. Gli studenti a questo livello possono lavorare strategicamente usando un pensiero ampio e ben sviluppato e abilità di ragionamento, rappresentazioni appropriate correlate, caratterizzazioni simboliche e formali e vedute pertinenti a queste situazioni. Possono riflettere sulle loro azioni e formulare e comunicare le loro interpretazioni e i loro ragionamenti.

Categoria della domanda

Questo item appartiene alla categoria del cambiamento e delle relazioni. I mondi naturali e progettati mostrano una moltitudine di relazioni temporanee e permanenti fra gli oggetti e le circostanze, in cui si verificano cambiamenti entro sistemi di oggetti interrelati o in circostanze in cui gli elementi si influenzano a vicenda. In molti casi questi cambiamenti si verificano nel tempo, e in altri casi i cambiamenti in un oggetto o in una quantità sono correlati ai cambiamenti in un altro. Alcune di queste situazioni comportano cambiamenti discreti; altri cambiamenti continui. Alcune relazioni sono di natura permanente, o invariante. Essere più “literate” circa il cambiamento e le relazioni comporta la comprensione dei tipi fondamentali di cambiamento e il riconoscere quando essi si verificano al fine di far uso di modelli matematici appropriati a descrivere e prevedere il cambiamento. Matematicamente questo significa modellizzare il cambiamento e le relazioni con funzioni appropriate ed equazioni, e creare, interpretare e tradurre le rappresentazioni simboliche e grafiche delle relazioni.

Send to Kindle
Tag: , , , , , ,

53 Comments

  1. Ho analizzato il test di livello 5. Secondo me il fatto che lo superi solo il 10 per cento degli studenti italiani e’ ABBASTANZA preoccupante.

    Aggiungo pero’ che il concetto di velocita’ media mi è stato spiegato decentemente (30 anni fa) solo al 3zo anno di scuola superiore (al liceo scientifico).
    E nessuno mi ha mai castigato se non studiavo.
    Mentre ho l’impressione che Shangai e Singapore siano dei posti dove gli studenti che non studiano li castigano di butto (e anche tanto).

  2. volare alto ovviamente è necessario, ma i risultati ottenuti in questi test dipendono tantissimo da aspetti che non molto hanno a che fare con le conoscenze/competenze, quanto con il contesto nel quale vengono proposti: se non ti alleni ad una struttura a test non ottieni risultati che corrispondono alle tue conoscenze; il tempo e i luoghi nei quali fai il test è un’altra variabile che è cruciale per poter dire se una domanda è facile o difficile (il test 5 sembra facile anche a me, ma proviamo a metterlo in un pacchetto di domande da risolvere in un tempo definito)
    se i coreani e i cinesi li allenano sin da piccoli a questa struttura non ci si può sorprendere che risultino i migliori (casomai occorrerà capire come mai sono gli stessi che in grande quantità vengono ammessi ai migliori master americani da qualche anno a questa parte …)
    se i nostri ragazzi stanno migliorando rispetto ad anni precedenti, è perchè ormai vengono preparati ad affrontare un certo tipo di domanda in un certo tipo di test (in fondo gli studenti che vengono a fare gli esami da noi all’università, non vogliono vedere i compiti scritti degli appelli precedenti? e noi non gli spieghiamo che tipo di compito avranno davanti?)
    da un lato è evidente che questi numeri vanno presi con benefico di inventario, dall’altro non si capisce perchè una parte della valutazione non possa essere affidata a questa metodologia
    ovviamente se la reazione è “fuori le prove invalsi dalla scuola! non mercifichiamo la conoscenza! etc” i tuoi ragazzi non daranno risultati che mostrino le loro effettive conoscenze, perchè i test li vedranno a malapena un paio di volte prima del giorno x

  3. Nicola Ciccoli says:

    Non la metterei solo in un’ottica di punizione e castigo. E’ da anni in atto un dibattito sulle differenze di insegnamento nella matematica tra paesi orientali e occidentali, di cui si possono trovare alcuni esempi qui:
    http://en.wikipedia.org/wiki/Singapore_math

    http://www.region10ct.org/math/region10mathsitefaq/whatisjaplesson.html

    http://educationinjapan.wordpress.com/of-methods-philosophies/the-japanese-math-curriculum/us-turns-to-japanese-textbooks-to-teach-math/

    avevo anche uno studio in cui si analizzavano dati statistici sul tempo medio che impiega un docente giapponese rispetto a uno USA a preparare la lezione…

    Solo per dire che il tema è complesso e si interseca con il tema posto da Israel:

    Il fatto che i paesi orientali abbiano performance migliori in questi test E abbiano un metodo di insegnamento diverso ci dice che il loro metodo è migliore e dovremmo copiarlo?

    E’ evidente che la risposta è “assolutamente si” se siamo sicuri che il test misuri le competenze che dice di misurare. Oppure potrebbe solo voler dire che è un metodo di insegnamento più adatto al test, semplicemente.

    Distinguere tra le due non è tanto facile. Io penso che sarebbe bene iniziare intanto a capire COME a Singapore si insegni la matematica e provare a sperimentare COME questo tipo di insegnamento si potrebbe implementare in Italia, senza però dare per scontato che sia migliore, e continuando a chiedersi COSA vogliamo migliorare del nostro insegnamento e COSA misurano i test PISA (poi se lo facessimo senza il furore delle crociate ideologiche saremmo un paese normale, ma questo è chiedere troppo).

  4. Ehm… il test PISA è sicuramente perfezionabile, ma non mi risulta che le domande presentate abbiano l’intento indicato. In generale, ciò che è scritto nell’articolo mi sembra, semplicemente, sbagliato.

    Per esempio, la domanda sulla macchina non è affatto rappresentativa dell’intero livello 3. Nel modello PISA, infatti, le domande non vengono assegnate a priori a un livello nel modo descritto (o implicato) dall’articolo: le singole domande forniscono elementi per una valutazione complessa. Ciò che si scopre è che gli studenti del livello 3 riescono nel 50% dei casi a rispondere alla domanda, senza che questo voglia dire che chi risponde a questa specifica domanda possieda necessariamente tutte le competenze indicate al livello 3!

    Il materiale di presentazione del test PISA (http://www.oecd.org/pisa/pisaproducts/pisa2012-2006-rel-items-maths-ENG.pdf) spiega in dettaglio il “question intent”:

    QUESTION INTENT:
    Description: Choose the smallest decimal number in a set of four, in context
    Mathematical content area: Quantity
    Context: Personal
    Process: Employ

    Il rapporto completo PISA 2012 Results fornisce poi le ragioni in base alle quali è stata categorizzata questa domanda (“Question 2”):

    Content: Question 2 has been allocated to the quantity
    content category because it is well known that even at age 15, many students have misconceptions about the base ten and place value ideas required to order “ragged” decimal numbers. (…) The difficulty for this age group in dealing with decimal numbers and percentages is reflected in the empirical results: Question 1 is considered an easy item, Question 2 is close to the international average, and
    Question 3 is of above-average difficulty.

    Va poi detto che non riesco a trovare traccia nella documentazione OCSE delle frasi riportate come citazioni letterali da Israel, e mi chiedo da dove vengano.

    Insomma, non pretendo di essere un esperto dei test PISA, ma mi sembra che l’autore dell’articolo ne abbia completamente frainteso la natura. Il che non sarebbe un buon segno, trattandosi di una delle persone che dovranno occuparsi della selezione del nuovo presidente INVALSI.

  5. Si trova una parafrasi, o, meglio, una ripetizione quasi letterale delle citazioni di Giorgio Israel nella presentazione, offerta molto civilmente in Microsoft Power Point, del modulo 1 sul sito dell’Invalsi (http://www.invalsi.it/invalsi/rn/odis.php?page=odis_it_00), alla slide 25. Dal momento che si tratta di una presentazione, è da ipotizzare che sia Israel sia il presentatore abbiano attinto da una fonte comune Q, che non ho né tempo né voglia di cercare.

    Israel non ha inventato niente. Devono essere stati gli italiani a metterci del loro.

    • Sì, quella è l’indicazione generale dei livelli, e la si trova da molte altre parti (inclusa la documentazione ufficiale INVALSI). Ma appunto, si tratta della descrizione dei livelli, mentre Israel ne parla come se fosse la descrizione della singola domanda! Cioè, quel che c’è scritto nell’articolo qui sopra è:
      Ma sentite come viene presentato questo test da Ocse-Pisa:
      Livello della domanda

      Al livello 3 gli studenti possono eseguire chiaramente le procedure descritte, incluse quelle che descrivono decisioni sequenziali.

      Ecco, io sono proprio curioso di sapere dov’è che i materiali PISA presentano questa specifica domanda in questo modo. Perché, semplicemente, non mi sembra che il test PISA funzioni nel modo descritto da Israel! Non che io sia un esperto, ma un po’ di documentazione me la sono letta… E al momento, per quel che capisco, direi che l’articolo che stiamo commentando dimostra una sola cosa: che il suo autore non ha inquadrato i meccanismi di base (non le sottigliezze, ma proprio i meccanismi di base) della rilevazione PISA.

      Oppure, in altre parole: io non sono un ammiratore dei test PISA in sé. Troverei però inquietante che se ne parlasse sulla base di fraintendimenti, e spero che qualcuno possa mostrare che le cose non stanno così.

    • Tavosanis, provi a cercare, vedrà che troverà la versione inglese di quanto tradotto verbatim da Israel.

    • Question Level

      At Level 3 students can execute clearly described procedures, including those that require sequential decisions. They can select and apply simple problem solving strategies. Students at this level can interpret and use representations based on different information sources and reason directly from them. They can develop short communications reporting their interpretations, results and reasoning.

    • ah ed è proprio QUELLA specifica domanda. La url però le lascio di trovarsela da solo. Hint: provi sul sito PISA.

    • Giovanni Salmeri says:

      A me pare che nell’osservazione di Mirko Tavosanis vi sia del vero: le descrizioni dei livelli si riferiscono ad un insieme di domande e non ad una singola, che da sola riuscirebbe ad accertare le capacità in questione. Ma mi pare che ciò non cambi nulla il senso delle critiche di Israel: le capacità di cui si parla *non* possono essere accertate con quiz di questo tipo. Mille domande anziché una non cambiano evidentemente nulla. Non sono un esperto di matematica, ma mi pare che ciò che dica sia sensato.
      È in ogni caso sintomatico che contro uno dei pochissimi che si è preso sempre la briga di esaminare nel merito i test di valutazione (Invalsi o Pisa che siano) e di formulare critiche circostanziate, proponendo (come in questo caso) «una fase più matura e adulta del problema della valutazione», sia stata montata una campagna di stampa additandolo come un «nemico della valutazione».

    • Per Giovanni Salmeri: grazie… concordo!

      In effetti, l’unico modo per capire se i test PISA sono ragionevoli è leggerseli (ed è strano che ci sia bisogno di ricordarlo!). Per la matematica, un discreto campione viene dato per esempio alle pagine 125-142 di PISA 2012 Results: What Students Know and Can Do.

      Io non sono un matematico, ma al mio occhio, sì, alcune delle domande presentate in quelle pagine sembrano perfettamente capaci di accertare il possesso di capacità come queste:

      “Al livello 3 gli studenti possono eseguire chiaramente le procedure descritte, incluse quelle che descrivono decisioni sequenziali. Possono selezionare e applicare semplici strategie di problem solving. A questo livello gli studenti possono interpretare e usare rappresentazioni basate su differenti fonti d’informazione e ragionare direttamente a partire da esse. Possono sviluppare brevi comunicazioni che riportano le loro interpretazioni, i loro risultati e ragionamenti.”

      Poi, appunto, mi rimetto al giudizio degli esperti. Però chiederei che, come minimo, gli esperti leggano i test, prima di giudicarli!

  6. Mi hanno indicato la fonte Q:

    http://www.oecd.org/pisa/test/form/

    Se qualcuno prova a farsi l’autotest dopo la risposta si apre una finestra pop-up, con la fonte stessa – la cui esistenza era facilmente ipotizzabile perché i testi italiani risultano sinottici.

    Di nuovo: Israel – ahinoi – non ha inventato nulla.

    E qui mi fermo. L’esegesi preferisco farla sulle Sacre Scritture, piuttosto che sulle declatorie pisinvalsi :-)

    • accidenti mi hai rovinato la gara di caccia al tesoro…

    • Trovato, grazie! Ad Antonio Banfi devo aggiungere le mie scuse per il supplemento di lavoro… Purtroppo, oggi il mio collegamento Fastweb è inaffidabile e non mi lascia quasi mai accedere a Google (ad altri siti sì – mah).

      Detto questo, una volta visto il testo di partenza la situazione è chiarissima: per quanto sembri incredibile, Israel ha scritto il suo intervento basandosi non sui documenti ufficiali PISA (alcune centinaia di pagine) ma sulla versione divulgativa / interattiva di alcuni test campione! In cui sono richiamate in forma schematica le caratteristiche del livello a cui è stata assegnata la domanda e quelle della sua categoria di appartenenza.

      La presentazione di questo testo (in un pop-up!) è certamente infelice e spinge al fraintendimento. Ciò non cambia però il punto chiave: domande come quella sulla macchina citata qui sopra non sono il modo in cui i test PISA misurano le capacità di livello 3. Sono invece domande che vengono presentate per valutare una cosa specifica e che, a posteriori, si scopre che vengono risolte con successo dagli studenti che si collocano al livello 3.

      Certo, non è facile dedurre tutto questo da un pop-up. Ma chi avrebbe potuto pensare che un pop-up divulgativo diventasse la fonte su cui giudicare un test i cui risultati sono presentati, discussi e motivati in un volume di 564 pagine? Non si tratta nemmeno di fare esegesi, solo di studiare un meccanismo moderatamente complesso.

      Insomma, in sintesi: la descrizione fatta da Israel del modo in cui sono fatti i test PISA è del tutto sbagliata e si basa, incredibilmente, non sullo studio del materiale e della documentazione di supporto ma sull’esame dei testi di accompagnamento presentati in una specie di giochino dimostrativo.

      I test PISA, come qualunque altra cosa, possono essere criticati. Mi sembra però indispensabile che, prima di criticarli, si capisca come funzionano. Il che, nel caso specifico, richiede qualcosa di più del vedere una demo.

  7. Giorgio Israel says:

    Mi ero ripromesso di non intervenire e dopo questo commento non interverrò più qualsiasi cosa si dica. Se lo faccio è perché sono semplicemente indignato per come si possa arrampicarsi sugli specchi in un modo penoso e davvero “incredibile” pur di trovare il modo di delegittimare. Quello che si trova sul sito Ocse non è un giochino dimostrativo ma, nelle dichiarate intenzioni, è la carta da visita con cui l’Ocse vuol spiegare alla gente che cosa sono i test che propone, quale ne è il significato, a quale livello di competenze rispondono. Non a caso si tratta esattamente dei test usati nell’indagine e non degli esempietti scelti a caso, ed è proprio per questo che che con la finestra pop-up se ne descrive il senso. Sono esterrefatto che si possano fare discorsi da sesso degli angeli (o da chi non si è neppure dato la pena di leggere): se quella declaratoria si riferisca a tutte le domande di livello 3 o a quella sola o se, dopo aver fatto la domanda, si scopra che corrisponde al livello 3. Non cambierebbe un fico secco, ma non è così. Le domande sono a priori stabilite come domande di livello 3, 4 e 5 e come commento si spiega che cosa è il livello 3, 4 5 di cui quelle domande esplorano le competenze. Se non altro questo ha un senso: altrimenti all’Ocse, oltre a essere dei retori, sarebbero anche dei deficienti. Farebbero domande a casaccio e, dopo, scoprirebbero che le hanno risolte con successo gli studenti che si collocano al livello 3? E come sanno che quelli sono studenti che si collocano al livello 3, se non perché hanno risposto a una certa domanda? Ci sarebbe da ridere se non fosse penoso… Si ammette che la declaratoria è infelice, ma non importa… Lasciamo perdere. È significativo soltanto quel che fa comodo. Ma se si vuol dire che questa carta da visita non è significativa e bisogna guardare ad altro, all’essenziale, questo sì che è un giochino da sofistica di quart’ordine. Non è certo un caso che quella declaratoria sia stata ripresa anche nella presentazione Invalsi: perché quella è l’ideologia e lo sa bene chi conosca quel tipo di linguaggio. Perciò, certo, l’analisi proposta non è basata sulle cinquecento pagine ma sulla carta da visita presentata da Ocse: è del tutto legittimo, visto che per loro è una cosa seria e che va presa sul serio. Senza dire che poi è stato fatto un discorso specifico sul contenuto matematico (si fa per dire) di quei test, sul loro preteso ordinamento di difficoltà matematica (contesto che questo ordinamento sia corretto), ma è troppo chiedere di entrare nel merito: trionfa sempre la metodologia, la scienza dei nullatenenti. Assieme all’ideologia, che s’impone su tutto. Buone prossime invettive: per quanto mi riguarda resteranno senza risposta.

    • Sono sbigottito da questo messaggio, per i toni e per i contenuti…

       
      Cioè, in che senso sarebbe un “discorso da sesso degli angeli” chiedersi se la valutazione di un livello di competenza viene assegnata in base a una singola domanda o a un complesso di prove?

       
      Oppure in che senso sarebbe “arrampicarsi sugli specchi” cercare di capire se un’etichetta proviene da una discussione scientifica oppure da una presentazione divulgativa – addirittura poi basata su un pop-up? Tutti noi, penso, conosciamo presentazioni divulgative che magari funzionano bene come tali (anche se non è questo il caso) e che possono dare a un pubblico non esperto qualche indicazione introduttiva su un argomento, ma che non potrebbero venir usate, per esempio, per duplicare o discutere l’esperimento che descrivono, e così via.

       
      Osservazioni come questa, che sembrano presentare dati di fatto:

       
      “Le domande sono a priori stabilite come domande di livello 3, 4 e 5 e come commento si spiega che cosa è il livello 3, 4 5 di cui quelle domande esplorano le competenze”

       
      … si baserebbero su che cosa? Sul semplice esame delle domande? Com’è possibile stabilire il modo in cui è stata prodotta e valutata una domanda semplicemente leggendo la domanda stessa?

       
      Insisto sul punto in relazione a dubbi come questi:

       
      “Farebbero domande a casaccio e, dopo, scoprirebbero che le hanno risolte con successo gli studenti che si collocano al livello 3? E come sanno che quelli sono studenti che si collocano al livello 3, se non perché hanno risposto a una certa domanda?”

       
      Qui credo che l’unica cosa da fare sia rinviare alla documentazione PISA. Io conosco quella per la “Literacy”, descritta nel Pisa 2009 Technical Report (http://www.oecd.org/pisa/pisaproducts/50036771.pdf), dove alla “Proficiency Scale Construction” è dedicato l’intero capitolo 15 e dove si descrive un meccanismo in cui, tra l’altro, le stime iniziali di difficoltà fornite dagli autori dei test vengono poi corrette sulla base di controlli sul campo. Il sistema poi permette di accorgersi di cose tipo il fatto che domande come quella sui decimali ottengono una maggioranza di risposte corrette solo dagli studenti che appartengono al livello 3 e quindi possono essere associate al livello 3 anche se non hanno un rapporto diretto con i descrittori del livello… cosa che mi sembra ragionevolissima.

       
      Su un piano più generale, il meccanismo alla base del sistema PISA è comunque l’item response theory, comunemente usata per la costruzione di sistemi simili: https://en.wikipedia.org/wiki/Item_response_theory

       
      Temo insomma che mi sfugga qualcosa. I test PISA sono criticabili da vari punti di vista, ma non riesco a capire come si possa pensare di valutarli basandosi su un pop-up divulgativo (“Carta da visita”, certo… ma non sono altrettanto “Carta da visita”, e più adeguati a fornire spiegazioni, i diversi volumi oggi in linea con la descrizione dettagliata del metodo, dei criteri e dei risultati?).

       
      Non riesco, infine, a capire che cosa tutto questo abbia a vedere con la “metodologia” o la “scienza dei nullatenenti”.

    • Io spero che tutti i lettori mi perdoneranno, confesso in primo luogo di non essere un esperto di PISA. Tuttavia non capisco cosa significhi “presentazione divulgativa” quando tale espressione è riferita a un trial-test presente sul sito ufficiale OCSE-PISA (non sulla rivista parrocchiale di Burlamacco). Si intende dire che quanto gli autori del PISA rendono noto relativamente al loro test è sbagliato, non corretto, non conforme alle procedure o ai documenti teorici a monte? Accidenti, forse bisognerebbe informare l’OCSE delle gravi defaillances di tale settore. In un’epoca di valutazione, fosse per me lo chiuderei. Così imparano a non fare più pop-ups divulgativi.

    • No, nel trial-test non mi sembra ci siano cose sbagliate. Solo cose molto schematizzate, che difficilmente chi non conosce già il metodo usato può interpretare nel modo corretto.

      Si poteva far di meglio? Senz’altro. Si tratta di una cosa grave? Non direi. Tra l’altro il trial-test non mi sembra sia pubblicizzato in alcun modo sulle pagine ufficiali PISA-OCSE… o perlomeno io non vedo alcun link dedicato (ce ne sarà pure uno, da qualche parte), mentre ne vedo decine che presentano testi di approfondimento fatti molto bene.

      Seriamente, e al di fuori delle battute: riteniamo che un trial-test di questo tipo debba essere usato per valutare un programma che ha documentato la propria attività in decine di volumi pieni di dati e descrizioni di dettaglio? Che cosa diremmo se l’attività di uno qualunque di noi fosse misurata in questo modo?

      Oh, devo dire che mi sono ritrovato in una situazione molto curiosa… sembra quasi che tocchi a me difendere l’OCSE-PISA, test e organizzazione cui non sono legato in nessun modo! Ma non riesco proprio a capire in base a quale principio ci possa, in sostanza, rifiutare di leggere la spiegazione del metodo con cui quei test sono realizzati.

    • “Tra l’altro il trial-test non mi sembra sia pubblicizzato in alcun modo sulle pagine ufficiali PISA-OCSE”: vedere l’immagine che ho allegato.

      ” Si tratta di una cosa grave? Non direi”
      Una struttura che somministra test, fornisce un trial-test “divulgativo” quindi incompleto o inattendibile o “sbagliato” (parole sue, non mie) e questa sarebbe una cosa non grave?

      Oh bella, siamo proprio nel mondo dei venditori di pozioni miracolose.

      “riteniamo che un trial-test di questo tipo debba essere usato per valutare un programma che ha documentato la propria attività in decine di volumi pieni di dati e descrizioni di dettaglio”

      Parliamo di una struttura che somministra test e pubblicizza i risultati influenzando le policies di mezzo mondo o della biblioteca di Babele?

      Insisto, il trial è dell’OCSE, non della Pizza&Fichi spa. Per me trial ha un suo senso, ma forse sono troppo aziendale.

    • Ehm…

       

      ““Tra l’altro il trial-test non mi sembra sia pubblicizzato in alcun modo sulle pagine ufficiali PISA-OCSE”: vedere l’immagine che ho allegato.”

       

      Che il test sia pubblicato sul sito è evidente. Quel che non vedo è come lo si possa raggiungere, per esempio, dalla home page PISA-OCSE, o dalle pagine di contorno. Ah, una via certo ci sarà, ma a me non sembra tanto reperibile.

       

      ” Si tratta di una cosa grave? Non direi”
      Una struttura che somministra test, fornisce un trial-test “divulgativo” quindi incompleto o inattendibile o “sbagliato” (parole sue, non mie) e questa sarebbe una cosa non grave?”

       

      Per curiosità, dov’è che avrei usato queste parole (a parte “divulgativo”)?

       

      Ripeto: il test, per come l’ho visto, non contiene informazioni né inattendibili né sbagliate. Incomplete certo sì, ma dichiara che si tratta di “sample questions”. E il tutto è normalissimo… del resto, come si può scambiare un prodotto divulgativo per il sostituto di una descrizione dettagliata?

       

      Insisterei però soprattutto sul punto di base: che senso ha valutare un sistema di questo tipo sulla base di un suo prodotto assolutamente marginale? Il sito dell’Osservatorio Astronomico di Palermo presenta in una sezione chiamata “Astrokids” un file (http://www.astropa.unipa.it/AstrokidsINAF/SistemaSolare2/orbite.png) per stampare le orbite dei pianeti in funzione della costruzione di un modellino. Orrore, le orbite non sono in scala! E non c’è nulla che lo precisi! Questo significa che l’Osservatorio di Palermo è popolato da incompetenti? E che l’astronomia è tutta un imbroglio, e tutti gli osservatori andrebbero chiusi?

       

      L’argomento della valutazione, come Roars sta a testimoniare, è affascinante. Mi sembra però auspicabile trattarlo a un livello diverso.

    • Giuseppe De Nicolao says:

      Sì, trattiamolo ad un livello diverso, senza giudicare quello che sta scritto sul sito PISA-OCSE in base al numero dei click necessari ad arrivarci partendo dalla home page.

    • “Che il test sia pubblicato sul sito è evidente. Quel che non vedo è come lo si possa raggiungere, per esempio, dalla home page PISA-OCSE, o dalle pagine di contorno. Ah, una via certo ci sarà, ma a me non sembra tanto reperibile.”
      Cercare pisa test in Google. E’ il terzo risultato.

    • “Incomplete certo sì, ma dichiara che si tratta di “sample questions””

      “To understand more about the PISA 2012 mathematics test, click below to answer sample questions, explore the concepts being tested and learn what 15-year-olds students at different proficiency levels can do.”

    • Io personalmente sono sbigottito dal fatto che lei si sbigottisca per i toni del messaggio.

      Cioè, ricordiamo, lei non ha scritto “A me X Y e Z delle cose dell’articolo non tornano/non le capisco, chiedo umilmente chiarimenti visto che come poi dirò nei commenti dopo sono un esperto”, lei è partito decretando che quanto scritto dall’autore dell’articolo era “semplicemente, sbagliato”, ha quindi prima usato argomenti fra l’arcano e lo sbagliato (“le domande non vengono assegnate a priori a un livello nel modo descritto (o implicato) dall’articolo”), poi insinuato che il prf. Israel usi fonti che non si sa “da dove vengano” (uno potrebbe sperare in un errore “di gioventù”, se non fosse che contro ogni logica di fronte ad altre persone che hanno rapidamente trovato le stesse cose ha insistito a porre dubbi sull’origine delle citazioni), e infine soprattutto ha chiosato con
      |
      “Insomma, non pretendo di essere un esperto dei test PISA, ma mi sembra che l’autore dell’articolo ne abbia completamente frainteso la natura. Il che non sarebbe un buon segno, trattandosi di una delle persone che dovranno occuparsi della selezione del nuovo presidente INVALSI.”
      |
      No, dico, e poi si stupisce se il prof. Israel, che come può risultare evidente da una veloce ricerca in rete ha letto molto riguardo a questi test, risponde appena appena irritato…
      |
      Ma forse stiamo tutti leggendo troppo in chi produce meraviglie di rispetto per il lavoro analitico (gratuito) altrui come “Poi, appunto, mi rimetto al giudizio degli esperti. Però chiederei che, come minimo, gli esperti leggano i test, prima di giudicarli!”
      |
      |
      (Quanto al fatto che si sbigottisca per i contenuti, immagino che la turbi che manchino riferimenti al chiaro ed evidente problema del pop-up, che come palese da frasi tipo “addirittura poi basata su un pop-up” è noto cambiare completamente il significato di quello che ci si trova scritto dentro…)

  8. Direttamente dal sito OCSE, la famosa domanda level 3.

  9. Provo a tornare al tema. Ho recentemente riflettuto sui test perché mi capita di fabbricarne, e non solo di matematica. Ora, il test NON E’ un esempio delle competenze che si vogliono acquisire. (Le competenze sono ovviamente molto più profonde e generali, in matematica come in geografia o in filosofia). Vuole però essere una cartina di tornasole circa l’esistenza, da qualche parte nella testa dell’esaminando, delle competenze in oggetto. (Lo scopo o il possibile uso di una soluzione acida NON E’: far diventare rossa la cartina tornasole).
    Ho scoperto che vi sono test molto banali che tuttavia, statisticamente, sono risolti da chi ha certe competenze, mentre non lo sono da chi non le possiede (per quanto l’abilità tecnica richiesta sembrerebbe alla portata di entrambi).
    Perciò l’impostazione di Israel è francamente incomprensibile. Forse la declaratoria PISA è eccessivamente altisonante; ma, se anche fosse, chi se ne frega! Quello che resta, è che è realmente disastroso che al test 1, individuare il decimale più basso, solo perché è presentato all’interno di una descrizione complessa da cui bisogna saper estrarre il dato numerico che interessa, la metà dei soggetti italiani non sappiano rispondere, e che addirittura il 90% resti frastornato e impotente di fronte alla semplice intersecazione di parametri nel terzo test citato.
    “Un medio frequentatore di enigmistica – anche digiuno di matematica – …”? Ma che idea ha Israel della matematica e dell’esserne digiuno? “Chi si metta a cercare di risolverlo con formule non farà in tempo, pur avendo una migliore idea di cosa sia la matematica”: cioè, per Israel la migliore idea di cosa è la matematica sarebbe: “cercare di risolvere un problema con formule”, anziché ragionarci su con intuizione e discernimento?
    Ciò che Israel chiama “enigmistica”, ovvero interrogarsi e allenare la mente su ogni domanda possibile, giocare di logica, di proporzioni, di strategia, trovare scorciatoie e alternative, è il metodo migliore per impadronirsi di QUALSIASI argomento, dalla matematica alla geometria alla filosofia. Bisogna allenare gli studenti al pensare molteplice, scoppiettante, alternativo, personale, su qualsiasi test o quesito, non tanto perché così si superano i test PISA (dubito che questo sia l’unico scopo della metodica asiatica), ma perché è uno dei metodi, certo non l’unico, per imparare a ragionare e magari anche in modo rapido e sicuro (anche qui: la velocità non è un obiettivo di per sé, ma certo indica un migliore controllo del problema e delle variabili in gioco).
    Suppongo si tratti di uno scivolone polemico, perché non credo che Israel possa sottovalutare l’importanza didattica dei quiz intriganti, che richiedono strategie intelligenti (spesso la soluzione intelligente appare, a posteriori, molto semplice), e dunque dei test per valutare, statisticamente, i livelli di competenze. Le tre domande PISA non mi sembrano affatto sciocche, e difatti non per caso sono risultate, come cartine tornasole, così discriminanti.

    • Giovanni Salmeri says:

      A Bazzocchi:
      «Ma che idea ha Israel della matematica e dell’esserne digiuno?»
      Quella di chi la studia da una vita, mi pare.

      Riguardo al fatto che esistano correlazioni statistiche tra capacità di diverso livello, sono d’accordo: chi non fa nessun errore di ortografia statisticamente scrive anche con una sintassi più corretta (è un’affermazione che faccio a naso, potrei essere smentito). Il problema è quando si pretende di stabilire una correlazione tra conoscenze e capacità chiare e descrivibili, e altre complesse, sfumate, che nessuno saprebbe come verificare *direttamente* all’infuori di un lungo processo di conoscenza, dialogo ecc., in cui accade sempre qualcosa di nuovo che in anticipo non si era potuto prevedere. (È il bello dell’insegnamento, a mio parere.) Quando alcuni test (di cui ho parlato in un altro articolo su ROARS) pretendono di valutare la capacità di «critical thinking» con un test a crocette, credo che si stia raggiungendo il delirio. Idiozia per idiozia, facciamo preparare il test che misura la creatività scientifica e assegniamo così le cattedre universitarie.

    • Mario Ricciardi says:

      In effetti sarebbe una soluzione economica.

  10. volevo scrivere: “QUALSIASI argomento, dalla matematica alla geografia alla filosofia”. Ci tenevo alla geografia, perché no.

  11. Giuseppe De Nicolao says:

    David Spiegelhalter (uno dei più noti e apprezzati statistici) riporta sul sito della Royal Statistical Society le sue perplessità sui test OCSE PISA. L’articolo (http://www.statslife.org.uk/about) tocca cinque punti principali:

    1. Individual students only answer a minority of questions

    2. Multiple ‘plausible values’ are then generated for all students assuming a particular statistical model, essentially estimating what might have happened if the student had answered all the questions.

    3. These ‘plausible values’ are then treated as if they are the results of surveys with complete data on all students. They then form the basis of national scores (and their uncertainties) and hence rankings in league tables.

    4. The statistical model used to generate the ‘plausible scores’ is demonstrably inadequate.

    5. This means the variability in the plausible scores is underestimated, which in turn means the uncertainty in the national scores is underestimated. Hence the rankings are even less reliable than claimed.
    ____________________________________


    ____________________________________

    Il punto 4. è basato su un paper di Kreiner:
    ____________________________________

    D. Spiegelhalter: “in Psychometrika, Kreiner has shown the existence of substantial Differential Item Functioning (DIF) – i.e. questions have different difficulty in different countries and concludes that: ‘The evidence against the Rasch model is overwhelming.'”
    http://link.springer.com/article/10.1007%2Fs11336-013-9347-z
    ____________________________________

    La replica di Adams (capo dell’OECD analysis team) è imbarazzante. Ammette che non c’è significatività statistica che il modello usato per calibrare i test sia corretto. Si giustifica dicendo che non è ragionevole vincolarsi al raggiungimento della significatività statistica (una linea di condotta che renderebbe molto più facile pubblicare in molti campi della scienza, una volta che ci si fosse liberati dall’impiccio di dover mostrare la significatività statistica dei propri risultati e modelli):
    ____________________________________

    R. Adams: ‘The sample sizes in PISA are such that the fit of any scaling model, particularly a simple model like the Rasch model, will be rejected. PISA has taken the view that it is unreasonable to adopt a slavish devotion to tests of statistical significance concerning fit to a scaling model.’
    http://www.oecd.org/pisa/47681954.pdf

    • Infatti, queste sono domande che è più che legittimo porre ai test PISA! E sarei curioso di conoscere le risposte.

      Sul modello di Rasch, la replica di Adams è decisamente più articolata: http://www.oecd.org/pisa/47681954.pdf

      La sua dichiarazione di partenza è che, sulla base dell’esperienza PISA, “the evidence
      demonstrates that while the items matter enormously, the model matters to a much
      lesser degree”. Sulla base delle mie esperienze la cosa mi sembra plausibile, ma, appunto, sarei contento di saperne qualcosa di più, soprattutto per quanto riguarda le stime sul margine di errore.

    • Giuseppe De Nicolao says:

      Adams appare in difficoltà. Ammmette che il modello non regge dal punto di vista della significatività statistica e l’affermazione che esso conti “to a much lesser degree” suona come una petizione di principio. Quando si cerca di pubblicare in una rivista seria, non è il tipo di argomento che convince i revisori (il mio modello non passa i test statistici, ma vi assicuro che non conta poi così tanto).

  12. Da 16 anni insegno Matematica e Fisica in lauree non propriamente scientifiche (cioè che hanno UN SOLO INSEGNAMENTO DI MATEMATICA O FISICA) quali Agraria, Forestale, Infermieristica, Farmacia, Ostetricia, Radiologia, Odontoiatria.

    La mia esperienza è che LE CAPACITA’ MATEMATICHE dipendono FORTISSIMAMENTE dalla scuola superiore di provenienza.

    Ad esempio, la somma

    1/2 + 1/3

    risulta semplice per quasi tutti studenti di Odontoiatria (superselezionati e quasi tutti provenienti da liceo scientifico o classico) ma proibitiva per metà degli studenti di Agraria (molti dei quali vengono dalle scuole professionali).

    La cosa veramente PREOCCUPANTE è che sto parlando della SOMMA DI DUE FRAZIONI e non di sofisticati algoritmi.

    L’altra cosa preoccupante è che i miei studenti sono quelli del Nord-Est. Quelli che sono sopra la media europea. Povera Europa!!

  13. @Salasnich. “dipendono da” = “sono correlati a”. In effetti, la scuola superiore di provenienza dipende dalle capacità (anche) matematiche che avevano gli allievi a suo tempo… 1/2 + 1/3 dipende dalla capacità di insegnare matematica alle elementari. Purtroppo il ritorno al maestro unico ha cancellato la migliore specializzazione matematica di alcuni docenti elementari, con conseguenze a cascata fino all’università (e oltre).

    • Aggiungo che molti che riescono a fare la somma

      1/2 + 1/3

      lo fanno in modo “meccanico”, cioè applicando la regola del “minimo comune multiplo” ma senza sapere bene perchè applicano questa regola.

      Cioè, manca il concetto che “un numero si può scrivere in infiniti modi equivalenti” e che quindi, nello specifico

      1/2 = 3/6

      e che

      1/3 = 2/6 .

      Non so se serve un “maestro specialista” per insegnare queste cose (nel senso che non mi fido neanche del “maestro specialista”). Di sicuro si fa troppa ALGEBRA senza avere prima spiegato prima bene l’ARITMETICA. E non si spiega bene che le “regole” dell’ALGEBRA sono principalmente una formalizzazione di quello che si fa in ARITMETICA.

    • Nicola Ciccoli says:

      Luca Salasnich (non me ne vorrà, lo dico con il sorriso sulle labbra e uno spirito di natalizia provocazione…) commette tutti gli errori tipici del campo:

      1) generalizza un’esperienza particolare (Ehi! I test standard non servono proprio a questo? Confrontare quanti quindicenni italiani sanno fare 1/2+1/3 e confrontare il risultato con il resto del mondo?)

      2) Sovrappone correlazione e rapporto causale. (non sanno sommare le frazioni perchè fanno le scuole professionali o fanno le scuole professionali perché non sanno sommare le frazioni?)

      3) Propone una soluzione senza conoscere bene il problema. Il problema degli infiniti modi equivalenti è uno degli snodi cruciali.

      Lo dico con il sorriso sulle labbra perché è esattamente la stessa cosa che faccio io, spesso, quando parlo di didattica. Poi vado sul sito del Dipartimento di Matematica dell’Università di Berkeley e trovo un emeritus che scrive interi libri su come si insegna matematica alle elementari: http://math.berkeley.edu/~wu/

      Non voglio fare il provinciale, ci sono esperienze di assoluta eccellenza didattica anche in Italia, abbiamo appena festeggiato il 100esimo compleanno di Emma Castelnuovo.

      Ho però l’impressione (eccola la tendenza a sopravvalutare il proprio osservato) che la formazione dei docenti elementari e medi sia un problema ancora sottovalutato, che manchi una buona catena di trasmissione tra scuole e università, per quel che riguarda la riflessione sulla didattica, che manchi quasi completamente un impegno a diffondere le “best practice” che pure esistono.

      Proprio questo mi riporta a riflettere su PISA. Molti come me si sentono stretti tra due atteggiamenti simmetricamente aggressivi; coloro che dicono (come in un recente editoriale sul Corriere) che gli stipendi dei professori devobo essere correlati ai risultati PISA (giuro che l’ho letto…, e dire che sembra impossibile pensarla così) e coloro che dicono che i risultati di PISA non dicono nulla.

      A me sembra che il dato che nel test 3 citato sopra la metà degli studenti italiani fallisca preoccupa molto, ancor più quando confronto il risultato con i pari età di singapore. E non mi consola ch il nostro risultato si discosti poco da quello francese (3% in un test dalla dubbia solidità statistica è un soffio). Perchè comunque mi sembra un dato interessante, significativo, che è meglio conoscere che ignorare. Però non è un dato che mi dice nulla su come si insegnano i numeri. Quello me lo può dire solo l’aula, l’esperienza ripetuta, un costante confronto con i professori.

      Faccio un esempio: In un testo che ho linkato si spiega come le lezioni di matematica in Giappone siano molto più delle nostre dedicate a una sorta di problem-solving guidato. Pensare che questo sia tout-court la soluzione è fallace. Infatti in Giappone gli studenti nella grande maggioranza si fanno seguire anche da tutor privati assieme ai quali lavorano sulla parte ripetitiva-mnemonica. Quando negli USA hanno lanciato le classi dedicate al problem-solving hanno prima avuto un (apparente) successo. Tutto sembra andare bene quando fai applicare la riforma da un docente motivato e entusiasta in una buona classe. Poi un tonfo; perchè diversamente dai loro colleghi asiati gli studenti Usa a casa non lavoravano granché. Difficile fare problem solving quando hai problemi con la tabellina.

      Ho scritto tutto questo pistolotto per dire che c’è una intrinseca complessità delle cose, che banalizzare la situazione non ci aiuterà, che il vero pericolo del test PISA sta proprio in questa procedura di banalizzazione. Ma che proprio per non banalizzare dovremo guardare con grande attenzione ai risultati che questo test ci consegna (evviva, con i caveat statistici che De Nicolao ci insegna).

    • Uhau, siamo nati nello stesso mese e nello stesso anno. Solo 4 giorni di differenza. Possamo pure darci del tu.

      Sullo specifico:

      1) generalizza un’esperienza particolare.

      Si tratta di un esempio. Ovviamente ne ho raccolti moltissimi che vanno nella stessa direzione. Micca sto scrivendo un libro. E’ un commento in un blog.

      METODO INDUTTIVO: dal particolare al generale. So che i matematici inorridiscono, ma la scienza funziona cosi, per fortuna.

      2) Sovrappone correlazione e rapporto causale.

      RAPPORTO CAUSALE, ovviemente: Nelle scuole professionali fanno matematica solo nel biennio. Stessa cosa per la fisica.

      TUTTE LE PERSONE POSSONO FARE I MATEMATICI SE HANNO I GIUSTI TUTORI. Non credo affatto che si debba essere particolarmente portati per ripetere con cognizione di causa le cose che sono in un libro (come noto molti matematici fanno SOLO QUESTO, ed è il motivo per cui sto a Fisica e non a Matematica).

      3) Propone una soluzione senza conoscere bene il problema.

      Questa è proprio la tipica risposta “da matematico”: a malapena sanno una cosa, e già affermano di saperla solo loro. Fantastico!!

  14. indrani maitravaruni says:

    Le percentuali dei solutori europei e nordamericani sono davvero troppo basse. Osservo che quando vengono corrette le prove di italiano in ingresso (Facoltà di Lettere) gran parte degli studenti ha seri problemi con la punteggiatura, per tacere della sintassi.

  15. Bravo Nicola, sottoscrivo! Chi conosce la storia delle matematiche sa che le tabelline sono arrivate tardi (si trovano per es. nella Summa di Pacioli 1494) e non le sapevano in tanti. Ora le insegnamo come se fosse il Credo…indottrinamento matematico?

  16. Un matematico, un fisico ed un ingegnere sostengono l’esame per insegnare matematica alle medie. Il quesito è:” Quanto fa due più due?”. Il fisico digita l’operazione su una calcolatrice e dice: “Due più due fa quattro!!!”. L’ingegnere digita l’operazione su una calcolatrice e dice: “Due più due fa CIRCA quattro!!!”. Il matematico riempie sei fogli protocollo e alla fine esclama: “Converge!!!!”

  17. Due giovani ingegneri fanno un colloquio per una posizione presso un’azienda di computer. Hanno esattamente le medesime qualifiche e si decide quindi di sottoporli ad un test attitudinale. Completato il test, tutti e due i candidati hanno risposto a tutte le domande tranne una. Ma il responsabile va da uno dei due e, ringraziandolo, gli dice che è stato scelto l’altro candidato. “Ma come è possibile? Abbiamo tutti e due risposto a 9 domande su 10 !!” dice quello rifiutato. “Certo. Ma, in effetti, abbiamo basato la nostra decisione non sulle risposte corrette, bensì sulla domanda cui non è stato risposto”. “E come è possibile che una risposta sbagliata sia valutata meglio dell’altra?!”. “Semplice, il suo collega, alla domanda n.5 ha risposto: -non lo so-, lei ha risposto – neanch’io -.

    • Studente: “Professore, scusi, perchè io ho preso 13/30 ed il mio amico 28/30 ?”

      Professore: “Mmm, mi faccia vedere”.

      Studente: “Ecco vede, il mio svolgimento e quello del mio amico sono identici!”.

      Professore: “Si si, ha ragione. Il problema è che le domande erano diverse”.

  18. markus cirone says:

    Ritengo che nessun test, problema, esame sia, da solo, sufficiente a dare una valutazione complessiva delle competenze (o comunque le si voglia chiamare) di una persona.

    Per quel che ne so, le domande di PISA che vengono pubblicizzate sono domande che sono state usate in passato (ora non più) oppure sono state scartate durante la procedura di selezione. Quelle esaminate nell’articolo dovrebbero essere del primo tipo, visto che abbiamo la percentuale di risposte date. Di certo so che le domande dei test ufficiali non vengono divulgate in quanto molte vengono nuovamente sottoposte a ogni triennio per valutare l’andamento temporale degli esiti e stimare miglioramenti o peggioramenti.

    Mi pare che il Prof. Israel sbagli su alcuni punti.

    In primo luogo, è vero quanto già notato da altri commentatori, i vari livelli non descrivono le competenze dedotte da una singola domanda: piuttosto è il rispondere correttamente a una certa percentuale di domande attribuite a quel livello che fa concludere “lo studente raggiunge quel livello di competenza”. Metodologia naturalmente discutibile, come lo sono tutte, ma almeno descriviamola correttamente.

    In generale, mi pare anche che si commetta il tipico errore da professore universitario che insegna a studenti di matematica (campione certamente non rappresentativo della popolazione): sottovalutare le difficoltà dei quesiti per il 15enne medio. Il test di livello 3 (“un semplice esercizio”) viene sbagliato da un 15enne su 2. Meno male che è un semplice esercizio! Il test di livello 5 (“Non è poi così difficile”) viene risolto correttamente da meno del 20% degli esaminati (esclusi gli asiatici). Dire poi che “Coinvolge abilità calcolistiche alla portata di qualsiasi buon enigmista” sottostima del tutto che è un problema di fisica. Da fisico, direi che è il caso di confrontarsi con i dati: il quesito risulta difficile per la grande magggioranza dei 15enni del mondo occidentale. Questo è un dato di fatto. Che a un docente universitario appaia “non così difficile” conta poco. Conta qualcosa invece se il docente non riflette su questo dato. Perché al di là delle discussioni sulla bontà delle prove (PISA e INVALSI), quello che a me salta maggiormente all’occhio, quando vedo i risultati, è la mediocrità delle prestazioni. Questo dato viene sempre trascurato dai critici di queste prove, mentre dovrebbe essere preso sul serio.

  19. Marinella Lorinczi says:

    Premetto: non sono matematico/a. Le barzellette sono carine, forse ne aggiungerò anch’io qualcuna.
    Tornando all’argomento. La discussione è molto interessante, a cominciare dall’articolo, e me la leggerò di nuovo con più calma perché c’è da imparare. Mi suscita in linea generale alcuni interrogativi di mestiere. Quando si commenta, si analizza un testo, è bene dichiarare da subito che fonte si usa e preferibilmente come è possibile reperirla per avere in seguito lo stesso punto di riferimento. Varianti diverse, edizioni diverse, dànno risultati interpretativi diversi, come si è appena visto. Mi incuriosisce anche il fatto che si usino le fonti in inglese, che saranno quelle comuni e uniche di riferimento primario, ma dalle quali derivano i vari testi e test nelle lingue dei vari stati, dal momento che immagino i test non sono stati somministrati in inglese, non in Italia per lo meno. Quale è dunque il rapporto linguistico e come è stato gestito durante l’intero processo?
    Però poi mi viene da fare una domandina semplice semplice. Come funziona la scuola se ragazzi normalmente scolarizzati e dell’età giusta si confondono con le frazioni decimali o possano semplicemente non capire il valore del punto? Non ci sono programmi comuni, lezioni di insegnanti specializzati, verifiche giornaliere, periodiche, a sorpresa, modalità di recupero? Bisogna far passare anni per rendersi conto che sono indietro rispetto ad un normalissimo programma nazionale? O è il programma generale che non è ben fatto oppure è la didattica con il suo intero contesto che è insoddisfacente. E c’è bisogno di pisa-ocse per rendersene conto?
    Da noi, come penso in altri atenei, nei cosiddetti corsi di cosiddetto riallineamento delle matricole, dove in 20 giorni si dovrebbero recuperare anni, il più delle volte le lezioni sono tenute da docenti della scuola. Ma perché non insegnano quelle cose, con più calma e agio, nella scuola stessa se si sa che i futuri studenti universitari devono saperle? O forse sono segreti che l’università svela all’ultimo momento?

    Barzelletta: All’esame. Prof: “Disegni una retta … continui … continui … fino alla porta … ora esca”. Ne son anche un’altra, ma sarà per la prossima volta. Buone feste a tutti!

  20. indrani maitravaruni says:

    A questo posso in parte rispondere vedendo quello che fa mio figlio: matematica e italiano nelle elementari riducono i loro spazi a favore di argomenti di varia umanità o astruse competenze che saranno di moda, ma non mi sembrano rientrino nei fondamenti: si va dall’indottrinamento ideologico-ambientalista (con ore sottratte a quelle curricolari e risultati del tipo ‘l’uomo bianco è cattivo e distrugge l’ambiente’) a programmi di scienze degni di un universitario(dall’origine della vita sulla terra alla classificazione delle angiosperme), dimenticati dopo due giorni; a concetti che andrebbero forse assorbiti in anni più maturi (il funzionamento delle leve, la produzione di energia). Sarebbe il caso di ripartire dalle basi e riguadagnare due/tre ore alla settimana per matematica e italiano.

    • Mario Ricciardi says:

      Questa osservazione mi sembra importante. Anche io ho l’impressione che il superfluo si sia mangiato l’essenziale.

Leave a Reply

Newsletter Powered By : XYZScripts.com