La primavera, per i detrattori del sistema dell’istruzione, è la stagione della semina e del raccolto. Semina perché vengono somministrati i test INVALSI, e raccolto perché escono i risultati dei test precedenti. E i risultati dicono, e non può essere altrimenti, che 1/3 degli studenti è sotto la soglia giudicata sufficiente. Il sistema di valutazione dell’INVALSI è infatti realizzato seguendo il modello di Rasch, un modello di psicometria per il quale, necessariamente, 1/3 delle prove è sotto un valore “soglia”. La vera notizia, dunque, non è che 1/3 degli studenti italiani risultino “insufficienti” nelle prove INVALSI, bensì che i quotidiani che pubblicano articoli sì fatti siano davvero incompetenti.

“Sostenibilità, tre ragazzi su 10 sono insufficienti nelle competenze alfabetiche” titola l’autorevole Sole24ore, sul sito web la notizia va sotto la rubrica Economia. “Istat, ragazzini promossi ma ignoranti. Il 34% alla fine della terza media non ha competenze sufficienti” ribadisce la Repubblica. A rincarare la dose ecco Il Giornale: “Istat, un alunno di terza media su 3 esce da scuola “analfabeta”. Informazioni simili si possono leggere sulle testate dei più importanti quotidiani e anche su alcuni portali dedicati alla scuola.

La notizia, la vera notizia, però non è l’esito del test INVALSI al termine del primo ciclo di istruzione, già Prova Nazionale nella sua vanità. Il vero scoop è piuttosto l’incompetenza in materia di statistica delle redazioni dei maggiori giornali, che fanno un uso distorto dei dati finalizzato esclusivamente a criticare in maniera infondata il sistema formativo del paese; che avrà sicuramente molti difetti, ma è senz’altro privo di colpe e impotente di fronte ad un test statistico che funziona esattamente come è stato programmato a fare.

Sospendiamo per un attimo il giudizio sui quesiti INVALSI, che nel caso della matematica presentano sicuramente dei positivi aspetti di miglioramento rispetto alla didattica che pervade la maggioranza dei manuali in commercio, e occupiamoci dei ridicoli titoli con i quali ogni anno i giornali si interessano a tematiche legate alla scuola.

La primavera, per i detrattori del sistema dell’istruzione, è la stagione della semina e del raccolto. Semina perché vengono somministrati i test e raccolto perché escono i risultati dei test precedenti. E i risultati dicono, e non può essere altrimenti, che 1/3 degli studenti è sotto la soglia giudicata sufficiente. Inoltre, lo stesso pensiero dominante e pervasivo non evita di dire che gli studenti insufficienti sono comunque promossi, fermo restando poi plaudire ad ogni riforma che indebolisce la funzione formativa del sistema di istruzione.

Il sistema di valutazione dell’INVALSI è realizzato seguendo il modello di Rasch (1), un modello di psicometria per il quale, necessariamente, 1/3 delle prove è sotto un valore “soglia”. Per alcuni aspetti è come il modello dei percentili, insomma necessariamente il 50% degli infanti sarà sotto il 50esimo percentile, proprio perché la definizione di percentile è quella del valore sotto cui vi è la percentuale indicata. Nel caso delle prove INVALSI le domande sono selezionate ed adattate in tutto il processo di pre-test in modo che appunto l’esito dei test segua questa distribuzione. Questa selezione è pure una procedura costosa, oltre 20 milioni di Euro secondo alcune fonti.  Dunque poiché il sistema di valutazione INVALSI è costruito in questo modo, 1/3 degli studenti non può che avere i suddetti risultati. Si verifica ciò che ci si aspetta si debba verificare. Pertanto non vi è alcuno scoop.

La vera notizia, dunque, non è che 1/3 degli studenti italiani risultino “insufficienti” nelle prove INVALSI, bensì che i quotidiani che pubblicano articoli sì fatti siano davvero incompetenti. Anzi, profondamente incompetenti.

Nella comunità scientifica internazionale esiste già un dibattito proprio sull’idoneità di questi sistemi per valutare i sistemi di istruzione (6) [si rimanda inoltre agli articoli apparsi su Roars qui, qui, qui e qui] . David Spiegelhalter, eminente statistico (per i profani titolare dell’omologa cattedra all’Università di Cambridge) contesta proprio la scelta di questa curva nel campo della valutazione dell’istruzione perché essa crea, come abbiamo potuto constatare, solo una classifica relativa ma non permette di valutare un andamento assoluto. Infatti, portando il sistema agli estremi, se applichiamo tutta la metodologia INVALSI a un corpo di studenti che sono tutti premi Nobel comunque 1/3 risulterà sotto soglia e similmente se l’applichiamo a un corpo di veri e propri “somari” 2/3 risulteranno sufficienti anche se, magari, sanno a malapena leggere un testo lungo tre pagine. Il dibattito è su scala internazionale perché la metodologia è la stessa del test OCSE-PISA. Infatti è proprio l’OCSE l’istituzione internazionale che, per mezzo di queste discutibili valutazioni, agisce sui sistemi di istruzione nazionali per fini che non riguardano i sistemi formativi. Il fatto, per di più, che il Sole24Ore abbia rubricato la questione come economia è un indizio non del tutto trascurabile.

Ma tutto ciò i giornali italiani lo ignorano. E molto spesso lo ignora pure il corpo docente di questo paese, ormai reso passivo di fronte a un turbinio di “riforme” che lo opprime senza scampo. Il dato, però, è che questa serie incontrollata di modifiche in materia di scuola ha comportato un decremento dell’incidenza della spesa per l’istruzione sul bilancio pubblico. Perché il nodo, quello vero, sono sempre e comunque i soldi.

Riferimenti

  1. On Specific Objectivity: An attempt at formalizing the request for generality and validity of scientific statements. Rasch, G. 1977, The Danish Yearbook of Philosophy, p. 97-116.

 

Per approfondire:

Print Friendly, PDF & Email

21 Commenti

  2. Se dopo più di vent’anni di autonomia scolastica l’istruzione pubblica risulta profondamente deteriorata, dai neoliberali che hanno voluto quella riforma ci si attende, se non il pentimento, almeno che la vergogna li riduca al silenzio; invece sono proprio loro i più esasperati nel denunciare il disastro che hanno provocato. A me questa sguaiataggine sembra la vera notizia; mi induce a pensare che il disastro non giunga loro come una sorpresa, che lo rilevino con soddisfazione perché era un risultato calcolato. Se infatti ci fosse una scuola pubblica di qualità, perché le famiglie dovrebbero investire – anche indebitandosi – nell’istruzione dei loro figli?

  4. Ho cercato l’articolo di Rasch. Non ci ho capito niente se non l’introduzione. Se non sbaglio, non si dice niente sulle ragioni sociali-scolastiche della difficoltà di lettura di quei ragazzi danesi. L’ortografia danese è difficile in rapporto al parlato, per quel poco che so, per cui, prima di misurare, avrei fatto anzitutto leggere leggere leggere. Chi non legge abbastanza non sa leggere, è evidente, tanto meno in fretta e sotto stress. Se poi è pure poco colto, cosa capisce? Comunque, ricopio questo. Se poi qualcuno vuole fare qualche commento sul modello Rasch, penso sarà il benvenuto.

    https://www.rasch.org/memo18.htm
    “In that year [1951] The Danish Ministry of Social Affairs wanted an investigation of the development of reading ability in 125, then about 20 years old, former students of public schools in Copenhagen, who in their school years had suffered from serious reading difficulties and therefore had received supplementary education in that discipline.
    For each of these students were recorded the results of repeated oral reading tests during his school years – both as regards reading speed and reading accuracy – as well as of a test at an after-examination late in 1951.
    It would be a fairly simple task to follow the development of a student’s reading ability over a number of years if the same part of the same test were used every time, but at each testing it was necessary to choose a test which corresponded approximately to his standpoint, so as a rule a student was followed up with a series of tests of increasing “degrees of difficulty”.
    In a concrete formulation of this problem I imagined – in good statistical tradition – the possibility that the reading ability of a student at each stage, and in each of the two above-mentioned dimensions, could be characterized in a quantitative way – not through a more or less arbitrary grading scale, but by a positive real number defined as regularly as the measurement of a length.
    Whether this would be possible with the tests in question could not be known in advance. It had to be tried out through a separate experiment which was carried out in January 1952. In this experiment about 500 students in the 3rd-7th school year were tested with 2 or 3 of the texts used in the investigation of students with reading difficulties. With a view to investigate reading accuracy, numbers of reading errors were recorded for each test. As regards reading speed, numbers of words read within a time limit were also recorded.”

  5. Ecco come vengono spiegati i punteggi nel Rapporto 2018.
    _________________
    LA VALUTAZIONE DELLE PROVE DEL GRADO 8 E DEL GRADO 5: PUNTEGGI E LIVELLI
    Le prove di Italiano, Matematica e Inglese del grado 8 e le prove di Inglese del grado 5 sono state valutate in due modalità: con l’attribuzione di un punteggio numerico (come per le prove di tutti gli altri gradi) su una scala quantitativa (Rasch), dove la media dell’Italia è posta eguale a 200 e la deviazione standard (vedi glossario) è posta eguale a 40, e con l’assegnazione di un livello di competenza. I livelli di Italiano e Matematica del grado 8 sono cinque, dal più basso al più alto (1, 2, 3, 4 e 5). I livelli di Inglese sono, dal più basso al più alto, tre per il grado 8 (Pre-A1, A1 e A2) e due per il grado 5 (Pre-A1 e A1).

    https://www.roars.it/wp-content/uploads/2019/06/Rapporto_prove_INVALSI_2018.pdf
    _________________
    Provo a spiegare meglio come funziona questo gioco di prestigio (un giorno bisognerà mettere in discussione l’abitudine di far ricorso a indicatori la cui genesi è incomprensibile persino a chi lavora nel settore oggetto di valutazione e riflettere sui pericoli per le istituzioni e la società tutta).
    La prima cosa da tenere a mente è che 200 non è un valore assoluto ma convenzionale (“la media dell’Italia”) e che anche l’unità di misura dei punti non è assoluta ma è definita in modo che 40 punti corrispondano a una “deviazione standard”, ovvero è agganciata alla variabilità dei punteggi ottenuti dagli alunni. Avere agganciato l’unità di misura alla variabilità nella popolazione degli alunni significa che, se i punteggi si distribuiscono secondo una campana gaussiana, il 35% degli alunni è destinato a finire sotto 184 punti. Infatti, se X è una variabile casuale gaussiana con deviazione standard SD, si ha che Pr(X< MEDIA – 0.4 SD) = 0.35. Dato che MEDIA – 0.4 SD = 200 – 0.4×40 = 184, risulterà Pr(X<184)=0.35.
    Ebbene, quale è la soglia sotto la quale si viene definiti “analfabeti”? Prendiamo da questo file (https://www.roars.it/wp-content/uploads/2019/06/Rapporto_INVALSI_Veneto_2018-1.pdf) il grafico relativo ai test nazionali di Italiano-III media. Dove sta la soglia dell’analfabetismo? Proprio intorno ai 185 punti.

    Sebbene in altri casi (per es. i test di matematica citati dai quotidiani linkati nel post) la distribuzione si scosti da una gaussiana e i numeri siano un po’ diversi, la sostanza del ragionamento non cambia: all’opinione pubblica è stata rifilata una clamorosa “patacca”. È come sparare la “notizia” che in una gara con 100 concorrenti ce ne sono stati ben 35 che si sono classificati dalla 66-ma posizione in giù.
    Una presa in giro che, però, è funzionale a creare quel clima di allarme e di sfiducia nei confronti delle scuole e degli insegnanti che aiuta a spianare la strada alle “riforme”.
    Gli statistici che lavorano per Invalsi sono ovviamente consapevoli della “patacca” e portano la responsabilità di lasciarla circolare indisturbata. Sarebbe anche interessante sapere se gli altri “esperti” sono consapevoli di cosa significano le misure fornite dal famoso “termometro”.

  6. Torno sul RAV INFANZIA, sul lavoro critico proposto da Rossella, sia perché tutto inizia con la scuola dei piccoli, su cui infatti molto punta l’INVALSI, sia per via di commenti di “pedagogisti sperimentali” (per citarne uno: Cristiano Corsini) che si limitano a tacciare ogni ragionamento politico sulla valutazione come poco esperto, non “scientifico”.
    <>

  7. “Una presa in giro che, però, è funzionale a creare quel clima di allarme e di sfiducia nei confronti delle scuole e degli insegnanti che aiuta a spianare la strada alle “riforme”.
    Sono completamente d’accordo.
    Nel contempo, continuo a pensare che un liceo italiano offra, ancora e nonostante le miserabili “riforme” degli ultimi tempi, un programma di studi che ha ben poco da invidiare a tanto celebrati menu esteri (certo, poi dipende dalla qualità dei docenti: ma questo è vero sotto ogni latitudine). La testimonianza di tutti i miei studenti che hanno trascorso periodi più o meno lunghi in scuole superiori all’estero (USA, Australia, Nuova Zelanda, Spagna, Inghilterra) è unanime: in Italia fatichiamo, là ci siamo divertiti, dovendo studiare solo una manciata di materie (alcune delle quali francamente risibili) a livelli di approfondimento decisamente inferiori (i logaritmi? si schiaccia quel tastino della calcolatrice…).
    Ex alunni con dottorato alla Sorbona mi dicono che gli studenti italiani laureati in fisica sono visti come il fumo negli occhi: sono più bravi e più preparati, molti posti vanno a loro invece che a francesi.
    Quel che mi dispiace è che tali testimonianze restino frammentarie: che non si riesca cioè a suonare una campana in grado di confutare organicamente quella “presa in giro” di cui dice De Nicolao. Una campana che mostri, dati alla mano, quanto di buono sia oggettivamente in grado di produrre, nonostante tutto, il sistema di istruzione nazionale (al di là di qualsiasi sciovinismo, si capisce).
    Chissà: un programma di ricerca per le intelligenze di Roars?

    • Quella cosa ‘immateriale’, le cui basi di funzionamento immateriali non sono, e che si chiama “ideologia” – per quanto la parola possa essere ripugnante per alcuni – e che contiene le necessarie ed ineludibili linee guida dei comportamenti, azioni, discorsi ecc. umani, contiene perciò le cause e le spiegazioni. Naturalmente è più corretto parlare di ideologie, al pl. Nel caso concreto, quell’ideologia non è la nostra, per lo meno non è la mia, ma di quelli che hanno soldi e potere, che stanno nei governi, nei ministeri e nei loro derivati semiprivati (per l’esattezza, in certi tipi di governi, ministeri ecc.). Faccio due esempi ‘materiali’ (il ponte Morandi non lo metto nemmeno più in conto, anche se è una pura allegoria, secondo me, dell’Italia). 1. Lo scandalo delle meganavi da crociera nel Canal Grande , dopo lo scandalo del Mose (“tuttora in fase di realizzazione” – Wikipedia) ché quando hanno cercato di azionarlo si sono resi conto – cosa che nessuno poteva nemmeno immaginare! – che le cozze vi si erano insediate ed impedivano i movimenti. 2. Un libro, comprato obbligatoriamente attraverso il Mepa, se lo compri altrove costa un terzo in meno. Si tratta di soldi pubblici. L’Invalsi funziona, per come funziona, con soldi pubblici. Qual’è lo scopo della sua istituzione? Si intuisce benissimo e lo hanno detto in molti. La soluzione starebbe nella sua drastica eliminazione che però i summenzionati poteri non vogliono, perché anzitutto si renderebbero ridicoli, e questo si paga in termini politici. La cosa grottesca è che esso comunque produce un autogol, è dannoso, persino rispetto al sistema sociale odierno, neocapitalistico ‘globalizzato’.

    • Aggiungo: certi ragazzi danesi che conosco, postadolescenti e per niente stupidi, hanno dovuto frequentare dei corsi speciali per rimediare – indovinate in che cosa? In lingua danese e in matematica. Quindi, a 60 anni e passa da quell’articolo di Rasch, siamo sempre lì.

  8. La situazione è paradossale. Da una parte gli attori della riforma suscitano pretestuosamente l’allarmismo sulla scuola pubblica COME SE la scuola pubblica qual è attualmente non fosse il risultato della riforma, come se dopo 22 anni di autonomia l’allarme potesse ancora essere sulla scuola – e non sulla riforma della scuola. In altri termini: se anche fosse vero che un terzo degli alunni sia analfabeta, chi ne porterebbe la responsabilità, se non il MIUR, che ha imposto alla scuola l’adozione di una didattica fallimentare? La conclusione sarebbe che bisogna liberare la scuola da questa camicia di forza che impedisce agli insegnanti di fare il loro lavoro; ovvio però, che con la campagna allarmistica si vuole invece umiliare il pubblico per esaltare il privato, nel più puro stile neoliberale. D’altra parte, a giudicare in modo impressionistico, è vero che i miei alunni che sono stati all’estero mi raccontano situazioni del tutto analoghe a quelle descritte del prof. Cervesato; ma altrettanto vero che vedo situazioni sempre più degradate. Non è l’errore che preoccupa, ma la sua entità (disorientamento grammaticale, fiumi che nascono dal mare, argento estratto dal rame, incapacità di indicare la Francia, l’Inghilterra sulla cartina – e insegno al Liceo Classico) e soprattutto la sua incorreggibilità. Sembra che il riuscito dirottamento delle maestre sulla didattica delle competenze resti impresso negli alunni come disprezzo definitivo della conoscenza.

  10. Torno al tema: non tanto scientifico vs politico (come nel dibattito un po’ contorto che si sta sviluppando su fb: ma non ci eravamo almeno assestati sulla non neutralità del piano scientifico?) quanto – su valutazione del sistema, delle scuole/dei docenti, degli alunni (ripartizione di Jaap Scheerens) – aspetti tecnici vs motivazioni politiche.
    Dicono gli amici critici dell’attuale SNV (riassunto su cui si accettano correzioni e/o smentite): 1. l’accountability impoverisce i processi, li schiaccia sulle prestazioni; 2. non serve una singola prova di abilità (oppure competenza? disaccordi in merito…) ma più prove per soddisfare i criteri di “sufficienza”; 3 il feedback deve essere “criteriale”, agganciato a una padronanza; deve essere “formativo” non solo sommativo. Noi, nel mio gruppo NoINVALSI, ne deduciamo: se i problemi sono di ordine tecnico, si tratta di fare quel che si sta facendo, MEGLIO. Se nomen omen non tradisce, noi diciamo (e sono necessariamente sintetica, lascio a margine molti studi in proposito): il problema politico affrontato già da anni in Italia (da Pinto in poi e oltre) e nel modo anglosassone (un nome per tutti: Ravitch) così non viene nemmeno sfiorato. L’INVALSI nasce e si regge su provvedimenti decretizi, il Regolamento 80/2013 viene liquidato a legislatura Monti “liquidata”, la discussione sul ruolo del SNV avviene fuori dall’aula parlamentare, quella recente sul RAV INFANZIA, segnalata da Rossella, si svolge fra funzionari del MIUR (Previtali, Palermo, Palumbo) e staff INVALSI. Nella segreteria di Fioramonti (onore al merito almeno per averci provato a organizzare qualcosa sulla valutazione ANVUR e INVALSI…) nulla sanno di tutto ciò, mentre il Professore di Ginnastica è ignaro per principio. Il piano politico per noi è dunque valoriale. “E” tecnico. E’ tecnico perché valoriale. Questo è quello che diciamo quando andiamo a discutere nelle scuole (perché noi ci andiamo DAVVERO). Smontare una prova INVALSI anche quando fatta benino (in matematica, ad esempio, per la primaria) a noi serve per arrivare al discorso sul quadro POLITICO: a cosa, a chi serve tutto questo macchinario? Concludo: l’attuale sistema di valutazione va abolito e i suoi attori mandati a casa (ricollocando i peones, ovviamente…). Occorre ricominciare da capo.

  11. Non per difendere i giornali, ma perché puntare il dito contro di loro se non fanno altro che riportare quanto dice un rapporto Istat? Pag. 81 del rapporto SDG, Tabella 4.1:
    “Percentuale di studenti delle classi III della scuola secondaria di primo grado che non raggiungono un livello sufficiente di competenza alfabetica: 34,4%”. I giornali si sono limitati a riportare (correttamente) quanto contenuto nel rapporto.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.