Sono anni – non mesi – che vengono avanzate critiche argomentate e costruttive nei confronti dell’Invalsi: autoreferenzialità dell’ente sottratto a ogni valutazione e composto sempre dalle stesse persone, discutibilità dei metodi statistici e dei test proposti, eccesso di intervento con la prova per la secondaria di primo grado che fa media, sconsiderata incentivazione del deleterio “teaching to the test”, ecc.
A tanti sforzi si è sempre opposto uno sdegnoso commento: «Chi critica è solo uno che non vuol farsi valutare ed è contro il merito». L’Invalsi ha sgomitato soltanto per ottenere lo stesso potere che ha ottenuto l’Anvur nell’università, per ragioni che sarebbe interessante approfondire.
Ora l’Invalsi paga tale arroganza con il crollo della partecipazione ai test, senza contare che anche quelli compilati sono pieni di cose inattendibili: so direttamente di studenti italiani che hanno scritto che a casa loro la lingua corrente è il bulgaro o lo swahili e altre amenità …
Ma oggi su buona parte della stampa – in cui ogni voce anche moderatamente contraria non trova più spazio – si leva un grido unanime:

«È uno scandalo. Rifiutare i test Invalsi è come rompere il termometro quando si ha la febbre».

E giù prediche sulla valutazione e l’assenza di meritocrazia.
Ora, che questo lo faccia un personaggio che ha millantato due lauree e un master mai avuti e tante altre cosucce e che, mostrando impavido di non sapere e capire nulla di scuola, s’impanca – proprio lui! – a parlare di merito, dovrebbe essere considerato un fatto comico, se non fosse che il fatto che gli si dia credito è l’immagine più lampante di come davvero quando si pronuncia questa parola si fa soltanto retorica, e in modo sfacciato.

Giannino
Che parli di termometro il capo dei presidi italiani, si può anche capire. Lui questa frase l’ha sentita dire da personaggi che reputa di alta e indiscutibile competenza. Per esempio, da Roger Abravanel, il quale appare sostenuto da un network così potente da potersi permettere qualsiasi svarione – per esempio che l’università italiana è gratis, quando invece è una delle più costose d’Europa – senza pagare pegno. Tanto lui si è definito da solo l’incarnazione della “meritocrazia” e allora visto che è tanto influente quel che dice deve essere vero. Quella frase l’ha sentita dire poi da accademici propriamente detti, come il prof. Andrea Ichino che, ancor oggi, sul Corriere della Sera, ricanta la solfa del termometro.
Vorrei allora raccontare al riguardo un episodio di alcuni anni fa. Mi trovavo in una commissione ministeriale per la valutazione assieme a lui e una decina di altri componenti. Si accese proprio una discussione sui metodi di valutazione oggettivi e standardizzati, con il prof. Ichino che sosteneva accanitamente le metodologie tipo Invalsi, con i quiz ecc. Gli feci notare che parlare in questo ambito di oggettività era assolutamente improprio e che ogni parallelismo con la fisica (con le scienze dei fatti materiali) era assurdo: tale era il parallelismo con il termometro. Osservai che la fisica si distingue per una piccola cosuccia come la possibilità di definire unità di misura in modo tale da essere adottate in modo universale da chiunque senza possibilità di equivoci e contestazioni, insomma aventi carattere oggettivo. Tale era l’unità di lunghezza (metro, di cui esiste un campione universale di riferimento) e anche l’unità di temperatura, anche se a voler essere rigorosi, prima dell’avvento della termodinamica anche la temperatura non era considerata come una grandezza misurabile in modo oggettivo. Osservai:

«Se ci mettiamo a misurare il perimetro di questo tavolo ciascuno con un metro non truccato e garantito conforme allo standard, a parte piccoli scarti previsti dalla teoria della misura otterremo lo stesso risultato». E poi chiesi: «Nel campo della valutazione delle qualità immateriali quali sono le unità di misura? In particolare, quale sarebbe l’unità di misura delle competenze?»

Il collega ci pensò su un poco e poi sentenziò in modo netto:

«L’unità di misura delle competenze è il test».

Una risata omerica avrebbe dovuto accogliere una simile frase. Chiunque capisce che il test è anch’esso una costruzione immateriale, fabbricata da una persona o da un gruppo di persone con le proprie (rispettabili quanto discutibili) idee circa cosa sia la matematica, la letteratura, la storia ecc. Un’altra persona o gruppo di persone potrebbe avere idee diverse, anche opposte e degne di confronto. Per esempio, chi scrive ritiene che concepire la matematica come “problem solving” è non soltanto discutibile ma espressione di ignoranza crassa. Avrò ragione o torto ma ho buoni argomenti degni di essere discussi. Come è possibile costruire test di validità universalmente condivisa, oggettivi, su simili basi?
Una buona valutazione non può andar oltre un processo di confronto tra vedute diverse che miri al massimo possibile di condivisione e di equanimità nei giudizi; il che non è affatto la stessa cosa dell’oggettività.
Ora se siamo al punto che anche un rispettabile professore universitario coltiva una simile confusione di idee e straparla di oggettività e termometri, come se l’Invalsi potesse essere l’equivalente dell’Istituto Nazionale di Fisica Nucleare, di che stupirsi? Questo è il pantano in cui stiamo affondando.

Print Friendly, PDF & Email

21 Commenti

  1. Non è forse arrivata l’ora anche nelle Università (oltre che nelle scuole) di alzare la voce, di restituire voce a interventi come quello di Israel e cominciare, almeno, a tirarci fuori dal “pantano”? E’ meglio avviarci per tempo viste le minacce di improbabili sottosegretari alla pubblica istruzione (che capirà mai di scuola e università uno come Faraone resterà un mistero) che già prospettano la “buona università” dopo la “buona scuola”

  3. D’accordo sul tono e sui contenuti dell’articolo.
    Qui la pars costruens da valorizzare è contenuta in due righe “Una buona valutazione non può andar oltre un processo di confronto tra vedute diverse che miri al massimo possibile di condivisione e di equanimità nei giudizi; […]”.
    Questo è ciò che pedagogisti e scienziati dell’educazione cercano di fare quando propongono una serie di strumenti di organizzazione didattica e concettuale (diversa dai test) e purtroppo avversata dallo stesso Prof. Israel.
    Anche gli stessi docenti universitari dovrebbero usare e implementare una parte dei medesimi strumenti, nella concezione e formulazione dei programmi di insegnamento. Cfr.: la guida ECTS
    http://bologna-yerevan2015.ehea.info/files/ECTS%20Users%20Guide%202015.pdf

    • @Rubele: La bozza della ”Guida all’uso degli ECTS 2015” si basa sul concetto di ECTS, che è un acronimo privo di referente reale o concettuale. Non significa nulla. La cultura non si può quantificare. I burocrati, per giustificare la loro esistenza, scrivono queste bozze, che poi vengono approvate a scatola chiusa dai ministri. Io e Lei abbiamo avuto una lunga polemica su queste pagine su questo punto. Forse Lei ha maturato altre argomentazioni per confutare la mia tesi. In tal caso, sarei pronto a riprendere quella polemica. Sarei anche molto sorpreso, perché il caso è molto semplice: la qualità non si misura, e la cultura è qualità.

  4. A) Una spiegazione dettagliata di come si può implementare la pars construens l’ho data varie volte. Non è che ogni volta si può ripetere tutto, pena scrivere articoli a palla di neve.
    B) Avversata quella di un tempo. Molto meno ora che i pedagogisti si sono accorti di essere stati strumentalizzati dai tecnocratici (econometria) della scuola arrivando a frontiere da loro inimmaginate. Così persone come Vertecchi e Maragliano condividono ora parecchie delle mie analisi, pur con alcuni sostanziali dissensi di merito, ma su cui si può discutere (tra persone aventi un minimo di base culturale e non burocrati della meritocrazia).

  5. Mio nipote, che fa la terza media, nell’ultima prova Invalsi di italiano sulla comprensione del testo ha preso 6. Per sfotterlo un po’ gli dico: “Ma come, quando vuoi qualcosa sei tanto svelto a capire!” E lui: “Il testo l’avevo capito. Sono le domande che non ho capito.”
    .
    Come diceva il buon Duncan, nel suo “Notes on social measurement. Historical and critical” (1984):
    “Let us note the clear separation between the two tasks: first, to scale the statements, or to infer their location on a linear attitude continuum defined in terms of the polar contrast of “strongly affirmative” with “strongly negative”; and, second, to place respondents on that same attitude continuum insofar as their locations on it can be inferred from the selection of items they choose to endorse. Not only are the two problems logically distinct and operationally separated, but also the former – the scaling of statements – precedes and is presupposed by the latter. By contrast, psychometric or “test theory” methods of attitude measurement either attempt to accomplish the two tasks simultaneously and jointly or even to bypass the scaling of items altogether.”

  6. A Lilla: A proposito della comprensione del testo potrebbe essere illuminante questo articolo:

    PISA, TIMSS and Finnish mathematics teaching:
    an enigma in search of an explanation
    Paul Andrews & Andreas Ryve & Kirsti Hemmi &
    Judy Sayers
    Educ Stud Math (2014) 87:7–26

    • “Finnish education, its success and (relative) TIMSS failures, is an enigma in search of explanation and confirms an earlier observation that “high attainment may be much more closely linked to cultural values than to specific mathematics teaching practices”
      _______________________
      Ci sono più cose tra cielo e terra che nella testa dei riduzionisti. Ci sono ragioni per credere che ogni nazione usi un termometro starato e che non ci sia modo di calibrarli sia per la “distorsione culturale” ma anche falle matematico-statistiche (https://www.roars.it/il-modello-di-rasch/). E INVALSI ha le stesse basi metodologiche di OCSE PISA. Se i termometri sono starati (lasciando da parte la questione di cosa “misurano” e di quanto valga la pena misurarlo e confrontarlo), diventa difficile giustificare l’investimento di risorse finanziarie, umane ed anche “emotive”. Questo aspetto della fragilità scientifica dei test rimane quasi sempre fuori del dibattito, ma se confermato è dirimente. Se il termometro è starato, è la stessa metafora di Abravanel e Ichino che condanna i test, persino presso chi ha fede nel riduzionismo. A quel punto comincia la tiritera del meglio nemico del bene, della cattiva valutazione che sarebbe meglio di nessuna valutazione etc. Ma, alla fine, la fuffa rimane fuffa. A chi contesta l’uso di metodi scientificamente non validati, l’OCSE risponde:
      ________________
      The sample sizes in PISA are such that the fit of any scaling model, particularly a simple model like the Rasch model, will be rejected. PISA has taken the view that it is unreasonable to adopt a slavish devotion to tests of statistical significance concerning fit to a scaling model. http://www.oecd.org/pisa/47681954.pdf
      _________________
      “Facciamo un po’ quello che ci pare”: la significatività statistica è un requisito da cui l’OCSE è esentata, sembrerebbe.

    • @mcnucci, grazie, ho fatto il “compito” e ho tirato giù l’articolo :-)
      Purtroppo non riesco a leggerlo tutto in dettaglio, ma ho letto tutta la “discussion”.
      Ci vorrebbe che qualcuno mettesse insieme tutte queste informazioni e ne traesse una sorta di review ben organizzata. Potrebbe farlo ad esempio uno di quelli che si occupano direttamente di queste cose, uno di quelli pagato magari fior di quattrini per fare la valutazione, come gli anvuriani.
      Se ne scoprirebbero delle belle.
      .
      La mia personale opinione, da quello che ho potuto leggere finora, è che i problemi di misura siano fin troppi.
      La questione in realtà per me nasce subito male dall’inizio. Mentre la temperatura è un fenomeno fisico corrispondente ad un ben definito stato termodinamico della materia, l'”abilità matematica” è un’entità di definizione non univoca. Restringerla ad un insieme di competenze vuol dire ridurne drasticamente la portata.
      Per me l'”abilità matematica” è indefinibile come grandezza di misura. E già questo chiuderebbe la questione del confronto fra gli ambiti.
      .
      Bisognerebbe quindi da subito impostare il discorso in termini di indicatori, più che di misure.
      .
      Mettiamo comunque che si stabilisca, in maniera approssimativa, che l’abilità corrisponda ad x competenze, o items. Che diventi, cioè, una grandezza indiretta funzione di x grandezze.
      Rasch collega la competenza al grado di correttezza della risposta e alla sua difficoltà, da quello che ho capito leggendo l’articolo precedente qui su Roars.
      Non ho ben capito chi e come stabilisca la difficoltà delle domande, ma mettiamo che anche questo problema sia risolto.
      In sostanza la correttezza delle risposte è la misura della competenza.
      Cosa si vuole misurare, dunque?
      La raggiunta competenza in uno studente.
      Di cosa è funzione questa competenza? E qui si vorrebbe che il modello fosse unidimensionale. Che misurasse mediamente la capacità di apprendimento come corrispondente alla capacità di insegnamento. Mediamente, nel senso di “annullare” eccellenti e asini di natura che sarebbero ai limiti della gaussiana: ma anche questo sarebbe tutto da dimostrare!
      Poi si leggono paper come quello sopra sulla matematica finlandese, o altri non mi ricordo di chi, dove appare chiaro che invece su ogni singola competenza pesino n fattori, come cultura, genere, ecc…
      Ossia, che il problema non è unidimensionale.
      Non finisce qui, perché poi l’abilità è funzione di n competenze (alcune delle quali poi a volte eliminate per far quadrare il modello di Rasch…un piccolo dettaglio!) e come l’abilità si correli alle n competenze è un ulteriore passaggio critico.
      .
      Ma mettiamo che la definizione di abilità sia in qualche modo confrontabile con quella di temperatura: la seconda corrisponde allo stato termodinamico, la prima è una funzione corretta (…) di x competenze. Se si volesse restare in ambito scientifico, avere x competenze correlate e ciascuna funzione di n variabili non controllabili, vorrebbe dire misurare una grandezza fisica indiretta X=Funz[x1(n1, n2,…), x2(n1,n2…),…, xn(n1,n2…)], dove solo n1 è l’abilità derivante dall’apprendimento corretto.
      Se non sono in grado di controllare gli altri fattori, n2, n3 ecc…, avrò risposte che dipenderanno ovviamente *anche* da n1.
      Tornando al termometro: mi dirà che è caldo a gennaio o che è freddo ad agosto. Ossia mi dirà che i finlandesi hanno una capacità di insegnamento della matematica eccellente (caldo) quando in realtà non è così brillante (gennaio).
      Che è quello che ha concluso lo studioso di cui non mi ricordo il nome, dicendo che il fattore casuale dovuto a grandezze non controllabili provoca delle variazioni intollerabili dei risultati.
      .
      Quindi io direi di più: il test misura la capacità di risolvere quel test, quindi di essere bravi a rispondere correttamente a n domande (qualunque cosa questo significhi dal punto di vista della propria abilità matematica), di un particolare gruppo di persone “tarandosi” su quelle, per non sapere distinguere i diversi fattori di influenza. Per quel gruppo di persone l’abilità, così come definita, verrebbe quindi a dipendere da specifici formazione, genere, cultura, abitudini, insegnante, genitori e forse anche segno astrologico. Chi lo sa? Si può determinare in maniera univoca e ripetibile?
      Di qui, secondo me, la seria difficoltà di fare una calibrazione degna di questo nome, separandola dalla misura.

  7. Un’osservazione:
    La valutazione soggettiva dello studente verrà fatta sempre dal corpo docente.

    Se poi volete filosofeggiare su come costruire un buon metodo di insegnamento e di valutazione fate pure, ma siete fuori tema perche il ministero per tirare fuori ‘i brutti e sporchi’ dati che verranno poi manipolati da misteriosi computer e complessi algoritmi pensati per tirare fuori una “Media” (deduco che a questo si riconducono tutte le vostre conoscenze sugli strumenti di analisi) non può, per evidenti problemi di grandi numeri basarsi sui vostri seppur validi strumenti soggettivi.
    E non vi preoccupate che queste analisi non sostituiranno mai il vostro lavoro ma, se vorrete servirvene, vi aiuteranno a migliorarlo.

    • Bello il nickname, soprattutto la seconda parte che funge da autovalutazione (soggettiva, seppur valida).

    • Sono ragionamenti che non riesco proprio a seguire.
      .
      Chi sostiene, e non pochi a quanto pare, che i test siano affidabili quanto un termometro, sbaglia. Non è possibile mettere sullo stesso piano le misure fisiche e quelle psicometriche. Chi lo sostiene o è uno sciocco o è in malafede, e si guarda infatti bene dal produrre dimostrazioni scientifiche inoppugnabili. E la malafede produce il danno di sostenere che sia possibile fare delle classifiche oggettive di merito, e addirittura indirizzare scelte politiche premio-punitive sulla base di queste, la cui legittimità risiederebbe appunto in tale pretesa di oggettività.
      .
      C’è poi chi invece ammette che si tratta di stime qualitative, per le quali le statistiche forniscono valori del tutto indicativi, da prendere quindi con le pinze. Ma che comunque queste stime servano a dare indicazioni a livello nazionale o regionale, perché si tratterebbe di dati migliori delle stime soggettive, che non si saprebbe né valutare nella loro soggettività né aggregare su scale troppo grandi. Qui sorge spontanea la domanda: e quindi? Non si tratta di dati oggettivi e comunque di dati di difficile valutazione, che sono ritenuti migliori in tutti casi di dati soggettivi. Se anche fosse (e io non lo credo) quali indicazioni se ne dovrebbero trarre per “migliorare il proprio lavoro”? A quale livello?
      Questa operazione richiederebbe un’analisi delle indicazioni qualitative che non può comunque prescindere dalla conoscenza e dall’uso degli strumenti che si sono utilizzati per ottenerle, con tutti i limiti connessi. Se un Ministero o chi per esso, li considerasse una base di azione politica, personalmente desidererei che questi aspetti fossero ben chiari, anche dal punto di vista tecnico, e le analisi approfondite e trasparenti.
      Se il discorso della “scatola nera” diventa un alibi per evitare questo tipo di approfondimenti, anche nel caso in cui si abbandoni la pretesa di oggettività, allora è legittimo porsi il dubbio che le azioni di miglioramento basate su queste premesse possano anche non rivelarsi tali.
      Se il livello di azione considerato scende fino a diventare locale, della classe, mi chiedo quale tipo di indicazione in più se ne dovrebbe trarre rispetto, ad esempio, ad una verifica compilata nei contenuti da chi sa cosa ha spiegato e come, e valutata in maniera più soggettiva. Anche in questo caso la “scatola nera” non aiuta, perché non conoscere com’è fatta e che limiti possiede può portare a valutazioni di merito sbagliate e quindi non a migliorare necessariamente il proprio lavoro.
      .
      Questi i motivi per cui al momento non vedo che utilità vera possano avere i test INVALSI.

  8. Segnalo sul Foglio di oggi due articoli, di Maurizio Crippa e Rosamaria Bitetti, dedicati a difendere i test Invalsi. La loro lettura è molto deludente: osservazioni giustissime intrecciate con disinvoltura ad altre assurde. Alla fine il succo del sofisma è: dato che rifiutare di essere valutati è una cosa cattiva, i test Invalsi devono essere sostenuti. Per l’esattezza: «i test Invalsi, giusti o sbagliati che siano […] non sono inutili e vanno fatti» (Maurizio Crippa). Mi chiedo come sarebbe giudicato un medico che affermasse: «*queste* medicine, giuste o sbagliate che siano, non sono inutili e vanno prese». O, visto che va per la maggiore la metafora del termometro, «*questa* analisi, funzionante o meno che sia l’apparecchio per misurare, non è inutile e va fatta». Particolarmente irritante è che, alla fine, chi con tutta la propria vita professionale, nel suo piccolo o nelle prese di posizione pubbliche, sta da anni lavorando per un’istruzione migliore, senza risparmiare forze, si ritrovi accomunato ai nullafacenti che rifiutano di essere valutati.

    • L’ho gia’ scritto, ma mi sembra bene ripeterlo. La logica che usano e’ la stessa della Gelmini: chi critica la riforma e’ un conservatore, chi critica Invalsi o Anvur non vuole essere valutato. Che questo tipo di sofisma venga usato da un politico in un talk show e’, purtroppo, all’ordine del giorno. Quando lo usano dei docenti e’ una vergogna.

    • La mia impressione è che nell’articolo citato sia alquanto confuso (o nel caso migliore troppo ambiguo). Che cosa c’entri un approccio basato sulle «competenze» con la sottolineatura del fatto che nessuno dovrebbe passare al livello successivo di insegnamento se non ha raggiunto gli obiettivi del precedente non riesco per esempio a capirlo. In ogni caso a livello propositivo trovo ben poco che aggiunga qualcosa al Mastery Learning di Bloom, non esattamente una novità nel campo della pedagogia. A mio parere si tratta di idee interessanti e degne di discussione (nonché meritevoli di cauta sperimentazione): quello che è deprimente è vedere come la parola d’ordine dell «competenze» diventi almeno a casa nostra la scusa per operazioni sconcertanti di ogni tipo, come quella della «certificazione delle competenze». Ne ho scritto qualcosa qui: http://www.ilsussidiario.net/News/Educazione/2015/4/3/SCUOLA-Se-le-competenze-nascondono-la-pedagogia-di-Stato/596993/ e ne ha scritto pure (con molta più autorevolezza di me) Giorgio Chiosso http://www.ilsussidiario.net/News/Educazione/2015/4/27/SCUOLA-La-societa-del-pallottoliere-contro-l-autonomia-e-gli-studenti/603407/

    • Ringrazio Salmeri per la segnalazione dei due articoli che ho letto con interesse. Da parte mia aggiungo che sulla parola d’ordine delle competenze fa leva anche Roger Abravanel nel suo ultimo libro “La ricreazione è finita”. Si veda per esempio il Capitolo 4 (“Cosa vogliono le aziende”) dove si menzionano gli esiti di un progetto McKinsey (Education to Employment) e del progetto 21st Century Skills. L’articolo di Salmeri cita i pedagogisti e il Parlamento Europeo come promotori di questa “riforma”. Non escluderei che ad essi vada aggiunto anche qualche attore internazionale che pure spinge in quella direzione.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.