INVALSI presenta ogni anno i suoi numeri come scienza. Non lo sono. Dietro la patina di neutralità c’è un modello statistico che finge che classe, scuola e territorio non contino nulla. Comodo, perché così colpe e meriti ricadono tutte sui singoli studenti che non raggiungono “i traguardi” (quali??) e sugli insegnanti che insegnano male. E poi c’è un potere che risponde solo al Ministro, senza controlli parlamentari, non pubblica i dati grezzi (come fanno Istat e Banca d’Italia), nasconde prove, metodi e rapporti. Non è un istituto scientifico. È potere che si finge sapere.
Nella tradizione della filosofia contemporanea, riconducibile tra gli altri a Foucault, quello della
valutazione è in verità un potere che finge di essere un sapere. Questo punto di vista è sostenuto
anche dal secondo Heidegger, per il quale l’atto di “porre valori” equivale a instaurare un dominio.
Quindi sarebbe importante, in ogni esercizio di valutazione, precisare quali sono gli outcome del
processo da valutare, e soprattutto perché si scelgono quegli outcome e non altri. Ogni oggetto del
pensiero ha una sua genealogia.
Tecnicamente, sotto il profilo metodologico, i risultati elaborati e diffusi dall’INVALSI sembrano essere affetti da numerose distorsioni. Come nell’indagine dell’OCSE PISA, a cui l’INVALSI si ispira, viene utilizzato un modello a un livello secondo l’Item
Response Theory. Tuttavia, successivamente alla stima delle abilità individuali tramite modelli IRT, l’elaborazione dei punteggi dovrebbe sempre tener conto della struttura gerarchica dei dati mediante modelli multilivello, ampiamente noti ed utilizzati in tutti gli ambiti di indagine in cui le unità di base possono essere aggregate secondo uno schema gerarchico. Per intenderci, lo
schema nel nostro caso sarebbe: studente, classe, plesso, istituzione scolastica. Poi i punteggi dell’istituzione scolastica (ad esempio, il Liceo Classico di Praia a Mare) possono essere ulteriormente aggregati per ambito geografico o per tipologia di scuola. La letteratura dimostra che esistono l’effetto classe, l’effetto plesso, l’effetto scuola e i derivanti effetti di interazione (anche lo stesso INVALSI, nella sua collana di approfondimenti, lo ammette).
L’effetto scuola a cui ci riferiamo è un oggetto concettuale diverso da quello che l’INVALSI chiama “effetto scuola”. Per noi l’effetto scuola non si esaurisce nell’incremento (auspicabile) delle competenze individuali, ma è qualcosa di più ampio e più sfumato (per fare un esempio letterario, quello descritto da Edoardo Albinati ne “La scuola cattolica”, Premio Strega 2016). In effetti è facile comprendere che l’apprendimento disciplinare, la maturazione delle personalità e, nei gradi più alti dell’istruzione
scolastica, quella dei cittadini, sono processi collettivi, non esclusivamente individuali (alla faccia dell’individualismo metodologico, dell’utilitarismo e di tutte le altre scuole di pensiero che Marx liquidò a suo tempo come “materialismo volgare”). E non possono essere colti dall’aggregazione per somma algebrica dei punteggi individuali.
D’altra parte, l’INVALSI non è un istituto scientifico vero e proprio, ma un ente pubblico con funzioni scientifiche sottoposto al controllo del potere esecutivo. Il Presidente e il Consiglio di Amministrazione sono nominati direttamente dal Ministro, e non devono essere “approvati” dal Parlamento come nel caso dell’Istat. Ciò può essere alla base di alcune distorsioni nell’elaborazione dei dati, oltre che di scelte curiose nella costruzione del sistema di valutazione.
Ad esempio, l’INVALSI misura i risultati in italiano, matematica e inglese, e non quelli in materie come storia ed educazione civica. La scelta di concentrare la valutazione standardizzata su alcune competenze e non su altre riflette inevitabilmente una precisa concezione della scuola. Ora, ciò non stupisce, essendo l’INVALSI stato istituito da Luigi Berlinguer e poi potenziato e reso operativo dalla triade Berlusconi-Gelmini-Tremonti in concomitanza con la riforma delle scuole del 2009.
Quanto maggiore è l’autonomia scientifica dell’ente produttore, tanto maggiore è la credibilità che le sue scelte metodologiche siano motivate esclusivamente da criteri metodologici, soprattutto quando gli indicatori prodotti orientano direttamente le politiche pubbliche. Più in generale, il tecnocrate “attacca il somaro dove vuole il padrone”, oppure è egli stesso il padrone (come fu per Corrado Gini all’Istat, Pasquale Saraceno e Alberto Beneduce all’IRI, Enrico Mattei all’ENI, etc.).
Sarebbe poi interessante che l’INVALSI mettesse a disposizione del pubblico i dati di base, opportunamente anonimizzati. Già lo fa, ci si dirà, ma occorre fare domanda ed ottenere l’autorizzazione dell’ente stesso. Poiché le prove INVALSI incidono in misura crescente sul dibattito pubblico e sulle politiche scolastiche, sarebbe auspicabile una politica di open science più avanzata. La disponibilità di microdati completamente anonimizzati, liberamente scaricabili, consentirebbe analisi indipendenti, repliche degli studi dell’istituto e un più ampio scrutinio pubblico delle metodologie adottate. Addirittura la Banca d’Italia mette a disposizione i dati riferiti alle singole unità statistiche rilevate nell’Indagine sul risparmio, il patrimonio e il reddito delle famiglie italiane, resi opportunamente anonimi, sul proprio portale, dal quale chiunque li può scaricare liberamente, senza registrarsi e fornire motivazioni. Questa politica ha favorito un enorme numero di lavori scientifici, anche internazionali (ad esempio, questi microdati sono usati in moltissimiarticoli scientifici sulla distribuzione del reddito italiano). Anche l’Istat è oggi più aperto
dell’INVALSI, dato che prevede forme di diffusione diretta di microdati anonimizzati. Questa della pubblicità dei microdati è, ad ogni modo, una questione politica da approfondire.
Inoltre, il rapporto INVALSI indica che la rilevazione è totale, ma alcune elaborazioni sono effettuate su un campione probabilistico a due stadi, con stratificazione delle unità di primo stadio. Questo è positivo ma, trattandosi di campioni, si dovrebbero anche mostrare gli intervalli di confidenza, che sono un indicatore dell’incertezza della stima. Da quanto sommariamente scritto nell’ultimo rapporto, e precisato nei parafernalia di corredo all’indagine, si tratterebbe di cross-
section ripetute. È ben noto che la varianza della stima di una differenza richiede una numerosità campionaria assai più elevata che nel caso della stima di una media, quindi le variazioni anno su anno richiedono una numerosità campionaria più ampia di quella che riguarda la stima di una media. Ogni studente universitario che abbia seguito un corso di statistica avanzato sa che inquesti casi sarebbe preferibile usare campioni longitudinali, meglio se ruotati. Inoltre, poiché il campione è complesso, la media campionaria semplice non coincide con la media della popolazione e occorre utilizzare stimatori pesati che incorporino il disegno campionario per ottenere stime rappresentative della popolazione.
Ma l’aspetto più importante riguarda il calcolo dei punteggi individuali degli studenti. I Rapporti annuali sono sostanzialmente scevri di dettagli metodologici. Sembrerebbe che questi siano esposti principalmente in un Rapporto tecnico del 2018, oltre che dispersi tra i 71 working paper pubblicati sul sito dell’istituto, non risultando quindi facilmente scovabili. Il cittadino standard (ma anche quello colto, pure laureato in discipline scientifiche) deve investire un bel po’ di tempo per capire bene. Quindi, in linea di principio, si fida, oppure rigetta in toto i risultati. Occorre anche intendersi su cosa si indichi con il termine metodologia. Sarebbe importante riuscire ad avere immediata contezza dell’affidabilità delle stime ottenute, oltre che del metodo statistico
concretamente utilizzato. Tra i modelli IRT vi è un’ampia gamma di scelte possibili. La nostra impressione è che l’INVALSI non utilizzi più di tanto il principio di giustificazione sotto il profilo statistico metodologico; assai ampia è invece la spiegazione/giustificazione degli aspetti legati alla costruzione dei singoli item (e questo è assai commendevole, va da sé).
In sintesi, l’INVALSI rappresenta un esempio significativo di come una tecnica di misurazione possa essere utilizzata come strumento di governo e di esercizio del potere, analogamente a quanto avviene per molte scienze sociali nella loro versione mainstream. Le valutazioni, come anche le statistiche economiche e sociali, costituiscono inevitabilmente una rappresentazione
selettiva dei fenomeni osservati, in quanto ogni indicatore richiede scelte precise sugli aspetti da misurare e si fonda su specifici riferimenti teorici. Per questo motivo, è importante che tali presupposti siano dichiarati in modo esplicito, così da rendere trasparenti i criteri che orientano la costruzione e l’interpretazione degli indicatori. Un esempio è la stima del PIL, il cui ancoraggio teorico principale è dato dalla teoria keynesiana, come illustrato nell’opera pionieristica di Benedetto Barberi.
Nelle Nozze di Figaro il protagonista dice “l’arte schermendo/l’arte adoprando/di qua schermendo/di là scherzando/tutte le macchine rovescerò”. Mozart si riferisce alla forza del pensiero illuminista-borghese che travolge l’ancien régime. Duecentocinquanta anni dopo dovremmo avere la forza per rovesciare le macchine del dominio neocapitalista.
