AVA: un grave difetto del test “Collegiate Learning Assessment” [CLA]

Come i nostri lettori già sanno,  l’ANVUR ha lanciato in dodici atenei la sperimentazione di un nuovo test per valutare le “competenze generaliste” dei laureandi. Se la sperimentazione avrà successo, a partire dal 2014 i risultati di questo test verranno utilizzati per l’accreditamento degli atenei e ai fini dei finanziamenti “premiali”. L’ANVUR ha deciso di adottare un test “generalista” composto sia di domande a risposta aperta che di domande a risposta chiusa, il  CLA plus, di proprietà dell’organizzazione statunitense CAE (Council for Aid to Education). Ma quali sono le basi scientifiche di questo test? Di seguito, pubblichiamo la traduzione di un dettagliato articolo che diagnostica nel test CLA “una patologia grave, se non fatale”.

_____________________________

A Serious Flaw in The Collegiate Learning Assessment [CLA] Test

is originally published in Informal Logic, Volume 33, Number 3 (September, 2013)

www.informallogic.ca

Kevin Possin

Professor Emeritus

Department of Philosophy

Winona State University

President

The Critical Thinking Lab

kpossin@winona.edu

Traduzione di Giuliano Antoniciello. 

 Abstract

Il test “Collegiate Learning Assessment” (CLA) è diventato popolare e molto raccomandato: viene spesso lodato per la sua affidabilità e validità. In questo articolo sostengo che, sebbene il CLA possa essere una buon esame per misurare la capacità di pensare in modo critico, di problem solving e di affrontare ragionamenti logici, il modo di formulare i punteggi delle risposte degli studenti alle domande del test toglie ogni validità al CLA.

Il “Collegiate Learning Assessment” (CLA) ha ricevuto molta buona pubblicità. È persino comparso in una striscia del fumetto Doonesbury. La “Spellings Commission on the Future of Higher Education” (2006) ha proposto di usare il CLA come strumento per ottenere una migliore “rendicontazione” del sistema di istruzione superiore, con lo scopo di assicurarsi che nessuno studente, alle soglie della laurea, rimanga – per così dire – indietro. Arum e Roksa, nel loro Academically Adrift (2011), hanno usato i risultati del CLA applicato a 24 centri di formazione professionale e atenei di vario tipo per misurare i miglioramenti degli studenti nella capacità di pensare in modo critico, di ragionare e di scrivere. Per queste capacità gli autori hanno scoperto che in media il guadagno è paurosamente scarso nei primi due anni di studi universitari (solo 0.18 volte la deviazione standard), con il 45% degli studenti che addirittura, dal punto di vista statistico, non mostra alcun miglioramento significativo. (p. 35).

Queste sono soltanto alcune fra le molte, notevoli affermazioni che sono state fatte utilizzando come prove a sostegno i risultati del CLA. Ma quanto vale la bontà di questo test nel misurare ciò che i suoi autori hanno sostenuto, al “Council for Aid to Education” (CAE), che esso misuri, cioè la capacità di pensare criticamente, di ragionare in modo analitico, di risolvere problemi e di utilizzare la lingua scritta per comunicare?

Non si può criticare il fatto che il CLA si focalizzi su questi punti. Il CAE dice bene quando afferma che queste capacità sono parte di una nostra “cultura comune”, “essenziale nell’economia della conoscenza” e “nocciolo praticamente di tutte le affermazioni sulla missione degli istituti di istruzione superiore e delle università” (Benjamin et al., 2009, p. 2). L’”Higher Education Reserch Institute” ha scoperto (2009) che i professori concordano: il 99% di loro ritiene che il pensiero critico sia “molto importante” o “essenziale”, mentre l’87% formula giudizi simili sulla capacità di scrivere in modo efficace.

In che modo il CLA misura l’acquisizione e il potenziamento di queste capacità cognitive così cruciali? Lo fa attraverso domande aperte, basate su situazioni attinte dal mondo reale e incentrate sul concetto di prestazione. Si sostiene che il CLA valuti queste capacità olisticamente, differenziandosi quindi dalle prove a risposta multipla, il cui tentativo di “definire il pensiero critico come un insieme discreto di sotto-capacità che possono essere smontate e separate, e quindi riordinate su una serie di dimensioni”. A questo proposito il CAE si domanda scetticamente: “Quali sono queste parti che costituirebbero il pensiero critico? E inoltre, può la capacità di risolvere problemi essere smontato in pezzi più piccoli e più facili da gestire?” (Benjamin et al., 2009, p. 22).

Il CLA è costituito da tre formati: un “Performance Task” [prova di prestazione] e due “Analytic Tasks” [prove analitiche]: “Make-an-argument” [costruisci una discussione] e “Critique-an-argument” [critica una discussione], precedentemente chiamata “Break-an-argument” [smonta una discussione]. Ognuna di queste prove è costruita per misurare quanto bene gli studenti valutano e analizzano le informazioni e giungono alle conclusioni sulla base di quella analisi. Il CAE ha pubblicato le categorie generali che usa per assegnare i punteggi alle prestazioni degli studenti in ciascun tipo di prova, per esempio in termini di quanto bene gli studenti valutano la rilevanza e la forza di un indizio, riconoscono le argomentazioni fallaci, riconoscono gli errori di logica (per esempio, confondere una semplice correlazione con un rapporto di causalità), costruiscono argomentazioni convincenti, selezionano quelle più robuste a sostegno delle proprie conclusioni, esaminano criticamente le posizioni alternative, riconoscono la complessità di un problema e  ammettono la mancanza di una risposta chiara (Benjamin et al., 2009, p. 42).

Per vedere quanto successo abbia il VLA nel raggiungere i propri obiettivi, cioè misurare queste capacità di pensiero critico, iniziamo esaminando la “Performance Task”, la prova di spicco fra le tre previste dal CLA – è quella utilizzata da Arum e Roska, in Academically Adrift (2011), e che è stata consigliata dalla Commissione Spellings (2006).

Sul lato destro delle schermate (fisse), agli studenti viene dato accesso a un Archivio di Documenti, composto da varie fonti di informazioni, come lettere, rapporti di ricerca, ritagli di giornale, diagrammi, tabelle e grafici, che essi dovranno usare nella preparazione delle proprie risposte alle domande che appaiono sul lato sinistro delle schermate, insieme a un casellario in cui gli studenti devono segnare le risposte entro 90 minuti.

Di seguito si trova una porzione dell’esempio considerato, intitolato “Crime Reduction” [riduzione del crimine], fornito dal CAE nel proprio materiale promozionale aggiornato:

Pat Stone si è ricandidato alla carica di sindaco di Jefferson, una città dello stato della Columbia. L’oppositore del sindaco Stone in queste elezioni è il dottor Jamie Eager. Il dottor Eager è un membro del consiglio comunale di Jefferson. Tu sei un consigliere del sindaco Stone.

Il dottor Eager ha usato le seguenti tre argomentazioni nel corso di una recente intervista televisiva: primo, la proposta del sindaco Stone di ridurre i livelli di criminalità incrementando il numero di agenti di polizia è una cattiva idea. Il dottor Eager ha detto che “ciò condurrà soltanto a un aumento della criminalità”. Il dottor Eager ha portato a sostegno di questa argomentazione un grafico che mostra come le provincie con un numero di agenti di polizia per abitante relativamente alto tendono ad avere più criminalità di quelle con un numero più basso di agenti per abitante…

Il sindaco Stone ti ha chiesto di preparare un rapporto che analizzi i punti di forza e i limiti di ognuna delle tre principali argomentazioni del dottor Eager, compresa ogni lacuna in tali argomentazioni. Il tuo rapporto dovrebbe inoltre contenere le tue conclusioni su ognuna delle argomentazioni del dottor Eager, spiegare le motivazioni che ti hanno portato alle tue conclusioni e giustificare queste conclusioni portando i riferimenti specifici ai documenti, ai dati e alle affermazioni su cui esse si basano (Benjamin et al., 2009, p. 47).

La prima domanda assegnata agli studenti si riferisce all’affermazione del dottor Eager che assumere più polizia “condurrà soltanto a un aumento della criminalità”, affermazione basata sul grafico del dottor Eager. Agli studenti viene assegnato un punteggio a seconda che essi

1. siano d’accordo sull’affermazione che più polizia causa effettivamente più criminalità;
2. suggeriscano che “più criminalità possa richiedere più polizia”;
3. sostengano che la semplice correlazione non implica una relazione di causalità oppure che la relazione potrebbe essere inversa;
4. propongano una possibile causa comune ai due fenomeni.

Soltanto la prima alternativa è considerata sbagliata; le altre tre risposte possibili sono invece considerate corrette, ma devono essere formulare in termini di incertezza (Benjamin et al., 2009, p. 50).

D’altro canto, sono molto contento di constatare che la prima risposta (cioè essere d’accordo con il dottor Eager) sia considerata soltanto come palesemente sbagliata. Quando iniziai a studiare il CLA (Possin, 2008), fui colpito dal fatto che ogni risposta fosse accettata, a patto che lo scrivente avesse fornito qualche motivazione a sostegno, senza curarsi se avesse o no un suo potere giustificatorio. Agli studenti veniva chiesto di “Affrontare l’argomento da ogni punto di vista – nessuna risposta è corretta”. Queste premesse incoraggiavano dei sofismi, piuttosto che un pensiero critico; una analisi razionale al posto di una argomentazione motivata. I miei timori furono esplicitamente confermati in quel periodo da Marc Chun, Director of Product Strategy [direttore della strategia commerciale] del CAE, nel corso di una conferenza via Internet. In ogni caso, oggi questi timori non sono stati del tutto fugati, e la ragione è il modo in cui il CAE sostiene di sviluppare i suoi “Performance Tasks”: “Prestiamo particolare attenzione per assicurarci che vengano fornite informazioni sufficienti per consentire diverse soluzioni ragionate […] e per porre gli studenti nelle condizioni di formulare tre o quattro conclusioni diverse sulla base di un insieme variegato di indizi con cui corroborare ognuna delle proprie conclusioni. Di solito, prevediamo che alcune conclusioni si prestino più di altre a essere sostenute utilizzando il materiale fornito” (Benjamin et al., 2009, p. 40).

Comunque non è scontato che gli studenti siano effettivamente valutati in un modo che consenta di riconosce simili sfumature nella sicurezza con cui hanno usato i dati forniti per sostenere le loro conclusioni. Stando a quanto afferma il CAE, “La ‘possibilità’ è una parola chiave in questo contesto; gli studenti dovrebbero esprimere un’incertezza di fondo piuttosto che certezze nelle loro spiegazioni” (Benjamin et al., 2009, p. 50) riguardo alla correlazione tra la consistenza delle forze di polizia e la frequenza di atti criminali. Tuttavia l’”incertezza” da sola non è abbastanza: per gli studenti dire banalmente che il dottor Eager potrebbe avere torto, oppure che potrebbero esserci altre relazioni di causalità che spiegano quella correlazione, significa cadere in un calderone di luoghi comini. Del resto, dato che si tratta di un caso di ragionamento induttivo, l’errore è in ogni caso e per definizione logicamente possibile. Bisogna quindi offrire per questa correlazione delle spiegazioni alternative che siano più o meno probabili o plausibili, come per esempio che l’aumento di criminalità ha causato un aumento delle assunzioni di poliziotti. Allo stesso modo, se lo studente fornisce un’ipotesi che preveda come cause della correlazione dei fenomeni che si osservano comunemente, deve trattarsi di un’ipotesi plausibile e non semplicemente di una remota possibilità.

Esaminiamo ora la “Analytic Task” del tipo “Make-an-argument”.  Agli studenti viene data una traccia. L’esempio che viene attualmente fornito nel materiale promozionale del CAE è “I finanziamenti statali sarebbe meglio destinarli alla prevenzione della criminalità invece che usarli per affrontare le sue conseguenze” (Benjamin et al., 2009, p. 53). Gli studenti hanno a disposizione 45 minuti per considerare ogni posizione sull’argomento e per motivarla. I criteri per la valutazione del pensiero critico nelle loro risposte sono: “Esprimere chiaramente una posizione e sostenerla con indizi e prove, considerando punti di vista alternativi oppure opposti alla propria argomentazione, sviluppando motivazioni logiche e convincenti e mostrando profondità e complessità di analisi riguardo alle questioni sollevate nella traccia” (Benjamin et al., 2009, pp. 53-4).

Tutto questo è ottimo, se si pensa agli obiettivi della prova che stiamo esaminando. Il problema diventa tuttavia evidente quando si guarda più da vicino il genere di risposta che il CAE qualifica come “risposta di alta qualità” e sopratutto le sue “caratteristiche”. Di seguito riporto tale risposta (Benjamin et al., 2009, p. 54-5), con le mie critiche, paragrafo per paragrafo.

Il governo esercita il suo potere sui suoi cittadini per perseguire obiettivi sui quali ci sia un generale consenso all’interno della società. Un’importante funzione del governo americano, per esempio, è quello di proteggere “la vita, la libertà e la ricerca della felicità” dei suoi cittadini, una premessa sulla quale gli Stati Uniti sono stati fondati più di due secoli fa. Garantire questo “diritto inalienabile” attraverso l’azione di governo è però più facile a dirsi che a farsi. In generale, il governo agisce riscuotendo le tasse, applicando la legge e sostenendo le leggi che concordano con gli obiettivi prefissi. Violare queste leggi è, per definizione, un reato e le persone che commettono un reato sono criminali. Ma il significato della legge e le cause della criminalità sono complesse. A ben vedere non esiste una formula semplice per investire i dollari dei contribuenti e la frase precedente semplifica eccessivamente la difficoltà di affrontare il problema della criminalità. Se investire il denaro pubblico nella prevenzione della criminalità può portare qualche vantaggio, non è necessariamente vero che in questo modo il denaro sia “speso meglio” rispetto all’“usarlo per affrontare le […] conseguenze [della criminalità]”.

Se quest’ultima frase è la presa di posizione dello studente che scrive, allora è una posizione assai debole: il denaro speso per la prevenzione della criminalità potrebbe avere i suoi vantaggi ma potrebbe essere meglio spenderlo per mettere in galera i criminali. Ancora una volta siamo davanti a una banalità, un luogo comune, posto che la posizione assunta sia un’affermazione empirica. E il resto del paragrafo è semplicemente un riempitivo:

Le leggi sono il riflesso di credenze morali della società, cioè quello che noi collettivamente crediamo sia giusto o sbagliato. Queste credenze spesso cambiano nel tempo e persino a seconda delle comunità che si considerano all’interno di una più ampia società. Inoltre non tutte le leggi, oppure i crimini, ricevono lo stesso livello di applicazione. Per esempio, mentre potremmo essere universalmente concordi che certi atti violenti (come l’omicidio, lo stupro e la rapina a mano armata) sono davvero dei reati sulla cui prevenzione bisogna spendere molto, potremmo invece non essere d’accordo sull’opinione che altri reati (come i minori che bevono alcolici o i pedoni che attraversano la strada fuori dalle strisce pedonali) debbano meritare la stessa attenzione. E certe leggi che possono essere state importanti in passato o nel contesto normativo in cui furono scritte, possono non essere più rilevanti, nonostante restino scritte sui libri. Una volta date diverse interpretazioni sull’intensità e i cambiamenti nella natura della criminalità, può essere abbastanza difficile (e costoso) creare un programma che effettivamente prevenga la criminalità in tutte le sue forme. Così facendo si correrebbe il rischio di concentrarsi sui reati che non pongono alcuna minaccia significativa alla “vita, alla liberà e alla ricerca della felicità” oppure che, in futuro, non saranno affatto considerati reati. Per confronto, avere a che fare con i criminali dopo che hanno commesso un reato ha il vantaggio di concentrare le risorse su coloro che hanno violato per davvero le leggi esistenti nella società, in particolare quelle leggi che la società stessa ha deciso di sostenere con più efficacia. Questo approccio permette anche alla società di riconsiderare le leggi sulla base della loro rilevanza nella società dei giorni nostri (per esempio, attraverso i tribunali) nel momento in cui si verifica la loro violazione, così che il comportamento criminale possa essere ridefinito al modificarsi del concetto di morale.

Questo paragrafo attacca un’argomentazione fittizia: nessuno fra chi chiede di concentrare l’azione di governo sulla prevenzione della criminalità sostiene che il denaro dovrebbe essere speso per prevenire tutti i reati allo stesso modo, indipendentemente dalla loro gravità e senza alcuna considerazione circa la loro rilevanza. Ciò inoltre stabilisce una dicotomia inesistente: se si fosse in grado di prevenire tutti i reati, allora sarebbe opportuno concentrarsi sul reprimerne le violazioni qualora si verificassero. Inoltre, l’argomentazione usata dallo studente per sostenete il carcere contro la prevenzione si applica ugualmente bene alla tesi opposta, quella della prevenzione della criminalità – entrambi gli approcci ci consentono di “riconsiderare le leggi sulla base della loro rilevanza nella società dei giorni nostri”.

Inoltre, la prevenzione della criminalità richiede che siano comprese le ragioni per cui un reato viene commesso, così da poter capire come intervenire. Ma la criminalità è un fenomeno complesso, che scaturisce da molte, moltissime circostanze che riguardano la società nel suo insieme e i suoi membri. Questi fattori potrebbero dividersi secondo le distinzioni emerse nel classico dibattito della biologia “natura contro cultura” sulle determinanti delle scelte. Interpretando la criminalità secondo questo schema, possiamo chiederci: i criminali sono il risultato delle influenze dell’ambiente in cui vivono? Oppure i criminali nascono già destinati a commettere reati? Se i criminali sono il prodotto del loro ambiente, allora i programmi per la prevenzione della criminalità dovrebbero concentrarsi sulle cause prime della criminalità nella società. Ma quali sono queste cause prime? Posso essere dipanate da una combinazione di altri fattori? Tutte le persone sono sottoposte alle stesse cause, oppure è necessario che un programma di prevenzione della criminalità si adatti alle differenze fra gli individui per far sì che nessuno diventi un criminale? Investire in un vasto programma di prevenzione della criminalità che prendesse in considerazione tutte le cause del fenomeno e tutti gli individui con le loro differenze diventerebbe un proposito assai costoso. È difficile immaginare un programma che potrebbe effettivamente comportarsi in questo modo, qualunque sia il suo costo. Inoltre, concentrarsi su una delle cause prime della criminalità probabilmente innescherebbe una lunga serie di altre cause che necessiterebbero di altrettanta considerazione. Per esempio, se le rapine sono correlate agli alti tassi di povertà e all’abuso di droghe, allora la prevenzione per la criminalità richiede programmi efficaci indirizzati ai problemi della povertà e dell’abuso di stupefacenti. Ma anche questi problemi, a loro volta, sono complessi e correlati ai problemi dell’istruzione, della discriminazione, della salute mentale e così via. Dove dovrebbe fermarsi un programma per la prevenzione (e di conseguenza i finanziamenti statali)? Per contro, stando alle argomentazioni della “natura”, i criminali sono socialmente devianti fin dalla nascita. Concentrarsi sulla criminalità diventa allora un semplice problema di identificazione: trovare questi individui e rimuoverli dalla società per i reati che hanno commesso, senza alcun bisogno di preoccuparsi della società e dell’ambiente. Finché il numero di criminali è piccolo, il costo della separazione di questi individui dalla società (per esempio, mandandoli in prigione) sarebbe relativamente basso, e i fondi del governo potrebbero essere “spesi meglio” utilizzando questo approccio al problema.

Questo paragrafo è infestato da due false dicotomie: 1) che concentrarsi sulla prevenzione della criminalità significhi necessariamente “prendere in considerazione tutte le cause del fenomeno e tutti gli individui”, pena l’inutilità dell’azione, e 2) che la criminalità è esclusivamente dovuta alla natura oppure alla cultura. L’errore, che si trova al fondo di un piano scivoloso in cui è facile cadere, viene commesso anche quando lo studente domanda a che punto dovrebbero fermarsi i programmi di prevenzione della criminalità: si pone l’implicazione (erroneamente, appunto) che se è impossibile trovare tale confine in modo netto, allora si sia obbligati ad applicare questi programmi in modo assurdo a “tutte le cause del fenomeno e tutti gli individui”. Infine, nessuna argomentazione è fornita a sostegno della pretesa che il carcere sia meno costoso della prevenzione (a dire il vero, l’evidenza spesso dice il contrario): l’affermazione viene fatta semplicemente sull’assunto che “il numero di criminali è piccolo”. In ogni caso, sotto questa ipotesi, la prevenzione della criminalità sarebbe anch’essa assai meno costosa.

Ma da quello che ho capito il dibattito “natura contro cultura” è sempre molto acceso, portandomi a credere che nessuno dei due determini da solo il comportamento di un individuo. Mandare gli individui in prigione, perché sono nati criminali, vuol dire assumere che queste persone non possono diventare membri produttivi della società. Nega cioè a questi individui il loro “inalienabile diritto”, ragione per cui molti sono arrivati in America. Che questo sia o no il caso, tenere questi individui in prigione significa di conseguenza che la legge, e quindi la definizione di reato, non cambia mai. Una detenzione ingiusta nel nome della lotta alla criminalità non può mai essere considerata il “modo migliore” per spendere il denaro pubblico negli Stati Uniti.

Questa è un altro errore dovuto a un’argomentazione fittizia: nessun sostenitore dei programmi per la prevenzione del crimine propone di arrestare le persone prima che commettano un reato o a prescindere da una loro effettiva violazione della legge. Sarebbe questa una situazione simile a quella del film Minority Report, nel quale dei preveggenti prevedono gli atti criminali con affidabilità praticamente perfetta, allo scopo di prevenirli.

Né gli investimenti nella prevenzione della criminalità, né gli investimenti nella lotta ai criminali da soli possono essere concentrati facilmente sul problema della criminalità nella nostra società. Saranno invece necessarie alcune loro combinazioni, insieme agli investimenti in altri interventi sociali, se si vuole affrontare con efficacia il problema della criminalità. Più in generale, il modo di spendere il denaro pubblico per raggiungere l’obiettivo, certamente complesso, di proteggere il diritto “alla vita, alla libertà e alla ricerca della felicità” dei cittadini, lo si può definire meglio attraverso l’interazione continua fra il legislatore, le Forze dell’Ordine, i tribunali e i cittadini, proprio come è avvenuto per più di 200 anni.

Qui lo studente prende finalmente e per davvero una sua posizione: cioè che dovrebbe essere usato un misto di prevenzione e carcere, insieme agli “altri interventi sociali”. Questa è una posizione ragionevole e ricca di sostanza, la quale avrebbe dovuto trovarsi nel primo paragrafo e che non è mai stata sostenuta nel testo. Lo studente, comunque, si rimangia tutto immediatamente affermando che la questione della lotta alla criminalità e della relativa spesa di denaro pubblico dovrebbe essere semplicemente lasciata al legislatore, alle Forze dell’Ordine, ai tribunali e agli elettori. Aspetta un attimo: le istruzioni dicevano che tu avresti dovuto prendere una posizione e argomentarla!

Mi spiace dire che dopo aver letto la risposta di questo studente mi sono sentito preso per il culo [nel testo originale, “bullshitted” N.d.T] (Frankfurt, 2005). E dopo aver letto articoli per 26 anni penso di accorgermi quando lo fanno. Suonava proprio bene, vero? Peccato che fosse solo retorica, non argomentazioni razionali e pensiero critico.

Per ultima esaminiamo l’“Analytic Task” del tipo “Critique-an-Argument”. Allo studente vengono date istruzioni per rivedere in modo critico la questione esposta nella traccia. L’esempio nella versione aggiornata del materiale promozionale del CAE è la seguente.

Il numero di matrimoni che finiscono con un divorzio continua ad aumentare. Una larga percentuale di essi è rappresentata dalle nozze celebrate a giugno. Dato che i matrimoni a giugno sono così popolari, le coppie finiscono per impegnarsi per un tempo più lungo soltanto per poter celebrare le nozze nei mesi estivi. Il numero di divorzi aumenta con gli anni, e le ultime notizie dicono che finirà in un divorzio più di un matrimonio su tre. Pertanto, se volete un matrimonio che duri per sempre, la cosa migliore da fare è prevenire un divorzio. Quindi è un buon consiglio per le giovani coppie quello di impegnarsi per un tempo più breve e scegliere un mese diverso da giugno per un matrimonio (Benjamin et al., 2009, p. 58-9).

Viene subito fuori un problema interessante leggendo le istruzioni piuttosto elaborate che vengono fornite allo studente in questa prova (a un livello più basso, questo problema affligge anche le altre due prove). Allo studente viene chiesto di:

Discutere:

• ogni eventuale punto debole nell’argomentazione fornita
• ogni eventuale ipotesi che possa essere messa in discussione
• ogni eventuale informazione mancante
• ogni eventuale incongruenza

… Sarai giudicato in base a quanto bene riuscirai a:

1. Spiegare ogni punto debole nella posizione assunta dall’autore
2. Organizzare, sviluppare ed esprimere le tue idee
3. Sostenere le tue idee con ragionamenti rilevanti e/o esempi
4. Padroneggiare gli elementi dell’Inglese scritto standard (Benjamin et al., 2009, p. 58)

Dicendo esplicitamente agli studenti di mostrare questi aspetti del pensiero critico, la loro predisposizione a esibirli di propria iniziativa non viene quindi valutata. Comunque, nei confronti del dilemma che il CAE qui affronta sono comprensivo: tutti detesterebbero la spiacevole circostanza di vedere gli studenti partire per la tangente e ritrovarsi senza alcuna valutazione delle loro capacità di pensiero critico; d’altra parte, un aspetto cruciale delle capacità di pensiero critico è proprio sapere “quando” e non soltanto “come” applicarlo.

Piuttosto che fornire un’ulteriore analisi dettagliata della risposta “di alta qualità” esemplare individuata dal CAE, dirò soltanto che questa volta la risposta metteva abbastanza bene in evidenza il fatto che ciò di cui abbiamo bisogno sono delle informazioni sulle proporzioni relative (e non semplici numeri) se vogliamo cercare indizi di una correlazione dei divorzi con le nozze di giugno; e inoltre che quella correlazione non avrebbe lo stesso significato di una relazione di causalità.  Ma lo studente (o la studentessa) ha ripetutamente formulato la sua obiezione dicendo semplicemente che l’affermazione che si trova nella traccia potrebbe essere errata e che potrebbero esserci delle spiegazioni alternative per questa possibile correlazione e del perché le coppie tendano a posticipare le nozze. Ancora una volta, il semplice fatto di puntualizzare che un’affermazione empirica possa essere sbagliata non è che un luogo comune, così come lo offrire una alternativa che sia soltanto possibile. Bisogna invece presentare una alternativa che sia anche plausibile per poter sollevare una critica legittima; questo perché, dopo tutto, le conclusioni di un qualunque ragionamento induttivo possono essere false (per definizione), anche se le loro premesse sono vere.

Nel corso di una teleconferenza che si è tenuta di recente, con la partecipazione di Jeffrey Steedle e Marc Chun per il CAE, queste mie critiche sono state definite “ad hoc”. Questa accusa mi ha lasciato perplesso, perché avrebbe voluto dire che le mie critiche non avevano alcuna prova indipendente a sostegno. Ma la prova testuale che stavo utilizzando era quella stessa risposta che il CAE aveva fornito attraverso il suo materiale promozionale. Se c’era qualcosa di creato “ad hoc” questa era proprio la loro accusa nei miei confronti. Può darsi che ciò che essi intendevano fosse che io avevo tratto una conclusione affrettata basandomi su un campione troppo piccolo. Il problema è che io non stavo usando un pericolosamente piccolo campione qualsiasi: quello che stavo usando era ciò che essi stessi avevano presentato come esempio rappresentativo di  una risposta studentesca di “alta qualità”. Non posso che dedurre che qui qualcuno non ha idea di che cosa voglia dire “ad hoc”. E questo mi porta quindi alle mie conclusioni.

Dopo questa analisi del CLA, penso di aver scoperto una debolezza importante, forse fatale, annidata fra i suoi numerosi punti di forza. I suoi obiettivi sono encomiabili, come misurare le capacità di alto livello degli studenti di utilizzare il pensiero critico, il ragionamento analitico, il problem solving e il linguaggio scritto: tutte cose indispensabili per un’istruzione di alto livello. E le categorie (Benjamin et al., 2009, pp. 41-3), così come i criteri per i punteggi del CLA (CAE, 2011a) che sono stati utilizzati per valutare l’applicazione e il miglioramento di quelle capacità degli studenti risultano in fin dei conti azzeccati. Pertanto, sembra che i valutatori vogliano cercare gli elementi giusti nelle risposte degli studenti. Solo che, in base ha quanto ho trovato, non lo stanno facendo molto bene. Ricordo i criteri per il pensiero critico che i valutatori useranno per assegnare un punteggio alle risposte della prova “Make-an-argument: “Esprimere chiaramente una posizione e sostenerla con indizi e prove, considerando punti di vista alternativi oppure opposti alla propria argomentazione, sviluppando motivazioni logiche e convincenti e mostrando profondità e complessità di analisi riguardo alle questioni sollevate nella traccia” (Benjamin et al., 2009, pp. 53-4). Ma mentre i valutatori sono convinti (com’è ovvio) che questi criteri siano stati rispettati, nei fatti essi stanno un gran numero di errori banali, cadendo spesso nelle trappole dei luoghi comuni. Si stanno facendo fuorviare da critiche e ragionamenti che semplicemente non sono convincenti. Come può accadere una cosa del genere?!

Ritengo che la risposta sia che i valutatori non riescono a vedere gli alberi che compongono una foresta. Sono stati formati per tener conto soltanto di un punto di vista olistico del pensiero critico, trascurando quelle componenti delle capacità del pensiero critico che sono spesso al centro delle prove a risposta multipla, così denigrate dal CAE. All’inizio avevo fatto notare quanto fosse scettico il CAE sulla possibilità di chiarire queste componenti delle abilità di pensiero critico, cioè di chiarirle sufficientemente per essere studiate e valutate. Ma è una cosa che molti di noi facciamo quotidianamente, nei dipartimenti di filosofia di tutto il mondo, quando insegnano nei corsi di pensiero critico e di logica informale. Insegniamo agli studenti come identificare e dissezionare i ragionamenti, come classificare scientificamente i ragionamento in induttivi o deduttivi, in modo da mettere in pratica un’adeguata opera di persuasione per sostenere le loro valutazioni e per identificare ed evitare gli errori più popolari (formali e informali) che si commettono quando questa opera di persuasione adeguata non è (Possin, 2002a). Dopodiché insegniamo agli studenti anche come sintetizzare e come applicare tutte queste abilità, che compongono il pensiero critico,  nel compito olistico di scoprire e portare argomenti a sostegno della posizione più razionali possibile su un qualunque argomento, riconsiderando allo stesso tempo in modo critico le posizioni opposte (Possin, 2002b). Quest’ultima attività (valutazione olistica) non può essere condotta se prima non si è appreso come è composto il pensiero critico, così come non si può costruire una scalinata di mattoni senza usare i mattoni.

Ma allora, chi è l’autore delle risposte chiave? Chi valuta le risposte degli studenti alle prove del  CLA? L’ho chiesto a Jeffery Steedle, Measurement Scientist al CAE. Riporto qui il nostro scambio di mail sull’argomento:

[KP] Sarei curioso di sapere qualcosa sul retroterra formativo, sui campi di specializzazione degli autori dei Performance Tasks e sugli autori delle rispettive risposte paradigmatiche che vengono utilizzate per dare un punteggio comparativo che tenga conto di quanto vengano rispettati i criteri riportati nelle varie categorie di valutazione. So che i valutatori vengono da aree scientifiche diverse e che sono stati formati per assicurare una maggiore affidabilità. Ma quelli che mi interessano particolarmente sono le competenze e i percorsi formativi di coloro che scrivono le risposte che i valutatori imparano a cercare fra quelle fornite dagli studenti.

[JS] Di solito non scriviamo “risposte paradigmatiche”. Quando facciamo formazione ai valutatori, mostriamo loro delle risposte vere fornite dagli studenti e le usiamo come esempi per ogni livello della scala dei voti (da 1 a 6, su più scale). Diamo loro anche un documento che noi chiamiamo “caratteristiche della risposta”, che classifica le idee (quelle sensate) che gli studenti potrebbero discutere nelle risposte. Questo documento è stato originariamente creato dalla persona che ha sviluppato la prova, ma viene comunemente aggiornato alla luce di quello che troviamo nelle risposte degli studenti. Non è una lista esaustiva, e ai valutatori viene comunque lasciato un certo margine per premiare altri punti di vista sensati che gli studenti potrebbero presentare nei loro ragionamenti.

Gli sviluppatori sono persone che sono state formate proprio per sviluppare le prove tenendo conto delle nostre specifiche. Per lo più si tratta di un misto di measurement professionals che fanno capo al CAE e di valutatori che hanno già esaminato le prove del CLA. La maggior parte dei valutatori hanno un retroterra culturale nelle discipline umanistiche (soprattutto letteratura inglese e scrittura creativa) oppure nell’insegnamento. Sono suddivisi grosso modo in due categorie, chi ha un master e chi un dottorato. Un requisito è quello di avere già accumulato esperienza nella valutazione degli studenti universitari.

Quindi gli autori di prove e risposte, così come i valutatori, provengono da campi diversi, come valutazione, inglese e insegnamento; ma non logica applicata. Dal momento che lo stesso CAE si vanta di valutare ciò che il 99% dei professori ritiene essere capacità essenziali per il pensiero critico, sarebbe stato naturale chiedere alla RAND Corporation uno studio di fattibilità e di validità procedurale sul CLA usando il variegato gruppo di facoltà (ben 41) coinvolte, come quelle delle scienze sociali (9), di inglese (8), delle scienze fisiche (7), di filosofia (4), di matematica (4), di storia (2), di belle arti (2), di giurisprudenza (1) e di altre discipline ancora (2) (Hardison & Vilamovska, 2009, p. 20). Ma come ha scoperto Richard Paul (1995), i professori universitari “di pensiero critico ne sanno poco e non sono in grado di insegnarlo, e quel poco che pensano di sapere è sbagliato”. Qui di seguito un piccolo estratto del lavoro di Paul:

Nonostante la stragrande maggioranza [dei docenti] (89%) abbia sostenuto che il pensiero critico costituisce un obiettivo primario del loro percorso formativo, solo una ristretta minoranza di esse (19%)  ne ha saputo dare una definizione chiara. Oltretutto, a giudicare dalle loro risposte, soltanto il 9% di esse poteva vantare insegnamenti reali e quotidiani, cioè nelle aule, sul pensiero critico… Quando fu chiesto loro in che modo esse presentassero il concetto di verità, un sorprendente 41% di coloro che risposero alle domande affermò che la conoscenza, la verità e una sana capacità di giudizio sono più che altro un fatto di convinzioni personali o di gusti soggettivi… [S]olo una piccolissima minoranza fu in grado di spiegare con chiarezza i concetti di base del pensiero critico. Per fare un esempio, solo l’8% riuscì a fare una chiara distinzione tra inferenza e implicazione.

La mia esperienza personale conferma i risultati ottenuti da Paul; ad esempio, dopo decenni di lavoro nelle commissioni degli atenei, non mi è ancora successo di concludere una seduta senza essermi segnato almeno uno svarione di logica commesso dai professori presenti in aula; appunti che poi condivido con gli studenti del mio corso di Critical Thinking e aggiungo alla strabordante raccolta di esercizi del mio Critical Thinking Software (Possin, 2002a).

Di conseguenza, fare uno studio di validità per sapere se la propria squadra di valutatori sta misurando accuratamente le capacità di pensiero critico utilizzando come pietra di paragone il giudizio di un altro gruppo di professori è come, per dirla con Wittgenstein (1953, §265), andare a comprare molte copie di giornali scandalistici per capire se le loro storie sugli UFO sono vere.

Perché il CAE, quando si tratta dei valutatori del CLA, non ritiene qualifiche sufficienti avere una laurea e “esperienza nella valutazione degli studenti universitari”? Perché essi credono che l’esperienza accumulata nell’acquisire, applicare e valutare le capacità di pensiero critico si possa ottenere semplicemente imparando ogni singola disciplina “ad alto livello ed entro il suo preciso contesto”; credono anche che questo punti di vista sia “sostenuto da risultati della ricerca”. Secondo il CAE, “attraverso l’esperienza fatta in una particolare area scientifica, la conoscenza acquisita diventa sufficientemente generalizzata da consentire il suo trasferimento nel campo del ragionamento potenziato, del problem solving e del decision making, cosa che può essere dimostrata settorialmente” (CAE, 2011b). Posso solo augurarmi che l’acquisizione di capacità di pensiero critico così generiche e trasferibili sia davvero così facile da ottenere!

Ma quali “risultati della ricerca” hanno portato il CAE a credere che questo sia il modo in cui le abilità di pensiero critico vengono misteriosamente acquisite? Fanno riferimento a (Shavelson & Huang, 2003) e a (Klein et al., 2005), che però non contengono alcuna ricerca emprica sulle abilità di pensiero critico e sulla loro acquisizione, ma che a loro volta rimandano a (Brandford et al., 2000). In ogni caso, là ci viene detto che (le citazioni le ho scelte secondo miei criteri di importanza):

• •                  La conoscenza che è eccessivamente contestualizzata può ridurre la capacità di trasferirla… (p.53)
• •                  Un modo di affrontare la scarsa flessibilità [di un sapere settoriale] è quello di chiedere a cui impara di risolvere problemi specifici e di trovare altri problemi simili; l’obiettivo è aiutarli ad astrarre dei principi generali… (p.62)
• •                  Il trasferimento è reso più efficace da istruzioni che aiutino gli studenti a vedere i problemi con un grado maggiore di astrazione. (p. 63)
• •                  Il trasferimento può essere migliorato aiutando gli studenti ad acquisire la consapevolezza di essere attivamente impegnati nel monitoraggio delle proprie strategie di apprendimento e delle proprie risorse [per esempio, usando la metaconoscenza (sapere di sapere)] … (p.67)

Questa ricerca indica infine che gli studenti hanno bisogno di molto aiuto per fare pratica delle abilità che compongono la capacità di pensiero critico, entro molti contesti, con lo scopo di rendere queste abilità abbastanza generalizzate da diventare trasferibili e applicabili. Questo è esattamente il tipo di istruzioni e di esercizi che gli studenti ricevono in un corso appositamente dedicato al pensiero critico o alla logica informale, nei quali le abilità che compongono il pensiero critico vengono studiate in numerosi contesti e applicate infine in maniera olistica ad argomenti molteplici. La capacità complessiva di pensiero critico non è statisticamente potenziata da corsi a contenuto specifico, come per esempio l’introduzione alla filosofia, né da corsi senza contenuti specifici, come per esempio quelli di logica simbolica (Possin, 20089. Marcus Gillespie (2012) lo ha dimostrato di recente alla Sam Houston State University, usando il Critical Thinking Test [CAT]: il corso di base, Foundation of Science (un corso di pensiero critico dedicato allo studio esplicito del ragionamento induttivo e scientifico nel contesto di problemi di diverse discipline) ha rafforzato la capacità di pensiero critico degli studenti più di quanto abbiano fatto 4 anni di istruzione universitaria per gli studenti che non hanno seguito questo corso. Altri corsi scientifici con contenuti specifici, come i corsi introduttivi di chimica, biologia e fisica (che Gillespie ha usato come gruppi di controllo) non hanno mostrato alcun guadagno statisticamente rilevante. Quanto basta, quindi, per lasciare il compito di incrementare magicamente la capacità di pensiero critico all’”immersione” e al “pensiero critico trasversale al curriculum”.

Lasciatemi segnalare un’eccezione che in realtà eccezione non è: con la semplice aggiunta di un corso di pensiero critico separato, dedicato e generale al suo corso di psicologia generale, Tom Solon (2006) riuscì a dimostrare un miglioramento impressionante  nella capacità di pensiero critico dei suoi studenti, così come viene misurata dal Cornell Critical Thinking Test Level Z (Ennis & Millman, 1985).

Ciò che voglio dire è che per aumentare la capacità di pensiero critico degli studenti, essi dovrebbero studiare deliberatamente ed esplicitamente il pensiero critico con l’assistenza di chi possiede effettivamente una certa esperienza in materia. E il solo fatto di possedere una laurea è una prova assai debole per dimostrare di aver acquisito questa esperienza. Pertanto, ciò di cui ha bisogno il CAE è assicurarsi che i propri autori e valutatori siano realmente esperti sia della grande varietà di componenti del pensiero critico, sia della loro composizione e della loro applicazione olistica ai progetti di costruzione delle decisioni razionali, di problem solving e di scrittura di articoli in cui, oltre a prendere posizione, gli studenti esaminino le tracce in modo critico utilizzando argomentazioni convincenti invece che fittizie. Il personale del CAE dovrebbe essere composto di ottimi measurement scientists, assicurando così l’affidabilità del CLA; sembra però che essi abbiano mancato il punto, cioè la validità del CLA, misurando la capacità retorica al posto di quella di un vero e proprio pensiero critico.

Un’ultima questione che voglio affrontare qui è il fatto che le prove del CLA sono normalmente valutate tramite un computer; i valutatori ricontrollano i punteggi assegnati dal computer, ma soltanto per il 10% delle risposte degli studenti. Il CAE cerca di rassicurarci, affermando che “i punteggi del CLA assegnati dal computer sono accurati come  (e in certi casi anche di più) quelli di due valutatori umani”, con una correlazione di 0.80 – 0.88 tra i punteggi assegnati dai valutatori e di 0.84 – 0.93 tra i punteggi assegnati dal computer e quelli assegnati dai valutatori (Elliot, 2001, pp. 3 – 4). C’è quindi una qualche evidenza del fatto che il sistema di assegnazione dei punteggi adottato dal CAE sia affidabile. Ma la coerenza è una virtù fallace quando si è coerenti con un metodo sbagliato. Se è in dubbio l’accuratezza dei valutatori del CLA e se i punteggi assegnati dal computer sono fortemente correlati con il punteggio dei valutatori, allora è in dubbio anche l’accuratezza del computer. Inoltre, anche facendo ricontrollare ai valutatori il 10% delle risposte degli studenti ci riporta al brano di Wittgenstein citato prima. [Per una analisi critica più dettagliata del sistema di punteggi del CLA assegnati dal computer, vedi (Ennis, 2012).]

Ho diagnosticato nel CLA una patologia grave, se non fatale. Ho sostenuto questa diagnosi e ho proposto una cura, raccomandando un cambiamento nel metodo di assegnazione dei punteggi del CLA, così che le risposte degli studenti siano giudicare più sulla base delle componenti del pensiero critico e meno in base alle loro abilità retoriche.

In ogni caso non sono ottimista. Non credo che il paziente seguirà il mio consiglio, perché il prezzo altissimo di questa operazione sarebbe quello di rendere obsoleto il grande database del CAE che contiene i punteggi assegnati in passato. Tuttavia penso che ne valga la pena: il CLA è un meraviglioso strumento per la valutazione, bisogna solo usarlo correttamente.

References

Arum, R. & Roksa, J.  2011.  Academically Adrift.   Chicago, IL: University of Chicago Press.

Benjamin, R., Chun, M., Hardison, C., Hong, E., Jackson, C., Kugelmass, H., Nemeth, A., & Shavelson, R.  2009.  Returning to learning in an age of assessment.  Retrieved January 2012, from http://www.collegiatelearningassessment.org

Bransford, J., Brown, A., & Cocking, R.  2000.  How People Learn: Brain, Mind, Experience, and School.  Washington, DC: National Academy Press.

Center for Assessment & Improvement of Learning.  Critical Thinking Assessment Test [CAT].  http://www.tntech.edu/cat/home/

Council for Aid to Education [CAE].  2011a.  CLA scoring criteria.  Retrieved January 2012, from http://www.collegiatelearningassessment.org

Council for Aid to Education [CAE].  2011b.  CLA framework/construct definition.  Email attachment from Jeffery Steedle, CAE.

Elliot, S.  2011.  Computer-assisted scoring of performance tasks for the CLA and CWRA.  Retrieved January 2012, from http://www.collegiatelearningassessment.org/files/ComputerAssistedScoringofCLA.pdf

Ennis, R.  2012.  Grading the critical thinking aspects of the CLA Test.  Central Division Meeting of The Association for Informal Logic and Critical Thinking.

Ennis, R. & Millman, J.  1985.  The Cornell Critical Thinking Test Level Z.  Pacific Grove, CA: Midwest Publications.

Frankfurt, H.  2005.  On Bullshit.  Princeton, NJ: Princeton University Press.

Gillespie, M.  2012.  The Critical Thinking Assessment Test [CAT]: Assessing CT in science courses.  Central Division Meeting of The Association for Informal Logic and Critical Thinking. 

Hardison, C. M. & Vilamovska, A.  2009.  The Collegiate Learning Assessment: Setting standards for performance at a college or university.  Retrieved January 2012, from http://www.rand.org/content/dam/rand/pubs/technical_reports/2009/RAND_TR663.pdf

Higher Education Research Institute [HERI].  2009.  The American College Teacher: National Norms for 2007-2008 .  Los Angeles, CA: HERI, University of California Los Angeles.

Klein, S., Chun, M., Hamilton, G., Kuh, G., & Shavelson, R.  2005.  An approach to measuring cognitive outcomes across higher education.  Research in Higher Education, 46 (3), 251-75.

Paul, R.  1995.  Study of 38 public universities and 28 private universities to determine faculty emphasis on critical thinking in instruction: Executive summary.  Retrieved January 2012, from http://www.criticalthinking.org/pages/center-for-critical-thinking/401

Possin, K.  2002a.  Critical Thinking: A Computer-Assisted Introduction to Logic and Critical Thinking.  Winona, MN: The Critical Thinking Lab.

Possin, K.  2002b.  Self-Defense: A Student Guide to Writing Position Papers.  Winona, MN: The Critical Thinking Lab.

Possin, K.  2008.  A field guide to critical-thinking assessment.  Teaching Philosophy, 31 (3), 201-28.

Shavelson, R. & Huang, L.  2003.  Responding responsibly to the frenzy to assess learning in higher education.  Change 35 (1), 10-19.  Retrieved January 2012, from http://www.stanford.edu/dept/SUSE/SEAL/Reports_Papers/Responding%20Responsibly%20to%20the%20Frenzy%20to%20Assess%20Learning%20in%20.pdf

Solon, T.  2006.  Generic critical thinking infusion and course content learning in introductory psychology.  Central Division Meeting of Association for Informal Logic and Critical Thinking.

Spellings Commission on the Future of Higher Education.  2006.  A Test of Leadership: Charting the Future of the US Higher Education.  Retrieved January 2012, from http://www2.ed.gov/about/bdscomm/list/hiedfuture/reports/pre-pub-report.pdf

Wittgenstein, L.  1953.  Philosophical Investigations.  New York, NY: Macmillan Publishing.