PISA: il successo e le criticità del Programme for International Student Assessment

Nella scorsa primavera è stata effettuata la quinta rilevazione del progetto PISA, i cui risultati saranno resi noti verso la fine del prossimo anno. PISA (Programme for International Student Assessment) è la più importante indagine comparativa internazionale sul rendimento scolastico degli studenti, quanto meno in termini di numero di paesi partecipanti. Promossa dall’OCSE, questa indagine si inserisce nel programma sulla costruzione degli indicatori relativi ai sistemi di istruzione (INES, Indicators of Education Systems), i cui esiti vengono resi noti annualmente nella pubblicazione Education at a Glance. I risultati delle rilevazioni PISA vengono utilizzati per la costruzione degli indicatori di risultato inseriti nella pubblicazione.

Come è noto, i dati raccolti da PISA si riferiscono agli ambiti della lettura, della matematica e delle scienze. La popolazione “indagata” è costituita dagli studenti quindicenni scolarizzati, indipendentemente dall’indirizzo di studi seguito e dalla classe frequentata, inclusi – quindi – gli studenti che frequentano i corsi della formazione professionale regionale e/o provinciale (Province di Trento e Bolzano) e gli studenti che ancora frequentano la scuola media. Le rilevazioni si ripetono con periodicità triennale; in ciascuna rilevazione una delle tre aree indicate (lettura, matematica, scienze) costituisce l’area di indagine principale dell’indagine, intorno alla quale vertono la maggior parte dei quesiti sottoposti agli studenti.

I dati raccolti in PISA si riferiscono alla literacy, cioè, alle competenze di base nelle tre aree oggetto di indagine. Come viene con chiarezza indicato nel vari quadri concettuali che illustrano contenuti, obiettivi e metodi delle rilevazioni (framework), ciò che interessa PISA non sono tanto le conoscenze acquisite dagli studenti in relazione ai curricoli esistenti nei paesi partecipanti all’indagine, quanto piuttosto la capacità di utilizzare queste conoscenze per affrontare problemi simili a quelli che lo studente può incontrare nella vita quotidiana. Le prove utilizzate, conseguentemente, presentano agli studenti contesti, situazioni e problemi per affrontare e risolvere i quali debbono utilizzare le conoscenze e le abilità possedute. Va ricordato che la definizione della literacy nelle tre aree di indagine è il risultato non della analisi dei curricoli nazionali e della individuazione degli elementi condivisi in questi curricoli, ma del lavoro di gruppi di esperti, ai quali è stato affidato il compito di indicare quali siano le competenze necessarie per esercitare un ruolo attivo e consapevole di cittadinanza nella vita sociale, lavorativa e politica. Andrebbe aggiunto: in società economicamente avanzate (quali quelle dei Paesi OCSE).

Ai dati raccolti attraverso la somministrazione delle prove cognitive si aggiungono quelli derivanti dalla somministrazione agli studenti di un questionario relativo ai contesti familiari, culturali ed economici di provenienza e quelli sui contesti scolastici, raccolti tramite un questionario somministrato ai dirigenti delle scuole campionate. A differenza di altre indagini comparative internazionali, in PISA non viene utilizzato un questionario insegnanti. Questo perché gli studenti – in genere 35 – vengono selezionati all’interno delle scuole campionate in base all’età (quindici anni) con una procedura di tipo casuale e possono, conseguentemente, frequentare classi diverse all’interno della stessa scuola. 

I dati raccolti attraverso i questionari consentono di provare a interpretare i risultati degli studenti in riferimento ai contesti familiari e scolastici in cui sono inseriti.  

Questa ricca e articolata organizzazione dell’indagine ha contribuito alla progressiva crescita di importanza di PISA, a cui partecipa un numero crescente di Paesi: tutti i Paesi OCSE, più un numero rilevante di Paesi che non appartengono all’organizzazione.

Il successo di PISA è dovuto anche ad altri fattori. In primo luogo, la sua connotazione “politica”. L’OCSE è una organizzazione intergovernativa. Il gruppo responsabile delle decisioni politiche relative all’indagine (quali contenuti, quali obiettivi, a quali istituti di ricerca affidare la realizzazione della indagine, quale uso e quale diffusione dei risultati) è composto da rappresentanti dei paesi partecipanti direttamente designati dai governi di tali paesi (nella maggior parte dei casi dai rispettivi ministeri dell’istruzione). I risultati di PISA dovrebbero, in teoria, orientare le politiche scolastiche nei paesi membri (e in molti Paesi questo si è effettivamente verificato).

Il secondo motivo della crescente importanza di PISA è da rintracciare nell’oggetto dell’indagine: le competenze, in particolare quelle che vengono definite competenze “chiave” (seguendo la terminologia adottata a livello di Unione Europea). PISA va incontro, da questo punto di vista, alla esigenza, presente in molti sistemi di istruzione dei paesi che vi partecipano, di rilevare e misurare – appunto – le competenze. L’approccio metodologico, gli strumenti di rilevazione, i metodi di analisi dei dati adottati rappresentano altrettanti contributi importanti proprio rispetto a questa esigenza. Non è un caso che, al di là del modo i cui questo concretamente si realizza, le prove PISA sono diventate o stanno diventando un modello anche per le rilevazioni condotte a livello nazionale (quanto meno a livello di dichiarazione di intenti).

Il terzo motivo è legato alla possibilità di operare confronti nel tempo tra i risultati conseguiti dagli studenti nei vari paesi. Si tratta, ovviamente, di un confronto tra coorti diverse di studenti, ma pur sempre interessante per ragionare sui cambiamenti intervenuti, anche in relazione a eventuali interventi di politica educativa.

L’ultimo motivo è individuabile nel livello metodologico di PISA, sicuramente tra i più avanzati nel campo delle rilevazioni su larga scala.

Detto questo, non è possibile non porsi alcune domande e non avanzare alcuni rilievi critici nei confronti di questo programma di indagine. Questi rilievi sono relativi in parte all’impianto metodologico (nonostante il suo alto livello qualitativo), in parte – e forse soprattutto – alla logica di politica educativa e scolastica sottesa a PISA, all’uso che viene fatto dei suoi risultati e ai rischi connessi a questo uso.

Dal punto di vista metodologico, sono presenti alcuni limiti di cui è opportuno essere consapevoli. In primo luogo, le situazioni presentate nelle prove PISA, costituiscono delle approssimazioni alle situazioni e ai problemi reali. Rilevare e osservare una competenza (o meglio, i comportamenti che possono indicare il possesso di una competenza) richiederebbe una osservazione diretta in contesti reali, all’interno dei quali registrare se e in quale misura gli studenti siano effettivamente in grado di “mobilitare” le proprie conoscenze e le proprie abilità per la risoluzione dei problemi che queste situazioni pongono loro. E questo non è chiaramente possibile in una rilevazione comparativa su larga scala.

In secondo luogo, resta poco affrontato il nodo della rilevazione delle dimensioni non cognitive delle competenze (la dimensione affettivo-motivazionale). I tentativi fino ad ora fatti in PISA risultano ancora poco soddisfacenti.

In terzo luogo, gli stessi risultati fanno sorgere alcune domande. Le correlazioni tra i livelli di competenza raggiunti dagli studenti nelle tre aree della literacy sono molto elevate. Altrettanto elevate risultano le correlazioni registrate tra le varie “sottocompetenze” individuate nei framework per ciascuna literacy (in particolare per la literacy scientifica). È legittimo, quindi, chiedersi se e in quale misura il “peso” della comprensione della lettura incida anche sui livelli di rendimento in matematica e in scienze (nelle prove PISA gli stimoli sono spesso molto articolati e costituiti da testi di vario tipo). Si tratta di una domanda importante relativa alla validità delle misure costruite. È anche legittimo chiedersi se e in quale misura la distinzione tra le varie sottocompetenze sia giustificato dai risultati oppure tali risultati non indichino che in realtà si stia misurando una unica competenza generale e non sottocompetenze diverse (in questo caso, è la validità del costrutto che viene chiamata in causa). Poiché da questa distinzione tra sottocompetenze vengono fatte discendere molteplici indicazioni sull’organizzazione dei curricoli, la domanda non è irrilevante.

Ma è, forse, sulla impostazione generale di PISA che sorgono le domande più stringenti. Quale modello di scuola è sotteso ad una indagine come questa? Fino a che punto la qualità di un sistema di istruzione è determinabile sulla base dei risultati nelle tre aree della lettura, della matematica, delle scienze? Sono tre aree fondamentali in tutti i curricoli scolastici e individuano aree di competenza fondamentali per una cittadinanza responsabile. Ma sicuramente non sono le sole. Non è un caso che in PISA 2012 si sia cercato di introdurre una nuova area, quella della financial literacy, probabilmente anche in relazione all’impatto della crisi economica in tutti i paesi OCSE.

Il problema è quello che in PISA non viene rilevato e che pure sarebbe fondamentale per definire obiettivi e qualità dei sistemi di istruzione. Sarebbe, quindi necessaria una maggiore cautela nella presentazione dei risultati, così come sarebbe da evitare che PISA diventi il modello unico di rilevazione per la valutazione dei sistemi di istruzione anche a livello di singoli Paesi. Molti Paesi utilizzano i risultati PISA non soltanto per la comparazione internazionale (che è lo scopo fondamentale dell’indagine), ma anche per la valutazione dei propri sistemi nazionali. Con tutti i rischi legati alla inadeguatezza rispetto a questo scopo degli strumenti di rilevazione, in modo particolare i questionari (costruiti, appunto, in funzione della comparazione internazionale).

Un discorso specifico e più approfondito meriterebbe il modo in cui PISA è stato realizzato nel nostro Paese e sull’uso (o non uso) dei suoi risultati.

Almeno due aspetti è opportuno sottolineare. In Italia, il campione degli studenti su cui sono state condotte le rilevazioni è stato progressivamente ampliato nel tempo, fino ad assicurare una rappresentatività a livello regionale. Questa scelta è stata in larga misura determinata dalla mancanza a livello nazionale di dati sufficientemente articolati e di accettabile qualità. Di qui la scelta di utilizzare PISA non in funzione della comparazione internazionale, ma per una analisi delle differenze interne al nostro sistema di istruzione (questo anche come risultato della spinta di molte Regioni).

Inoltre, benché i risultati di PISA abbiano confermato a più riprese alcuni problemi che caratterizzano il nostro sistema di istruzione (divari territoriali, differenze legate agli indirizzi di studio, sostanziale non equità del nostro sistema di istruzione), in nessun modo tali risultati sono stati utilizzati per affrontare e risolvere tali problemi.

Problemi che, per altro, sono ben conosciuti quanto meno a partire dalle prime indagini comparative internazionali condotte dall’IEA dalla fine degli anni Sessanta del Novecento e confermati anche dalle più recenti rilevazioni nazionali (se non altro in termini descrittivi, se non interpretativi).

Questo a conferma di quanto poco le politiche educative siano nel nostro paese fondate su evidenze, che pure la ricerca è in grado di fornire.