L’Anvur e il test sulle competenze generaliste. Ovvero, “dimmi chi sei” che ti calcolo la mediana

“La nostra Facoltà è al top nella formazione economica”. La schermata campeggia sugli schermi collocati nei corridoi della Sapienza di Roma. “Il test AHELO (Assessment of Higher Education Learning Outcomes), elaborato dall’OCSE, ha attribuito un risultato straordinario alla Facoltà di Economia della Sapienza: i nostri studenti sono risultati al primo posto in Italia e al secondo posto nel ranking mondiale per quanto riguarda le competenze economiche acquisite”. A breve vedremo messaggi analoghi nei quali con orgoglio gli atenei italiani richiameranno le brillanti prestazioni dei loro studenti nel problem solving, oppure nel “pensiero critico”?

In effetti, dallo scorso agosto l’ANVUR ha dato avvio alla sperimentazione di un test per misurare l’acquisizione delle competenze di carattere generalista dei laureandi italiani. La sperimentazione coinvolge, sulla base di uno specifico protocollo, 12 diversi atenei italiani: Piemonte Orientale, Università degli Studi di Milano, Padova, Udine, Bologna, Firenze, Roma La Sapienza, Roma Tor Vergata, Napoli Federico II, Lecce, Messina, Cagliari. Sul sito dell’agenzia sono pubblicate le linee guida e i report di accompagnamento della sperimentazione a cura di Fiorella Kostoris Padoa Schioppa coordinatrice del progetto.

Questo nuovo intervento dell’ANVUR si colloca nel piano di attuazione di quanto disposto dal decreto Legislativo 19, del 27 gennaio 2012 relativo all’Autovalutazione, alla Valutazione e all’Accreditamento del sistema universitario italiano (AVA) che prevede l’introduzione di un sistema di valutazione e di assicurazione della qualità, dell’efficienza e dell’efficacia della didattica e della ricerca. A sua volta, il decreto legislativo richiama le disposizioni della legge 240/2010 (art.5, comma 1, l.a) concernenti l’introduzione di un sistema di accreditamento delle sedi e dei corsi di studio e di un sistema di valutazione (e autovalutazione) periodica nonché (art.5 comma3) “la definizione del sistema di valutazione e di assicurazione delle qualità degli atenei in coerenza con quanto concordato a livello europeo, in particolare secondo le linee guida adottate dai Ministri dell’istruzione superiore dei Paesi aderenti all’area europea dell’istruzione superiore (EHEA)” (p.1).

Il nuovo quadro europeo dei titoli e delle competenze

La spinta a uniformare il sistema universitario italiano agli accordi presi in sede europea nel cosiddetto Processo di Bologna costituisce il macro-contesto di avvio di questa sperimentazione. Il documento di lancio di questa nuova sperimentazione ANVUR riferisce sia alle norme relative all’accreditamento e alla valutazione periodica definite dall’ENQA (European Association for Quality Assurance in Higher Education) e alle European Standard and Guidelines (ESG) adottati a Bergen nel 2005, sia al complesso degli accordi presi a partire dall’incontro del 2005 fino alla recente conferenza dei ministri europei tenutasi a Bucarest il 26 e 27 aprile del 2012. Questo perché “le ESG, centrate come sono unicamente sulle procedure, diversamente dalle altre disposizioni europee prese a Bergen nel 2005 e poi approfondite in norme europee nei 7 anni successivi, nulla hanno da suggerire riguardo agli indicatori e i parametri necessari per l’accreditamento e la valutazione periodica” (p.1).

Tra le più importanti decisioni prese a Bergen 2005, infatti, vi è l’adozione di un quadro europeo dei titoli di studio comprendente tre cicli di istruzione superiore cui sono associati livelli progressivi di competenze acquisite dagli studenti definiti attraverso specifici descrittori. Tali descrittori sono basati sui risultati dell’apprendimento (learning outcomes) e sulle competenze acquisite. Se i risultati del processo di apprendimento del singolo studente sono valutati dagli atenei sulla base dei regolamenti didattici e delle declaratorie dei singoli corsi di studio, il test proposto dall’ANVUR si pone come obiettivo quella di valutare, su base nazionale, gli effettivi risultati raggiunti dagli studenti al termine dei diversi cicli di studio. Alla base di questa scelta è richiamata la Raccomandazione (2006/962/CE) del Parlamento e del Consiglio Europeo secondo cui gli stati membri si impegnano a sviluppare strategie di apprendimento capaci di rafforzare: 1. capacità di comunicazione nella madrelingua; 2 capacità di comunicazione in una o più lingue straniere; 3 conoscenze in matematica e di base in scienze e tecnologia; 4. competenze digitali; 5. capacità sociali e civiche; 6. capacità di imparare a imparare; 7. spirito di iniziativa e imprenditorialità; 8. capacità di espressione culturale. Nella Raccomandazione 2008/C111/01 sono quindi illustrate quelle conoscenze, abilità e competenze che corrispondono agli 8 livelli di apprendimento così come sono definiti dal quadro europeo dei titoli (European Qualification Framework). Il ciclo di studi triennale è rappresentato dal 6 livello della scala descritta dall’EQF e prevede: l’apprendimento di conoscenze avanzate in un ambito di lavoro o di studio; la comprensione critica di teorie e principi; capacità di problem solving; competenze gestionali e progettuali; capacità decisionali; capacità di conduzione di gruppi di lavoro. La raccomandazione auspicava che tutti i paesi europei potessero entro il 2010 far sì che i certificati di qualifica rilasciati facessero riferimento al rispettivo livello del quadro europeo dei titoli.

In breve, se l’Europa ha assunto come asse portante del proprio investimento in conoscenza e competitività la costruzione di un quadro comune dell’istruzione e della formazione superiore, nella costruzione di questo quadro è apparsa prioritario lo sforzo di favorire negli studenti l’acquisizione innanzitutto di competenze generaliste. L‘ANVUR ha pertanto ritenuto necessario non solo definire in maniera determinata tali competenze sulla base delle traduzioni in italiano delle declaratorie europee, ma anche sintetizzarle in indicatori quantitativi, e quindi misurabili, per valutare l‘effettiva acquisizione di tali competenze da parte degli studenti italiani. Nel documento di lancio di questo test l’Anvur ricorda come l’Italia sia tra quei paesi che non hanno ancora adempiuto agli accordi europei, rimandando ad un documento del CEDEFOP (European Centre for the Development of Vocational Training) del 2011 che evidenzia come nel nostro paese manchi un quadro nazionale delle qualifiche, e ritiene che sia urgente recuperare il gap con la gran parte degli altri partner europei.

In termini politicamente più espliciti, l’ANVUR evidenzia come l’esecutivo Monti si sia voluto adeguare rapidamente ai dettati europei proprio a partire dalla “riforma del mercato del lavoro Fornero” nei suoi commi 51-61 e 64-68 dell’art.4 sull’apprendimento permanente che si ispirerebbe “allo spirito generale” nonché “ad alcuni dettami specifici delle conclusioni” dei Ministri presenti a Bucarest nel 2012 (p.3). Nel riprendere questo specifico aspetto della riforma del mercato del lavoro, l’agenzia ribadisce la necessità di imporre, attraverso i processi dell’accreditamento e della valutazione, un legame più stretto tra i crediti acquisiti dallo studente e gli esiti dell’apprendimento, nonché tra crediti e carichi di lavoro. Ancora, l’agenzia ritiene necessario che nei processi di valutazione vengano inclusi i dati relativi all’effettivo conseguimento dei risultati dell’apprendimento nella valutazione. Ecco perché tra i requisiti dell’accreditamento iniziale dei corsi di studio l’ANVUR ha inserito l’obbligo di descrivere nella Scheda Unica Annuale del Corso di Studio anche gli obiettivi formativi attesi per aree omogenee. Infatti, all’interno del capitolo F.2 dedicato all’accreditamento periodico delle sedi e dei corsi di studio universitari è stata inserita una sezione (F.2.4) riguardante gli ulteriori criteri, indicatori e parametri per l’accreditamento periodico delle sedi e dei corsi di studio, inclusi di quelli (F.2.4.1) concernenti gli esiti degli apprendimenti effettivi” (p.4) 

Quali competenze misurare?

Il processo di valutazione delle competenze acquisite dagli studenti italiani è pertanto finalizzato a verificare l’effettiva acquisizione delle competenze attese, per come esse sono già oggi definite nelle declaratorie delle classi di laurea e alle relative specifiche presentate a correndo dei singoli corsi di studio. Tali declaratorie vedono indicati gli “Obiettivi formativi specifici del corso e descrizione del percorso formativo”, ma anche: “Conoscenza e capacità di comprensione (knowledge and understanding)”, “Capacità di applicare conoscenza e comprensione (applying knowledge and understanding)”, “Autonomia di giudizio (making judgements)”, “Abilità comunicative (communication skills)”, “Capacità di apprendimento (learning skills)”. Tutte sezioni degli attuali ordinamenti didattici dei singoli corsi di laurea tipicamente riempite con declaratorie generiche e poco significative.

Le competenze da valutare non sono pertanto esclusivamente quelle specialistiche previste dal corso di studio ma anche quelle generaliste definite sulla base dei descrittori di Dublino. Queste ultime, in particolare, dovrebbero far riferimento al “pensiero critico”, all’abilità di comunicare, all’apprendimento ad apprendere.

Qual è il senso di questo progetto? L’Anvur vuole dare piena attuazione agli obiettivi del Miur per “soddisfare i requisiti di trasparenza, utili alla mobilità interspaziale e intesettoriale dei giovani laureati”, e per favorire “scelte più consapevoli in tutti gli stakeholders, siano essi gli studenti, le loro famiglie, i datori di lavoro meglio informati delle effettive capacità generiche degli studenti (p.4). Quale trasparenza maggiore allora che quella di certificare con un test la capacità di uno studente di comunicare con gli altri, di esercitare capacità di problem solving, di esercitare autonomia di pensiero e di elaborazione critica? I dati raccolti, peraltro, una volta certificati dovrebbero “favorire scelte più consapevoli in tutti gli stakeholders”, in altri termini dovrebbero orientare le scelte degli studenti, delle loro famiglie, eventualmente delle imprese nella scelta dei laureati migliori dotati delle migliori competenze generiche oltre che specialistiche. L’ANVUR starebbe quindi pensando a un test da “applicare” agli studenti in entrata per misurare anche il “valore aggiunto” derivante dal percorso formativo. Da un lato, allora, si vogliono certificare le competenze di una potenziale “forza lavoro” generica nel tentativo di costruire un ponte diretto tra lavoratore in formazione e azienda. Il presupposto è quello dell’insignificanza del titolo di studio – ma anche della mera reputazione – nel restituire le effettive competenze acquisite dallo studente. Dall’altro lato, si intende proseguire quel processo di selezione e classificazione degli atenei italiani sulla base di una performatività misurata sui prodotti, in questo caso il prodotto studente.

Nel primo caso, allora, una esigenza di “trasparenza” ai fini di mercato, nonché di quality assessment individuale (del singolo studente) e “istituzionale” (dell’ente di formazione). Nel secondo caso, si tratta di definire “ranking di qualità” e quindi strumenti di distribuzione “premiale” del FFO tra gli atenei sulla base dei risultati di queste valutazioni, oltre che definire i requisiti per l’accreditamento periodico dei corsi di studio e della loro valutazione periodica. Nel caso dell’accreditamento, e prendendo tra i diversi casi descritti nel documento quello relativo agli iscritti al ciclo triennale, il prerequisito per essere “accreditati” è dato dal numero di studenti partecipanti al test: a mo’ di esempio, per l’accreditamento periodico delle lauree triennali la soglia è fissata al 50% degli studenti che per ogni corso di studio triennale abbiano acquisito tutti i CFU di base e caratterizzanti. Nel caso della valutazione periodica, utile all’attribuzione premiale del FFO, entra in campo il discutibile criterio della mediana: “nella valutazione periodica il migliore 50% (il migliore 75%) del totale degli studenti dell’Università, aventi queste caratteristiche di acquisizione dei CFU di base e caratterizzanti, deve nei test superare la mediana nazionale per avere diritto al bonus aggiuntivo (al superbonus aggiuntivo) del FFO” (p.10).

A regime, a questo test in sperimentazione di tipo “generalista” si affiancherà un diverso test finalizzato a monitorare invece le competenze specialistiche degli studenti italiani, ed entrambi saranno obbligatori e fondamentali ai fini dell’accreditamento dei corsi e della distribuzione della quota premiale del Fondo di Finanziamento Ordinario. Nel quadro offerto da AVA, anche queste attività di monitoraggio e di valutazione avranno ricadute importanti sull’articolazione, quantità e qualità dell’offerta formativa. Nell’anno accademico 2012-2013, e fino a fine 2013, questo test non dovrebbe incidere sul giudizio sull’accreditamento e la valutazione periodica, né sulla distribuzione del FFO. Solo a partire dal 2014, “se il test passasse i requisiti di robustezza necessari” esso entrerebbe in via permanente nel sistema dell’accreditamento e della valutazione periodica italiana. Nel documento, purtroppo, non sono specificati né i requisiti di robustezza né quali siano gli strumenti necessari a verificare l’efficacia del test. Il sospetto è che questa si riveli una mera petizione di principio, o comunque un passaggio procedurale finalizzato a giustificare comunque l’adozione del test. I costi di questa operazione, per il biennio 20012-2013 si aggirano intorno agli 800’000 euro in gran parte connessi all’utilizzo di un modello, il collegiate learning assessment, implementato dal Council for Aid to Education’s Collegiate Learning Assessment, un’organizzazione “non-profit” statunitense finanziata da fondazioni private e multinazionali dell’educazione.

Depuratori e dati grezzi

Nel documento sono allora discusse alcune best practices di valutazione delle competenze generaliste e si ritiene che tali buone pratiche – non a caso prevalentemente in ambito economico – “saranno presto estese alla generalità dei nostri Atenei” (p.4), dati i requisiti per l’accreditamento iniziale stabiliti dall’Anvur stesso. Le ipotesi di lavoro che emergono dal testo appaiono allora due, la prima è quella di svolgere una verifica tra le competenze attese sulla base delle declaratorie che accompagnano i corsi di studio e quelle “effettive”, la seconda invece prevede il confronto del “del valore aggiunto prodotto dalla sede universitaria, depurando i dati grezzi, rilevati nei risultati dei test sulle competenze trasversali, dall’influenza delle variabili di contesto, socio-economiche individuali o ambientali” sul modello, magari, di quanto previsto dai test AHELO dell’Ocse oppure sulla scorta di quanto già accade coi test OCSE Pisa per i quindicenni o PIAAC sulla formazione permanente della popolazione adulta.

Proprio la questione delle cosiddette variabili di contesto, e dietro l’espressione “dati grezzi” da depurare, si nasconda la questione decisiva posta da questa sperimentazione. I dati grezzi sono i risultati dei singoli studenti nei test, le variabili di contesto da depurare le influenze che su questi risultati hanno tutti quegli elementi che segnano la singolarità, la vita propria di uno studente. In altri termini, le cosiddette variabili di contesto che dovranno entrare – ridotte a indicatori quantitativi e statistici – nel processo di “depurazione” sono: le caratteristiche dei laureandi, sotto forma di dati obiettivi (età, genere, madre lingua, paese di nascita, tasso di occupazione e di crescita triennale della regione di provenienza); alcuni dati di carattere socioeconomico familiare e personale (occupazione e titolo di studio dei genitori, condizione di fuori sede, di studente lavoratore, di utilizzatore di strutture di accoglienza o di forme di diritto allo studio); i cosiddetti caratteri meritocratici (voto alla maturità, test di ingresso….); le particolari caratteristiche della sede universitaria e del corpo docente, nonché l’ambiente socioeconomico in cui opera una sede universitaria.

In che modo sia possibile depurare i risultati dagli elementi più significativi che segnano un processo di apprendimento generalista è definito in maniera secca dal documento Anvur che fa riferimento a determinate “procedure econometriche” già sperimentate dall OCSE in AHELO. Eppure, il riferimento ad AHELO appare impreciso poiché, come chiaramente espresso nella pagina di presentazione del progetto (ma utile è la lettura del dettagliato Feasibility Study Report in due volumi del 2012): “More than a ranking, the AHELO assessment aims to be direct evaluation of student performance at the global level and valid across diverse cultures, languages and different types of institutions. A full scale AHELO would be a a “low stakes” voluntary international comparative assessment designed to provide higher education institutions with feedback on the learning outcomes of their students and which they can use to foster improvement in student learning outcomes”. In altri termini, il test è finalizzato a dotare gli istituti formativi di elementi utili a riprogrammare la propria pratica educativa sulla base delle performance dei propri studenti e non a definire ranking tra questi istituti.

Considerazioni conclusive:

In quella che è più di una semplice battuta, il rischio è di trovarci a breve a fare i conti con le mediane del “pensiero critico”. E’ forse un’idea pericolosa quella di “misurare” attraverso un test competenze come le “capacità critiche” o comunicative. E questo a dispetto delle buone intenzioni della sperimentazione avviata dall’OCSE cui pure l’Anvur dichiara di far riferimento. Quel che si testa, nella migliore delle ipotesi, sono solo alcune competenze di difficile definizione, peraltro fortemente condizionate dal contesto e dalla biografia personale dello studente. La valutazione delle cosiddette capacità generaliste, al di fuori di un sempre complesso rapporto tra docente, discente e comunità di apprendimento, rischia di valere come preselezione sociale e culturale (quindi censitaria) e come strumento di adeguamento comportamentale agli standard richiesti piuttosto che valorizzazione delle competenze dei singoli. In termini più complessivi, si può dubitare che le procedure econometriche sperimentate dall’OCSE in AHELO, in parte riportate nel documento, siano capaci “di depurare i risultati del test sui laureandi con le variabili di contesto” per mezzo “di una regressione multipla, dove i risultati individuali nel test costituiscono il vettore delle variabili endogene, le variabili di contesto sono i repressori atti a spiegare la parte di tali risultati che ci si poteva attendere, date certe caratteristiche specifiche dello studente e della sua famiglia, del corpo docente, della sede e date certe caratteristiche ambientali, e la costante stimata dalla regressione cattura appunto il valore aggiunto creato dall’Università, al di là delle aspettative” (p.11). Si veda, per un approfondimento tecnico, il Quarto P1+PP Variabili di contesto da usare nella stima del valore aggiunto negli esiti dell’apprendimento generalista (pp.25-35).

Eppure l’Anvur si appresta ad andare ben oltre quanto dichiarato dall’OCSE o previsto da AHELO, e oltre anche quanto previsto dalla legislazione europea che punta certamente a definire strumenti per la valutazione delle competenze generaliste degli studenti ma non certo in un’ottica di rankings o distribuzione premiale delle risorse. Del resto, in uno dei rapporti di accompagnamento a cura di Guido Amoretti, Gabriele Anzellotti e della stessa Fiorella Kostoris (Sintesi aggiornata e corretta del Nono P1+PP) è chiaramente espresso che “il sistema CLA non è nato primariamente per il ranking dei college, ma per fornire ai docenti e ai responsabili dei programmi di studio elementi di informazione e comparazioni con opportuni benchmarks, utili per migliorare i percorsi formativi” (p.51). Il test CLA è comunque molto controverso a livello internazionale, nato in un ambito sociale e “culturale” specifico, quello statunitense, e prodotto di punta di una vera e propria multinazionale dell’educazione. Utilizzato negli Stati Uniti come strumento per la verifica delle competenze acquisite da parte degli studenti, questo strumento è stato quindi “esportato” in paesi come l’Irlanda, Hong Kong, Colombia, Portorico e Tailandia. Non è difficile reperire letteratura scientifica che pone in dubbio la validità di questo test; ad esempio, Douglass, Thomson e Zhao (The Holy Grail of Learning Outcomes, CSHE Research & Occasional Paper Series, feb.2012) sintetizzano le loro osservazioni critiche con estrema chiarezza: “this test is a blunt tool, creating questionable data that serves immediate political ends. It seems to ignore how students actually learn and the variety of experience among different sub-populations (p.5)”.

Infine, nella sua forma attuale, questo test non può essere somministrato agli studenti italiani ma dovrà essere “tradotto” – non solo linguisticamente ma anche “culturalmente” – in modo da essere significativo. Le modalità di adattamento del test al nostro contesto culturale e sociale, una volta tradotto in italiano, non ad oggi in alcun modo chiarite come non è chiaro a chi competerà – e sulla base di quali competenze (linguistiche, sociologiche, antropologiche, psicologiche) – questa difficilissima operazione

Nel generale silenzio delle istituzioni universitarie prende quindi avvio la sperimentazione di un test le cui implicazioni per la tenuta del sistema della formazione e dell’insegnamento universitari appaiono tanto ampi quanto l’abilitazione scientifica nazionale è per il futuro della ricerca italiana. I fini politici supposti da Douglass, Thomson e Zhao appaiono in questo caso chiarissimi: selezionare gli studenti “supposti migliori” e selezionare gli atenei “supposti migliori” sulla base di test che rischiano di non tanto di tratteggiare le supposte capacità generaliste degli studenti italiani, quanto di misurare la conformità di comportamenti e di scelte (implicite nel test e quindi standardizzate) alle esigenze quotidiane di un banale “commercio umano” e del mercato del lavoro. E sulla base di questo indicatore “premiare” gli atenei in grado di attrarre quegli studenti socialmente e culturalmente avvantaggiati oppure quelli che, data la scarsa mobilità del nostro paese, sono collocati in contesti socialmente più favorevoli.

Opportunità e rischi di strumenti di valutazione come questi richiedono sperimentazioni complesse, che durano nel tempo e che siano, anche queste, sottoposte a valutazione. L’Anvur mostra invece superficialità nel dare avvio a un processo valutativo con implicazione educative, pedagogiche e sociali di enorme portata. Tra VQR, abilitazioni e AVA, nel quotidiano disastro dei nostri atenei, c’era proprio bisogno anche di questa nuova sperimentazione?