La bufala del giorno / Occupazione

Stefano Feltri e le “lauree inutili”: i dati, questi sconosciuti

«I miei genitori, non certo senza sacrifici, hanno investito parecchio sulla mia educazione. La nomea dell’università e – mi piace pensare – le conoscenze e le competenze acquisite mi hanno permesso di trovare subito il lavoro per il quale mi stavo preparando» scrive Stefano Feltri, sottolineando la saggezza delle proprie scelte rispetto a chi sbaglia facoltà e sceglie gli studi umanistici. Eppure, a dispetto di tutte le conoscenze e le competenze acquisite, Feltri non solo basa le proprie affermazioni su uno studio che non ha ancora passato il vaglio di una revisione scientifica, ma ne fraintende i numeri e – ben più grave – i contenuti. In questo post mostriamo che non se la cava molto meglio quando cerca di puntellare le sue tesi con dati OCSE maldigeriti, che nei documenti originali dicono altro, oppure dà per scontate statistiche occupazionali che scontate non sono. Per non dire di un non sequitur talmente palese da essere subito smascherato dai suoi lettori. Non sappiamo dire se l’università e la laurea di Feltri siano davvero tanto più utili di altre. Di sicuro, però, la loro “nomea” trarrebbe giovamento da dei testimonial un po’ più attenti a quello che scrivono.

Collage_Stefano_Feltri_Lauree_inutili

1. Un articolo dai piedi di argilla

Il 13 agosto, Stefano Feltri,vicedirettore del Fatto Quotidiano, scrive un articolo in cui, spiega che

I ragazzi più svegli e intraprendenti si sentono sicuri abbastanza da buttarsi su Ingegneria, Matematica, Fisica, Finanza. … fare studi umanistici non conviene, è un lusso che dovrebbe concedersi soltanto chi se lo può permettere.

A sostegno della sua tesi, Feltri cita i risultati di un “paper del centro studi CEPS, firmato da Miroslav Beblavý, Sophie Lehouelleur e Ilaria Maselli” che “ha calcolato il valore attualizzato delle lauree”.

Ma l’articolo del Fatto Quotidiano imbarca acqua un po’ da tutte le parti. Le falle principali sono non meno di quattro.

Falla n. 1: Nella prima stesura Feltri scambia i numeri del paper per “migliaia di Euro”, ma ha preso un abbaglio ed è costretto ad aggiungere una postilla in cui riconosce la svista:

le tabelle sul valore attualizzato delle lauree non si riferiscono al valore in euro, come può sembrare e come a me è sembrato, ma alla differenza rispetto alla media. I ricercatori fissano a 100 l’NPV medio, cioè il valore attualizzato del titolo di studio (calcolato in euro e poi standardizzato a 100) … Chiedo scusa per l’errore – che dimostra come in matematica e statistica non siamo mai abbastanza preparati – ma le tabelle riassuntive dello studio sono un po’ scarse nella legenda. Adeguo quindi il post di conseguenza.

Ai posteri giudicare se le tabelle dello studio fossero state scarse nella legenda, ma, come notato da Marco Viola, a pag. 8 dello studio sta scritto che

For all these reasons, we standardise the results: we set the average NPV to 100 in each country and examine how each of the four fields compares to the average.

Sembra facile da capire, anche senza particolari conoscenze di matematica e statistica. Sempre che si abbia l’accortezza di leggere le proprie fonti prima di citarle.

Falla n. 2: È ancora Marco Viola a notare che la fonte di Feltri, non ha una solida certificazione scientifica, ma è solo

uno studio pilota, che, almeno per ora, non ha superato una peer review da parte degli altri economisti. Non a caso è stato pubblicato a mò di bozza (working paper) sul sito del loro centro studi. Non è un po’ imprudente scriverci su un articolo, indicando peraltro gli autori come “gli economisti” (per antonomasia), quando ancora non c’è stato il tempo di raccogliere altri pareri dalla comunità scientifica?

Falla n. 3: Non solo Feltri si è basato su una bozza, ma non ne ha nemmeno riportato fedelmente i risultati, come sottolinea l’implacabile Marco Viola:

Nell’articolo del Fatto si legge: “Purtroppo, migliaia e migliaia di ragazzi in autunno si iscriveranno a a Lettere, Scienze politiche, Filosofia, Storia dell’arte”. Ma scienze politiche appartiene esattamente al settore scienze sociali – un settore che lo studio descrive come un buon investimento.

Falla n. 4: A Feltri sembra essere sfuggito persino il punto principale dello studio, come sottolineato da un commentatore sul Fatto Quotidiano:

CommentoFQ_gap_femminile

Feltri sostiene che fare studi umanistici non conviene e che i ragazzi piu svegli e intraprendenti si buttano in Ingegneria, Matematica, Fisica, Finanza. E come lo giustifica? Con uno studio che dichiara che “enrolling in science, technology, engineering and mathematics (STEM) courses is often not the best investment for students, especially female students”. Anzi, come sottolineato da Monica Azzolini, per le donne le conclusioni sono l’opposto di quanto sostiene Feltri:

Dal punto di vista dell’uguaglianza di genere, però, la sorpresa è che le donne ottengono valori superiori agli uomini solo nel campo umanistico … Come dire che solo e unicamente in questo settore una brava laureanda fa meglio del suo collega uomo.

E che a Feltri fosse sfuggito niente meno che il punto principale dello studio è confermato qualche giorno dopo anche da una delle coautrici, Ilaria Maselli:

Se siete donne, partite avvantaggiate nelle materie umanistiche e molto svantaggiate in quelle scientifiche.

Una dimenticanza da nulla quella di Feltri che, nell’elargire briciole di saggezza agli immatricolandi, ha scordato “solo” metà del mondo.

sabbiemobili

2. Sabbie mobili e tiro al barattolo

Per replicare alla gragnuola di critiche che piove sull’articolo del 13 agosto, Feltri ne pubblica un secondo il giorno dopo. Il 17 agosto ne arriva un terzo, corredato di qualche numero e qualche grafico. Il quarto e ultimo è datato 19 agosto. Il paragone più appropriato è forse quello di un malcapitato che, essendo finito nelle sabbie mobili, continua ad agitarsi con l’unico risultato di affondare sempre più.

Impossibile citare tutti gli articoli che lo contestano non solo sul piano degli errori materiali, dei fraintendimenti e delle omissioni, ma anche su quello del paternalismo, dei pregiudizi e del rudimentale apparato ideologico. Oltre al già citati Marco Viola (qui e qui) e Monica Azzolini, vale la pena di ricordare le tre repliche apparse su Valigia Blu [1], [2], [3], la prima delle quali riproposta anche ai lettori di Roars e la lettera del Coordinamento Universitario LINK, chiusa da una citazione, assai pertinente, tratta dalle Lettere luterane di Pasolini. A Marco Bella spetta il merito di aver riportato la discussione sui binari dell’argomentazione razionale, richiamando, anche graficamente, quei dati OCSE, Istat e AlmaLaurea che dovrebbero costituire l’ABC di chiunque intavoli una discussione in tema di lauree e occupazione. I cinque fatti provvidenzialmente richiamati da Marco Bella sono:

  1. più si studia, più si ha la possibilità di lavorare (AlmaLaurea su dati Istat);
  2. più si studia, più si guadagna (Istat e Ocse);
  3. il numero di laureati in scienze umane in Italia è in linea con quello degli altri maggiori paesi europei (Ocse);
  4. i vantaggi riguardo l’occupazione futura ci sono per tutte le facoltà, comprese quelle letterarie (AlmaLaurea);
  5. i benefici non sono esclusivamente per i singoli, ma per tutta la società (Ocse_1 e Ocse_2).

Oramai, scrivere un articolo per evidenziare le falle degli articoli di Feltri è come giocare a tre-palle-un-soldo al Luna Park. E allora, proviamoci anche noi. Non vinceremo un orsetto di peluche ma avremo almeno dato il nostro contributo, seppur tardivo, a questo esercizio collettivo di fact checking.

Prenderemo come bersaglio il terzo articolo di Feltri, limitandoci a lanciare tre palle su tre “barattoli facili”.

Tiro_al_barattolo

3. Prima palla: l’università fa un po’ schifo, ve lo dimostro io

Basta una lettura distratta del terzo articolo per notare un lampante non sequitur (talmente evidente da essere stato prontamente notato da almeno un paio di commentatori sul sito del Fatto Quotidiano, vedi qui e qui). Scrive Feltri:

Secondo punto: il sistema universitario italiano fa un po’ schifo, scusate l’eccesso di sintesi. Almeno sulla base delle competenze che vengono riscontrate tra gli studenti italiani e tra gli adulti. Qui ci sono i punteggi Pisa in lettura, matematica e scienze del 2012, rilevati dall’Ocse, raccolti tra gli studenti delle superiori. E a fianco i risultati tra gli adulti: non si vedono grandi miglioramenti. Queste non sono mie opinioni, sono dati.

OCSE_Pisa_vs_Skills

Un “ragionamento” che, nonostante la baldanza (“Queste non sono mie opinioni, sono dati”), fa acqua da tutte le parti:

  • Le rilevazioni OCSE sulle competenze di giovani e adulti non brillano per scientificità. A titolo di esempio, nella rilevazione PISA 2006, circa metà degli studenti non ha sostenuto nessun  test di letttura, ma l’OCSE ha assegnato dei risultati anche  a loro, sotto forma di “plausible values” estratti a caso da una distribuzione statistica (1). Per funzionare, una tecnica di questo genere richiede che la distribuzione statistica usata per le estrazioni descriva adeguatamente la realtà, ma – come ammesso dalla stessa OCSE – il modello usato non supera i test di significatività statistica (2). A detta di uno dei più noti statistici a livello mondiale, David Spiegelhalter, “The statistical model used to generate the ‘plausible scores’ is demonstrably inadequate“.
  • Quando una nazione presenta differenze territoriali così marcate come l’Italia, ha poco senso proporre ragionamenti sul valore medio nazionale. Nel caso dei test PISA lo ha capito persino Roger Abravanel, che in tema di istruzione e università non è un campione di rigore e competenza (ai suoi svarioni Roars ha dedicato un’apposita rubrica intitolata Abravaneide):  “I risultati di regioni come il Trentino Alto Adige, il Veneto e la Lombardia sono tra i migliori d’Europa, … Il sud è invece un disastro” (La ricreazione è finita, p. 131).
  • Anche in assenza di eterogeneità regionale, non ha senso confrontare i valori assoluti di due diverse rilevazioni, perché i punteggi sono espressi in una scala relativa e non assoluta che fissa a 500 la media OCSE: “The average score among OECD countries is 500 points and the standard deviation is 100 points” (PISA FAQ). Pertanto, anche se le due popolazioni di adolescenti e di adulti fossero la stessa coorte rivalutata a distanza di alcuni anni, dal mancato miglioramento dei punteggi non sarebbe possibile desumere miglioramenti o peggioramenti delle competenze, ma solo il mancato avanzamento nella classifica.
  • In realtà, le due popolazioni di giovani e adulti non sono coorti confrontabili. Da una parte abbiamo i quindicenni del 2012, dall’altra il Survey of Adult Skills dell”OCSE copre un’intera popolazione di adulti la cui età varia dai 16 ai 65 anni, le cui competenze sono il risultato di apprendimenti iniziati anche più di 50 anni fa in contesti sociali, economici ed educativi non confrontabili con quelli attuali.
  • Da ultimo, come si fa a dedurre che l’università fa schifo esaminando le competenze di una popolazione adulta la cui percentuale di laureati è decisamente minoritaria? Poche righe prima, lo stesso Feltri aveva ricordato che in Italia si laureano in pochi (come percentuale di laureati siamo ultimi in Europa e destinati ad essere presto superati dalla Turchia, aggiungiamo noi). Non si può dedurre che l’università fa schifo a partire dalla carenza di competenze in una popolazione adulta di cui solo il 12,1% è laureato (OCSE Education at a Glance 2014). Anche se non ce ne sarebbe bisogno, è la stessa OCSE a spiegare l’ovvia relazione tra basso livello di istruzione e competenze degli adulti, citando come caso estremo proprio l’Italia dove il 53% della popolazione non ha nemmeno un diploma di istruzione superiore:

As expected, adults who have not attained upper secondary education (hereafter, “low-educated” adults) score lower, on average, on the literacy scale than adults who have; and the latter group, in turn, scores lower, on average, than adults who have attained tertiary education (hereafter “high-educated” adults) … On average across countries, about 24% of adults have not attained upper secondary education; but this proportion ranges from a low of about 14% in the United States to a high of about 53% in Italy.

OECD Skills Outlook 2013

OECD2015_adult_proficiencyDa un ragionamento come quello di Feltri è arduo concludere che l’università italiana fa  schifo, a meno che non ci si riferisca allo specifico ateneo che ha laureato chi argomenta in modo così maldestro (un ateneo non statale, a voler essere precisi).

4. Seconda palla: studiamo cose sbagliate, ce lo dice l’OCSE

Feltri osserva che un terzo dei lavoratori italiani occupa un posto che non corrisponde alle sue competenze, fornendo anche il grafico che riproduciamo di seguito:

Terzo dato rilevante, ai fini della nostra discussione: secondo l’Ocse, un terzo dei lavoratori italiani occupa un posto che non corrisponde alle sue competenze. Così, a spanne, tendo a pensare che sia più facile trovare un esperto di letteratura inglese in un call center piuttosto che uno scienziato informatico a staccare biglietti in un museo.

Se questo è lo scenario, le spiegazioni possibili sono solo due (entrambe vere): gli studenti italiani studiano cose giudicate inutili dal mercato del lavoro e le imprese italiane non sono in grado di valorizzare le competenze dei loro dipendenti, per esempio un laureato magistrale in economia si trova ad avere le stesse mansioni e quasi lo stesso stipendio di un diplomato in ragioneria…. E’ chiaro che studiamo le cose sbagliate e, per aggravare la situazione, le studiamo anche male.

 Under_Over_Qualified

Ma cosa succede se, invece di guardare grafici di seconda mano e ragionare «così a spanne», andiamo a consultare i documenti originali? In basso a sinistra del grafico si legge che la fonte è uno studio di Adalet, McGowan and Andrews del 2015. Se lo consultiamo, scopriamo che la figura originale conteneva due pannelli (le note in rosso sono nostre).

OECD_Over_Under_skilled

Il pannello A coincide con la figura riprodotta sul Fatto Quotidiano ed evidenzia che l’Italia, secondo le definizioni dell’OCSE, presenta la più alta percentuale di lavoratori con skill mismatch (mansioni che non corrispondono alle competenze). Il pannello B ci permette, però, di capire meglio l’anomalia italiana (sempre secondo l’OCSE).

  • La percentuale di lavoratori overskilled, pur sopra la media, è comunque inferiore a quella tedesca e australiana e non differisce molto da quella coreana e norvegese.
  • Ad essere decisamente fuori dalla norma è la percentuale di lavoratori underskilled, le cui competenze – sempre secondo le definizioni OCSE – sono decisamente inferiori a quelle ritenute necessarie per svolgere soddisfacentemente le mansioni del proprio lavoro. Come lavoratori underskilled siamo decisamente primi (più del 15%) mentre tutti le altre nazioni sono sotto il 10%

Un “dettaglio” non propriamente irrilevante ai fini della discussione sulle lauree “inutili”. E nemmeno sorprendente, dal momento che, come già ricordato per la “palla n. 1”, è l’OCSE a individuare nella bassissima percentuale di diplomati e laureati  una causa primaria del basso livello di competenze dei lavoratori italiani. E la percentuale di laureati in scienze umane in Italia è in linea con quello degli altri maggiori paesi europei, come già ricordato da Marco Bella (vedi dato Ocse).

Insomma, più che studiare le cose sbagliate, il problema è che gli italiani studiamo troppo poco e, invece di correre ai ripari, siamo tra le nazioni che hanno tagliato di più le spese per istruzione e università.

EaaG2014Tertiary

5. Terza palla: la bestia nera dei Bocconi Boys

E non poteva mancare quella che sembra essere la vera bestia nera dei “Bocconi Boys“(3) Alberto Alesina e Francesco Giavazzi: la famigerata laurea in Scienze della comunicazione, il cui spettro Stefano Feltri non può esimersi dall’evocare:

Vero. Ma da qualche parte bisogna pur provare a rompere il circolo vizioso. Ed è più facile che, se ci sono tanti ingegneri informatici, questi – magari da dentro le imprese – migliorino il mercato del lavoro. Ma formare migliaia e migliaia di scienziati della comunicazione di sicuro non aiuta.

Ma cosa dicono i dati? Ecco le statistiche occupazionali a cinque anni dalla laurea dei laureati magistrali in Scienze della comunicazione tratte dall’Indagine 2014 di AlmaLaurea (947 intervistati su 1.413 laureati; per raffronto, lo studio citato da Feltri era basato su un totale 1.642 osservazioni, a rappresentare tutte le lauree e tutto il territorio italiano, vedi Tabella 2 del paper CEPS). A scopo comparativo, riportiamo anche i dati occupazionali di tutti i gruppi disciplinari, presi sempre da AlmaLaurea.

AlmaLaurea2015_Scienze_Comunicazione

AlmaLaurea2015_occupazione_gruppi_disciplinari

Il tasso di disoccupazione dei laureati magistrali in Scienze della comunicazione (11%) è inferiore a quello medio dei laureati (12%). Se la cavano meglio solo i laureati del gruppo sanitario, ingegneristico, economico sociale e di architettura. Numeri che potranno sorprendere i Bocconi Boys, ma che trovano conferma in uno studio condotto da Fondazione Nord Est e università di Padova::

L’88 per cento dei laureati padovani in Scienze della comunicazione trova lavoro. È il risultato di una indagine realizzata da Fondazione Nord Est e Università di Padova. Il 66 per cento, inoltre, ha un contratto di lavoro strutturato, in minima parte nell’ambito dell’editoria. Forte inoltre è il legame con il territorio: 8 ragazzi su 10 lavorano infatti in Veneto (segue la Lombardia con il 9 per cento) e l’81 per cento è stato scelto da aziende private. La ricerca offre una visione confortante anche in merito alla precarietà: la situazione contrattuale vede infatti il 35 per cento di lavoratori a tempo indeterminato, 31 per cento con contratti determinati, in totale un 66 per cento di impiegati contrattualizzati. Ci sono poi i freelance (11 per cento), mentre i lavoratori parasubordinati sono solo l’8 per cento.

Corriere del Veneto

ComunicazioneOccupazione

Ma chi se li prende mai questi laureati che sembrano così inutili?

Il successo di Scienze della Comunicazione a Padova è quello di aver trovato un terreno fertile e ricettivo nella manifattura nordestina. Sono proprio le aziende venete che si stanno internazionalizzando e hanno un grande bisogno di «raccontarsi» per esplorare nuovi mercati che danno lavoro ai laureati in Scienze della Comunicazione. Oggi infatti per competere e presidiare i mercati internazionali le imprese manifatturiere italiane devono saper coniugare il saper fare e il ben fatto con la capacità di narrare le caratteristiche, la cultura e la qualità del Made in Italy.

Stefano Micelli, direttore di Fondazione Nordest

Ci sarà pure un po’ di ottimismo in questa chiave di lettura, ma i numeri sui tassi di occupazione e disoccupazione stanno comunque a dimostrare che ci sono più cose tra cielo e terra che nella mente dei Bocconi Boys (e di Stefano Feltri).

4. Cosa dovrebbe insegnare una laurea

I quattro articoli scritti in pochi giorni mostrano che Feltri, basandosi su una lettura affrettata di un lavoro non ancora accettato per la pubblicazione, ha cercato di dare una patina di “scientificità” ai suoi pregiudizi, trovandosi presto costretto a scrivere altri tre articoli per puntellare i suoi argomenti. Ma, gli è andata male. Quando si trattano temi complessi come quelli dell’istruzione universitaria e dell’occupazione non c’è niente da fare: se cominciano a farti le pulci, non basta incollare qualche grafico e citare numeri maldigeriti per mascherare la carenza di studio e di documentazione. Magari perdonabili nelle chiacchiere tra amici. Un po’ meno in un vicedirettore di giornale, convinto di aver conseguito una laurea più utile di tante altre.

Da parte nostra, fatichiamo a indicare a quale tipo di studio spetti il primato. Di qualsiasi laurea si tratti, dovrebbe però insegnare che prima si studia e si capisce. E solo poi si scrive.

 


(1) Citiamo dalla risposta che l’OCSE ha dato al Times Education Supplement: “The Pisa assessment does not generate scores for individuals but instead calculates plausible values for each student in order to provide system aggregates.” Più precisamente: “It is very important to recognise that plausible values are not test scores and should not be treated as such. They are random numbers drawn from the distribution of scores that could be reasonably assigned to each individual.” La definizione e la simulazione dei “plausible values” sono trattate nel Capitolo 6 del PISA Data Analysis Manual.

(2) È lo stesso capo dell’OECD analysis team, Ray Adams, ad ammettere che il modello statistico usato dall’OCSE viene “respinto” quando è sottoposto a test di significatività statistica: “The sample sizes in PISA are such that the fit of any scaling model, particularly a simple model like the Rasch model, will be rejected. PISA has taken the view that it is unreasonable to adopt a slavish devotion to tests of statistical significance concerning fit to a scaling model.” (Comments on Kreiner 2011). La giustificazione di Adams suona paradossale, in quanto presuppone una sorta di immunità dalle normali regole di verifica scientifica, a patto di raccogliere una grande mole di dati. A tale proposito, lo statistico danese Svend Kreiner scrive: “We do not accept this point of view, because it implies that we should always collect a lot of data to avoid the trouble of testing and correcting statistical models“.

(3) Bocconi Boys è un nickname che il Nobel Paul Krugman ha preso in prestito da Mark Blyth per indicare alcuni economisti legati all’ateneo milanese, tra cui Alberto Alesina.

Send to Kindle
Tag: , , , , , , , , , , , , , , , , , , , , , , , , ,

28 Comments

  1. Giuseppe De Nicolao says:

    Su Twitter, Stefano Feltri, sollecitato da Juan Carlos De Martin prima evoca la malafede e poi ripiega sullo spirito di polemica.


    https://twitter.com/demartin/status/638318121401622528

  2. Marinella Lorinczi says:

    Ovviamente mi fido piu di De Nicolao che di Feltri. Feltri, se ha studiato poco, lo ha fatto anche male. C´e pero un problema di fondo, e lo dico a ragion veduta, perche anch´io mi ero presa l´ingrato compito di smontare scemenze (a livello epistemico), faticando da matti per informarmi e documentare. E poi scrivere e pubblicare. Capita che per dover decostruire poche pagine di luoghi comuni o di pure invenzioni o di mistificazioni bisogna scrivere un libro, per cui passa il tempo, nel frattempo le stupidaggini dette brevemente e magari in maniera accattivante continuano a diffondersi e a radicarsi, e uno arriva in ritardo con la confutazione, magari pure pallosa perche troppo lunga. Insomma, non c´e simmetria e tanto meno sincronia tra i due testi.

  3. Leone Porciani says:

    Complimentoni a Stefano Feltri per l’eccellenza della sua formazione! Gli piace pensare che la NOMEA dell’università che ha frequentato gli abbia fatto trovare subito lavoro. Non male, per il vicedirettore di un giornale! Forse se avesse fatto qualche esame umanistico avrebbe almeno imparato a cercare le parole sul dizionario, prima di usarle…

  4. Francesco Lovecchio says:

    De Nicolao: “Non si può dedurre che l’università fa schifo a partire dalla carenza di competenze in una popolazione adulta di cui solo il 12,1% è laureato”

    =======
    l’OECD skill survey permette di confrontare la literacy proficiency degli adulti anche a parità di livello di istruzione, cioé anche laureati con laureati. Il dato mostra che un laureato italiano capisce bene un testo scritto peggio dei laureati di tutti gli altri paesi oggetto di indagine (Russia esclusa), e addirittura i laureati italiani fanno peggio dei diplomati olandesi e finlandesi. Il dato è reperibile dalla figura 3.9 http://www.oecd.org/site/piaac/chapter3thesocio-demographicdistributionofkeyinformation-processingskills.htm

    • Giuseppe De Nicolao says:

      Beh, Lovecchio se la cava un po’ meglio del povero Feltri (sulla drammatica fallacia del cui ragionamento credo concordi anche Lo Vecchio). Ma, ugualmente, ci troviamo a ragionare con gli oroscopi:
      ______________________
      1. Non si vede come ci si possa fidare dei risultati basati su una metodologia statistica “flawed” (ricordo che i modelli statistici sono “rejected” se sottoposti a test di ipotesi).
      2. Se fosse vero che le università si giudicano in base a degli “skill test” e – in particolare – in base a *questi* skill test (due assunzioni decisamente “eroiche” se non caricaturali), non basta vedere gli esiti, ma bisognerebbe esaminare una specie di “value added”, compensando tutti i fattori di disturbo socio-economico-culturali.
      3. Ragionare sui laureati in un intervallo di età che arriva fino ai 65 anni significa mescolare assieme tali e tanti fenomeni storici da avere l’equivalente di una fotografia un cui il diaframma è rimasto spalancato per diversi giorni: se lo scenario non è fisso, non si distingue più nulla.
      4. Che questi test vadano presi con le molle lo si capisce quando si mettono a confronto rilevazioni diverse. Negli skill test OCSE i laureati USA battono decisamente quelli italiani per literacy e numeracy. Ma nei recenti test TECO svolti da ANVUR (non che io ci creda molto, sia chiaro), i laureati italiani sono comparabili con quelli USA in una tipologia di domande, mentre nei test standardizzati li hanno persino “outperformed”. Certamente, potremmo costruire una sofisticata spiegazione sulle carenze delle università italiane nel fornire competenze di literacy e numeracy (OCSE skill tests), compensate però dalla capacità di insegnare “critical-thinking and written communication skills” (TECO). Smetto qui, perché mi sono ricordato di non aver ancora consultato il mio oroscopo di oggi.
      __________________
      “The results from this feasibility study also indicated that Italian students’ performance were comparable to their American counterparts. The observed mean difference in performance on the Parks PT, one third of a standard deviation away from the mean (.33), while statistically significant given the large number of students tested, is not dramatic. The Italian students also significantly outperformed the American students on the selected response questions, indicating that familiarity with this type of item is not an issue.”
      CLA+ ANVUR Item Analysis Report, http://www.anvur.org/attachments/article/677/Zahner_CLA+.Item.Analysis.Report.Updated.2014.01.29.pdf

    • Giuseppe De Nicolao says:

      Detto tra noi, io mi vergognerei di sostenere in pubblico che si possa dire che l’università di un paese fa schifo (o meno) in base a degli skill-test OCSE. Per crederci, ci vuole una ristrettezza di vedute veramente imbarazzante. Una specie di regressione culturale che cancella qualche millennio di storia del pensiero. Per rimediare si potrebbe pensare a dei programmi di rieducazione che contemplino una buona dose di studi umanistici.

    • Francesco Lovecchio says:

      mi spiace non si apprezzi il dato per quello che è. Comunque per quanto riguarda i vari punti:

      Le osservazioni del punto 1 del commento del 2 settembre 23:36 non si applicano nel caso di semplici medie.

      Le osservazioni del punto 2 sono giuste in generale, ma improbabili quando si confrontano laureati italiani con diplomati olandesi.

      Le osservazioni del punto 3 sarebbero giuste se la distribuzione per età delle varie popolazioni fossero diverse ed ignote. Sappiamo invece che la quota di laureati italiani è piccola, normalmente caratterizzata da popolazione socio-economica più elevata della media, ed è cresciuta negli ultimi decenni. Eventuali implicazioni, semmai, ne verrebbero rafforzate. In ogni caso, sono disponibili anche i dati per fasce d’età, per chi vuole cimentarsi.

      L’osservazione 4 invece ignora gli adattamenti resisi necessari per rendere l’indagine TECO affrontabile dagli studenti italiani e che spiega la “patta” con studenti statunitensi. Gli adattamenti sono così descritti:

      ===
      “L’adattamento italiano è poi consistito nel ridurre il numero di documenti di accompagnamento nella parte PT del test, partendo dall’ipotesi (poi nei fatti dimostratasi purtroppo fondata) che esista una scarsa abitudine alla lettura rapida e accurata da parte dei giovani italiani, e in aggiunta nel contenere a soli 90 minuti21 il test nel suo complesso, confermando 30 minuti per la parte SRQ, ma inserendovi solo 20 e non 25 domande a risposta multipla (come invece avviene nell’equivalente test svolto negli USA).

      Ulteriormente, l’adattamento all’Italia è consistito nell’eliminare dalla parte SRQ quegli elementi dei quesiti che alla platea dei nostri studenti potevano apparire troppo matematici, vista l’ipotesi (anch’essa purtroppo rivelatasi corretta) di una impostazione prevalentemente crociana ancora dominante nella cultura del Bel Paese: per esempio, il Comitato dei Garanti ha deciso che nelle domande non si poteva fare riferimento a più di un grafico o di una tabella per argomento, e che questi non dovevano portare riferimenti a indicatori statistici (come il t-statistico), in Italia largamente ignoti in tutte le discipline diverse da quelle strettamente legate alle scienze in senso stretto.”
      fonte: http://www.anvur.org/attachments/article/248/Rapporto%20TECO%20stralciato.pdf

    • Giuseppe De Nicolao says:

      Rispetto a PISA, lo Skill survey presenta anche problemi di “low response rates”. OCSE mostra ottimismo rispetto alle distorsioni che ciò può aver comportato sugli esiti, ma i dati UK ne sono risultati compromessi. Qui si cammina sulle uova, mi verrebbe da dire (persino senza entrare nel merito del senso e della rilevanza di quello che si va a testare).
      =================================

      “A major threat to the quality of the data produced by the Survey of Adult Skills was low response rates. … The survey’s Technical Standards and Guidelines set a goal of a 70% unit response rate. Five countries achieved this goal. For the most part, response rates were in the range of 50%-60%. [Italy: 55%] … As the proficiency levels of non-respondents are unknown, the NRBA [non-response bias analysis] is carried out by making assumptions about non-respondents. … The overall conclusion was that, on the balance of evidence, the level of non-response bias was in the range of minimal to low in countries required to undertake the extended analysis available. The results for England/Northern Ireland (UK) were, however, inconclusive because many of the analyses were either incomplete or not conducted. Data users should be aware that the analyses are all based on various assumptions about non-respondents. Multiple analyses, with different assumptions, were included in the NRBA to protect against misleading results. However, the lower the response rate, the higher is the risk of hidden biases that are undetectable through non-response bias analysis even when multiple analyses are involved.”
      http://skills.oecd.org/documents/Survey_of_Adult_Skills_Readers_Companion.pdf

    • Giuseppe De Nicolao says:

      A conferma che faccio bene a non fidarmi di ANVUR e TECO. Altri oroscopi. Altri soldi buttati al vento.

    • Giuseppe De Nicolao says:

      Rispetto a PISA, lo Skill survey presenta anche problemi di “low response rates”. OCSE mostra ottimismo rispetto alle distorsioni che ciò può aver comportato sugli esiti, ma i dati UK ne sono risultati compromessi. Qui si cammina sulle uova, mi verrebbe da dire
      =================================

      “A major threat to the quality of the data produced by the Survey of Adult Skills was low response rates. … The survey’s Technical Standards and Guidelines set a goal of a 70% unit response rate. Five countries achieved this goal. For the most part, response rates were in the range of 50%-60%. [Italy: 55%] … As the proficiency levels of non-respondents are unknown, the NRBA [non-response bias analysis] is carried out by making assumptions about non-respondents. … The overall conclusion was that, on the balance of evidence, the level of non-response bias was in the range of minimal to low in countries required to undertake the extended analysis available. The results for England/Northern Ireland (UK) were, however, inconclusive because many of the analyses were either incomplete or not conducted. Data users should be aware that the analyses are all based on various assumptions about non-respondents. Multiple analyses, with different assumptions, were included in the NRBA to protect against misleading results. However, the lower the response rate, the higher is the risk of hidden biases that are undetectable through non-response bias analysis even when multiple analyses are involved.”

    • Francesco Lovecchio says:

      l’osservazione è rilevante se si devono fare analisi sofisticate su dati panel per testare, ad esempio, l’ipotesi che il livello di istruzione della madre influisce sul tempo dedicato allo studio (o sui libri in casa) e quindi sul risultato.
      Quando si parla di semplici medie, tutte quelle osservazioni sono statisticamente irrelvanti.

    • Giuseppe De Nicolao says:

      No, non sono semplici medie, perché i test hanno diversa difficoltà e gli esiti non possono pertanto essere mediati. Perché si possa costruire il ranking bisogna ipotizzare un modello di Rasch con una sola variabile latente (Gnaldi et al: «if unidimensionality is not met, summarizing students’ performances through a single score, on the basis of a unidimensional IRT model, may be misleading as test items indeed measure more than one ability.», http://www.stat.unipg.it/bacci/slides/GnaldiBartBacci-CLADAG.pdf). Da quanto si è visto, i modelli di Rasch usati da OCSE non superano i test di adattamento. Kreiner su Psychometrika mostra che il modello viene “rejected” per tutte le nazioni tranne il Lichtenstein. Inoltre, nella quasi totalità dei casi i “p-values” sono inferiori a 10^-4.

    • Giuseppe De Nicolao says:

      E inoltre se la probabilità di non rispondere dipende dalle abilità, c’è il rischio che salti tutto il giocattolo (distorsione sistematica – bias – che come già visto è assai temuta dalla stessa OCSE). Il 55% di response rate italiano non è per nulla esaltante (target OCSE era 70% ed è stato raggiunto per sole 5 nazioni). Se non piace la metafora del camminare sulle uova, è qualcosa tenuto in piedi con gli stuzzicadenti. Con l’aggravante che stiamo ragionando su una fettina minuscola di realtà, che – se anche misurata con oggettività – vale per la fettina minuscola che è. E per di più la misurazione è piena di crepe. Forse ci sarebbero modi più intelligenti per spendere i soldi dei contribuenti.

    • “Forse ci sarebbero modi più intelligenti per spendere i soldi dei contribuenti”: ad esempio tagliare i salari a tutti gli economisti che si occupano di Education e darli a chi fa ricerca vera. Cosi’ per provare qualcosa di un minimo piu’ efficiente.

    • Alberto Baccini says:

      Io sarei anche d’accordo. Ma vorrei un chiarimento sulla proposta. Se un economista si occupa di valutazione rientra nella proposta? Se sì, mi affretto a cambiare SSD…

    • Non ti preoccupare 😀 !

  5. green_baron says:

    Il discorso di Feltri è molto pericoloso, in quanto gioca sulla “fragilità” degli incerti. Ogni vocazione ha la sua dignità. Secondo gli auspici di questo giornalista la cultura classica, gli studi storico-artistici e quelli filologici (le discipline dell’area 10 per capirci) sono discipline da irresponsabili o quanto meno da qualcuno che prende la vita a cuor leggero (in una parola da fessi). Io consiglio invece a tutti i ragazzi di avere coraggio e di scegliere senza questi calcoli da serva. Consiglio invece al giornalista di raccontare fatti realmente accaduti o, in subordine, di non lavorare ad Agosto, ma di andare al mare.

  6. Giuseppe De Nicolao says:

    Un altro intervento non particolarmente tenero nei confronti di Feltri
    _____________________________
    La buona scuola dei cialtroni
    https://ilsimplicissimus2.wordpress.com/2015/09/01/la-buona-scuola-dei-cialtroni/
    _____________________________
    … In questo senso non si può dire che manchi di strategia: il puntiglio quasi suicida con cui ha cannato tutte le statistiche e manipolato i dati per portare avanti comunque la sua tesi, (immaginiamoci quando pontifica di economia) ne fanno in realtà un elemento prezioso per la classe dirigente che ci ritroviamo e per la sua espressione politica: la grossolanità ideologica e cognitiva con cui è andato avanti non è per nulla un elemento negativo, anzi è una garanzia di adesione a tutte le tesi che converranno e di cui occorrerà convincere l’opinione pubblica.

  7. Pingback: Sindone, il chimico, la fede e la scienza | Ultime Notizie Blog

  8. Pingback: Sindone, il chimico, la fede e la scienza

  9. indrani maitravaruni says:

    De Nicolao, lei è un grande.
    Non riesco a capacitarmi la premura di tutti questi bocconiani nel tenere lontani i ragazzi da Omero, Dante, Caravaggio, Platone. Hanno paura che imparino a usare il cervello? A elaborare un pensiero indipendente?
    Forse sono solo invidiosi.

    • Giuseppe De Nicolao says:

      in effetti, le conseguenze potrebbero essere irreparabili se i ragazzi imparassero a leggere e capire le fonti che citano (e a verificare quelle che citano i maître à penser de noantri). Per non dire delle conseguenze della lettura dei classici.

  10. Pingback: Fuori dal Prisma - ilSole24ORE

  11. Pingback: Amianto a bordo »

Leave a Reply

Newsletter Powered By : XYZScripts.com