Prosegue il dibattito sui fondamenti metodologici dei test INVALSI. Ad un primo intervento di Enrico Rogora, che aveva evidenziato i limiti e la fragilità del cosiddetto “Modello di Rasch” (I test INVALSI sono scientificamente solidi? I limiti del modello di Rasch), ha fatto seguito una replica di Renato Miceli (Invalsi, test di apprendimento nella scuola e modello di Rasch). Pubblichiamo di seguito un ulteriore commento di Rogora che ritorna sulle due questioni chiave relative ai “righelli psicometrici”: ammesso e non concesso che l’INVALSI ne abbia uno, può funzionare e soprattutto, ammesso e non concesso che funzioni, vale la pena utilizzarlo?
Ringrazio Renato Miceli che, con il suo contributo, mi fornisce l’occasione di approfondire e chiarire alcuni aspetti del mio intervento sul modello di Rasch, apparso il 31 luglio 2014 su ROARS. Un punto fondamentale del mio intervento riguarda la differenza tra misure fisiche e “misure psicometriche”, che ho qualificato nel mio contributo come indirette. Miceli osserva che ci sono due significati che si possono attribuire all’aggettivo “indiretto” e in entrambi casi la distinzione tra misure fisiche e misure psicometriche sarebbe priva di significato.
Io attribuisco al termine indiretto un terzo significato, per il quale avrei probabilmente fatto meglio a usare il termine implicito, che ora chiarisco. In un lavoro classico sulla teoria della misurazione[1], Campbell propone un sistema di assiomi che deve essere soddisfatto da una misura fondamentale m. Uno degli assiomi richiede che esista un’operazione ⊕ di concatenazione tra oggetti misurabili tale che m (A ⊕ B) = m (A) + m (B). Per esempio, quando si tratta del peso, la concatenazione di due oggetti misurabili consiste semplicemente nella loro giustapposizione: il peso di due arance è semplicemente la somma dei pesi di ognuna. La Fisica offre esempi di misure fondamentali, da cui si possono derivare tutte le altre. Per le misure derivate non è necessario definire la concatenazione degli oggetti da misurare. È sufficiente legare la nuova misura alle misure fondamentali tramite una legge matematica. Nelle Scienze Sociali e nelle Scienze dell’Educazione invece non esistono misure fondamentali perché non esistono maniere sensate per definire l’operazione di concatenazione: come concatenare due persone inmaniera che il QI di questa “fusione” sia la somma dei QI?. È evidente inoltre che, se non possono essere definite misure fondamentali, non possono esistere neppure misure derivate. La teoria moderna della misurazione ammette però una terza possibilità, quella delle misure implicite, stimate a partire da un modello matematico che spieghi i dati a partire da variabili nascoste che, sotto opportune ipotesi sul modello, assumono, secondo questa teoria, il carattere di misure.
Nel mio contributo del 31 Luglio sostenevo che il carattere di queste “misure” è comunque profondamente diverso da quello delle misure della fisica (fondamentali e derivate). Le misure psicometriche, a differenze delle misure fisiche, sono “misure” di proprietà non ben definite effettuate in condizioni critiche.
Per quanto riguarda l’INVALSI, Miceli ha ragione ad osservare chel’ INVALSI non pubblica i risultati dell’analisi di Rasch e quindi è utile che spieghi meglio cosa intendo affermando che INVALSI usa il modello di Rasch. Intendo che:
- la preparazione del test INVALSI viene fatta, con grande impegno di risorse, anche economiche, seguendo procedure che hanno lo scopo di giustificare a posteriori l’applicazione del modello di Rasch all’analisi dei dati;
- Sulla base del punto precedente l’INVALSI rivendica pubblicamente, almeno nelle numerose tavole rotonde e seminari cui ho partecipato, di aver messo a punto un righello per misurare il sistema scolastico italiano.
Le mie riflessioni non riguardano se e come l’INVALSI abbia costruto un righello per la misurazione del sistema scolastico italiano, né sul fatto che sia in grado di usarlo bene, cioè tenendo presente tutte le cautele cui Miceli fa opportunamente cenno nel suo articolo, ma sollevano dubbi sul fatto che un tale righello, ammesso e non concesso che l’INVALSI ne abbia uno, possa funzionare e soprattutto sollevano dubbi sul fatto che, ammesso e non concesso che funzioni, valga la pena utilizzarlo.
Più precisamente affermo che i righelli psicometrici funzionano in maniera profondamente diversa dai normali righelli ed è pericoloso utilizzarli in maniera acritica. Per chiarire ulteriormente voglio fare un esempio. Se mi dicono che in un certo ambiente c’è una temperatura di 30 gradi sotto lo zero, non ci andrò mai in pantaloncini corti e maglietta, ma se dicono che il mio indice PSA[2] è pari a 8 mi guardo bene dal farmi automaticamente asportare la prostata. Le misure psicometriche, secondo me, assomigliano più all’indice del PSA che alla temperatura: sono indicatori discutibili. Mi sembra invece che chi dovrebbe dare gli orientamenti fondamentali di una politica dell’istruzione in Italia non aspetti altro che sbandierare la presunta oggettività di questi indicatori per decidere una politica avente tra i suoi punti qualificanti quello di migliorare i risultati dei test PISA o dei test INVALSI.
C’è un ulteriore punto che vorrei sottolineare e che meriterebbe, a mio avviso, un approfondimento specifico e ben documentato, cioè quanto sia costoso in termini economici e di risorse costruire e utilizzare un righello psicometrico.
Nel contributo di Miceli si invita a non fare ulteriore confusione sulla definizione di oggettività specifica. Io sono confuso e vorrei maggiore chiarezza. Quando si cerca di ridurre un concetto complicato come quello di oggettività ad una definizione matematica si ottiene qualcosa di diverso, e in generale di più limitato[3]. Su questa differenza si possono, consapevolmente o inconsapevolmente creare degli equivoci che, per scaltrezza o ignoranza, possono provocare vantaggi consistenti a qualcuno e svantaggi consistenti ad altri. Si possono produrre svariati esempi; mi limiterò a quello di equità. Nel contesto della modellizzazione matematica dei giochi d’azzardo esiste una definizione classica e plurisecolare di gioco favorevole, sfavorevole ed equo[4], che riguarda una classe ristretta di giochi, basati sull’iterazione di semplici giocate indipendenti, cioè tali che il risultato di una non influenzi in alcun modo il risultato delle altre. Ad ogni giocata il giocatore è tenuto a pagare una quota di ingresso fissa q e riceverà un premio, che dipende dall’esito della giocata. Per esempio, ogni giocata può consistere nel lanciare un dado: se esce uno, il premio è 1 euro, se esce due il premio è due euro, e così via. Il problema è quello di valutare, dato il gioco, se la quota di ingresso è favorevole o sfavorevole al giocatore. Nell’esempio del lancio del dado è chiaro che se la quota di ingresso è due euro, il gioco è favorevole, mentre se la quota di ingresso è di cinque euro, il gioco è sfavorevole. È chiaro anche che giocando ad un gioco favorevole non ci aspettiamo di vincere sempre, ma solo che “in generale” e “giocando abbastanza a lungo” le probabilità di vincere siano molto elevate. Nel caso del gioco che abbiamo apenna descritto, la nostra aspettativa di vincere un euro è la stessa della nostra aspettativa di vincere due, tre, quattro, cinque o sei euro. È quindi ragionevole pensare alla media aritmetica delle possibili vincite, cioè 3.5 come numero che rende l’idea di quanto ci possiamo aspettare di vincere “in media” in una giocata. A questo punto entra in scena la matematica per formalizzare questa idea definendo il valore di aspettazione di una giocata[5] e definendo un gioco favorevole quando la quota di ingresso è minore del valore di aspettazione, sfavorevole quando è maggiore ed equo quando è uguale. Cosa rende ragionevole la definizione? La legge dei grandi numeri, secondo cui, se il gioco è favorevole il giocatore è praticamente certo di un guadagno netto, pur di giocare abbastanza a lungo e viceversa, se il gioco è sfavorevole, il giocatore è praticamente certo di una perdita netta, pur di giocare abbastanza a lungo. Cosa ci aspettiamo nel caso di un gioco equo? Osserva Feller che
La sola conclusione possibile in questo caso è che, per n [numero delle giocate] sufficientemente grande, il guadagno o la perdita netta sarà, con elevatissima probabilità, piccola rispetto a n. Non viene stabilito se [tale guadagno] sarà verosimilmente positivo o negativo. Questo fatto non è stato tenuto in debito conto nella teoria classica, che chiama equa una quota di ingresso uguale al valore di aspettazione della singola giocata e equo il corrispondente gioco. Molto danno è stato prodotto dall’uso del fuorviante potere suggestivo di questo nome. Bisogna comprendere che un gioco equo può essere spiccatamente sfavorevole al giocatore[6].
Ho voluto discutere un dettaglio l’esempio per dare un’idea precisa della distanza che si può avere, anche in contesti semplicissimi, tra la definizione matematica di un concetto e la sua interpretazione nella vita di tutti i giorni e ai paradossi che ne possono nascere e agli abusi che si possono perpetrare come conseguenza. Per esempio, non è difficile ipotizzare uno scenario in cui si possa sfruttare la distanza tra la definizione matematica di equità che ho presentato e l’idea comune che se ne ha, per convincere qualcuno, sulla base della certificazione matematica dell’equità del gioco, a giocare un gioco equo ma assolutamente sfavorevole. Per evitare che “molto danno venga prodotto dall’uso del fuorviante potere suggestivo” del termine oggettività mi sembra quindi opportuno sollecitare gli esperti di psicometria a delimitarne chiaramente il significato. In particolare vorrei porrequesta domanda: il modello di Rasch, che è l’unico che verifica la proprietà matematica di specifica oggettività è in virtù di questo il solo modello psicometrico in grado di stimare una misura implicita o no? Mi sembra che, sulla base delle citazioni che ho fatto nel mio precedente contributo, la risposta sia NO, mentre per molti sostenitori del metodo di Rasch, e se non capisco male, anche di Miceli, la risposta sia SI. Mi verrebbe da dubitare fortemente della serietà scientifica di una comunità che non riesce a dare una risposta univoca a questa questione, ma io non sono un esperto e posso aver frainteso i termini del dibattito, aver posto in maniera scorretta la questione o non essere al corrente della letteratura recente. Vorrei approfittare della competenza del prof. Miceli e della sua disponibilità a prendere in considerazioni le mie opinioni per chiedere un aiuto a chiarire questa questione che io, ma non solo io, ritengo importante.
Miceli mi attribuisce sorpresa e sarcasmo nel constatare che “un test definisce la variabile che si intende misurare”. Non era questa la mia intenzione e me ne scuso. Mi sono solo divertito a cercare di trarre una conseguenza logica da questo fatto, il principio di indeterminazione per le misure di Rasch.
Per quanto riguarda la parte finale dell’articolo di Miceli, condivido molte delle premesse ma sono molto critico sulla proposta. Sono critico innanzitutto per sfiducia negli strumenti statistici. Credo che la localizzazione di misurazioni imprecise di proprietà non ben definite in condizioni critiche porti a un rapidissimo degrado delle qualità delle “misurazioni” e alla conseguente completa inaffidabilità della loro sintesi. Sono critico anche perché immagino insormontabili difficoltà organizzative e costi enormi. Sono critico infine in virtù della seguente considerazione. “I modelli matematico-statistici di misurazione che appartengono alla famiglia IRT consentono di compiere operazioni (dette in inglese di link o equating)” nell’ipotesi che qualcosa che Miceli chiama “la stessa proprietà mentale degli alunni” esista. Un gran numero di docenti e scienziati non crede che una tale proprietà esista e che sia misurabile[7]. Inoltre tra quelli che lo credono ci sono differenze significative su cosa e quale questa proprietà debba essere. L’esperienza di preparazione dei test di ingresso in diversi corsi di laurea mi insegna che la scelta della tipologia delle domande da inserire nel test, che sarebbe la declinazione concreta della “proprietà mentale da testare”, si risolve solo, e dopo estenuanti discussioni, quando si decide di demandare a qualcuno la preparazione delle domande e di non volerci più avere a che fare perché la ricerca della condivisione diventa un onere eccessivo in termini di tempo e risorse intellettuali. Prevedo quindi un guazzabuglio di proposte e la produzione di dati molto lontani dalle ipotesi, peraltro criticabili, di applicazione dei modelli IRT. Non condivido per nulla la fede che i modelli statistici sappiano trarre misurazioni sensate da questi dati. In altre parole, senza la necessità di pronunziarsi sul meccanismo di estrazione degli indici o delle “misure”: garbage in, garbage out.
[1] Campbell, N.R., An account of the principles of measurement and calculation, London: Longmans, Green & Co., 1928.
[2] PSA è l’acronimo di Prostate Specific Antigen, una proteina sintetizzata dalle cellule della prostata. Alti livelli di PSA si possono riscontrare in presenza di diverse malattie della prostata, tra cui il tumore alla prostata, in riferimento al quale il dosaggio del PSA restituisce spesso falsi positivi.
[3] Voglio approfittare dell’occasione per concedermi una digressione che tocca uno dei temi caldi della cultura contemporanea e cioè la tendenza a gettare alle ortiche la bimillennaria riflessione filosofica su concetti fondamentali come quelli di spazio, tempo, continuità, oggettività, ecc., sostituendo la complessità e la ricchezza di questa riflessione con formalizzazioni matematiche che, pur potendo essere utili a livello modellistico, non eliminano la necessità di confrontarsi ad un livello filosofico più profondo. Accontentarsi della formalizzazione matematica di questi concetti non può che inaridire una delle fonti stesse della nostra civiltà e tra i segnali macroscopici più evidenti, oltre alla perdita della dimensione culturale dell’insegnamento, credo che ci sia da annoverare amche la tendenza di limitare lo studio di processi psicologici o educativi complessi alla considerazione di modelli matematici semplicistici. Cfr. G. Israel, Incubi postmoderni e tirannia della tecnoscienza.
[4] William Feller, An introduction to probability, vol 1, 3d ed., Wiley, 1968.
[5] Se la giocata prevede di assegnare i premi a1,…,an con probabilità pari a p1,…,pn rispettivamente, il valore di aspettazione è allora a1p1+…+anpn.
[6] William Feller, An introduction to probability, vol 1, 3d ed., Wiley, 1968, chap. X, p. 249. Un esempio di gioco equo e sfavorevole è discusso nell’esercizio 15 del cap. X. Si tratta di un gioco in cui le possibilità di vincita ad ogni giocata sono 0, 2, 22, 23, 24,… , 2k,… euro e la probabilità di vincere 2k euro è 1/(2k k(k+1)). Il valore di aspettazione, cioè la quota di ingresso è 1 euro. Il gioco è equo in senso matematico (la dimostrazione richiede conoscenze di analisi matematica), ma giocando ripetutamente si ha la certezza, a lungo andare, di andare in rovina, o più correttamente, si va in rovina con probabilità pari a uno.
[7] Cfr. G. Israel, Chi sono i nemici della scienza?. Il libro si colloca in una tradizione che, come lo stesso prof. Israel ha avuto modo in molte occasioni di ricordare, inizia dalle riflessioni di Cauchy “… Coltiviamo con ardore le scienze matematiche, ma senza volerle ostentare al di là del loro dominio; e non illudiamoci che si possa affrontare la storia con delle formule, né sanzionare la morale con dei teoremi o del calcolo integrale”, passa per quelle autorevolissime di Poincaré secondo cui “l’applicazione del calcolo alle questioni morali è lo scandalo della scienza”, ed è condivisa da molti altri scienziati, come il biologo contemporaneo François Jacob (uno dei fondatori della biologia molecolare) che ebbe a scagliarsi con parole durissime contro la pretesa di rappresentare le facoltà intellettive con parametri quantitativi, per giunta unidimensionali, come il QI.
Quanto presunzione e superficiale conoscenza dell’argomento.
Le gentili “precisazioni” del Prof. Miceli ahimè non sono state colte.
Ciò che mi dispiace è che tali approssimative e spesso infondate critiche-discussioni rendono tutto l’impianto (e mi riferisco a Roars ed ai suoi indubbi meriti) meno credibile.
È facile sminuire le analisi degli altri tacciandole di essere presuntuose, superficiali, approssimative e infondate (e di non aver colto le precedenti precisazioni). È facile, ma non credibile, almeno fino a quando non si entra nel merito, cosa che su Roars abbiamo l’abitudine di fare. Tra l’altro, l’esperienza insegna che gli aggettivi denigrativi abbondano nei commenti di chi è a corto di argomenti.
Denigratoria mi sembra la posizione di chi sminuisce un intero e più che centrale settore scientifico disciplinare (psicometria appunto) con argomentazioni quantomeno discutibili. Chiudo qui la discussione. La mia era solo una esortazione ad una maggiore umiltà e ad un più marcato rispetto per chi ha dedicato una vita allo studio di questi argomenti.
Se ha qualche critica da fare la faccia cosi’ magari anche noi capiamo quali sono le argomentazioni discutibili: non si capisce poi cosa c’entri l’umilta’ e il rispetto, mah.
Caro pastern,
ho assunto una posizione inequivocabilmente critica sulla psicometria e sul cattivo uso che, secondo me, è facile e pericoloso farne. Ritengo però che criticare sia diverso da denigrare. Le mie argomentazioni sono sicuramente discutibili ma ho cercato di motivarle. Se le sembrano superficiali mi piacerebbe cogliere l’occasione per approfondirle discutendone, come ho cercato di fare con il prof. Miceli. Credo che una discussione, anche aspra, purché non reciprocamente denigratoria su questi temi sia molto utile.
Sono sorpreso e piuttosto sconcertato dalla piega che ha preso il dibattito intorno ai test Invalsi (cui ho pensato di contribuire con il mio articolo del 21 settembre u.s.). Mi pare che Rogora e la Redazione di Roars siano molto interessati al “dito” che indica (del quale si affannano a descrivere i presunti difetti), snobbando la “luna” indicata. Sono intervenuto per segnalare quelli che, a mio parere, sono gli aspetti più rilevanti in grado di sollevare molte perplessità sui risultati resi noti da Invalsi in questi anni e che rendono sostanzialmente inservibili tali risultati (almeno quelli citati nel mio articolo).
Ho anche cercato di ripristinare un minimo di buon senso, suggerendo l’opportunità di evitare l’attribuzione di ogni responsabilità al cosiddetto modello di Rasch. Ora (mi pare di comprendere dall’ultimo intervento di Rogora) si cerca di prendersela con la psicometria e non con chi (a spese di tutti noi) produce dati inservibili! Non sono particolarmente informato al riguardo e, pertanto, posso sbagliare, ma mi pare che presso Invalsi operino a vario titolo matematici e statistici; che io sappia: nessuno psicometrico.
Comunque, in generale, non sono molto interessato a discutere sui fondamenti epistemologici della psicometria e, nello specifico, non lo sono in questa sede.
Nel suo ultimo intervento Rogora mi attribuisce una risposta affermativa ad una domanda da lui stesso formulata (in maniera, peraltro, non chiarissima) inerente il fatto che il modello di Rasch sarebbe l’unico ad ottemperare al requisito di “oggettività specifica” così come definito dallo stesso Rasch (inserendomi a forza, inoltre, nella cerchia da lui definita dei “sostenitori del modello di Rasch”). Penso che una lettura più attenta di quanto ho scritto consentirebbe di reperire la risposta cercata e, soprattutto, potrebbe evitare di porsi e porre domande oziose.
Ho seguito il consiglio del Prof. Miceli e ho riletto quanto ha scritto nel suo contributo del 21 settembre per reperire la risposta alla mia domanda “non chiarissima”. Mi sembra che il prof. Miceli abbia già anticipato di non essere interessato a proseguire la discussione. Mi dispiace perché non sono riuscito a mantenere la discussione su un piano reciprocamente proficuo. Mi permetto comunque di fare ulteriori considerazioni e dare qualche chiarimento a vantaggio di chi fosse interessato ad approfondire la questione, perché non sono ancora riuscito a “reperito la risposta”.
Nella mio contributo del 30 settembre ho scritto: il modello di Rasch, che è l’unico che verifica la proprietà matematica di specifica oggettività, è in virtù di questo il solo modello psicometrico in grado di stimare una misura implicita o no?
Per rendere più chiara la domanda, la spezzo in due affermazioni distinte
Affermazione 1: Il modello di Rasch è l’unico modello psicometrico che gode della proprietà di specifica obiettività.
Affermazione 2: I parametri che si possono stimare da un modello psicometrico sono misure, solo se il modello gode della proprietà di specifica obiettività.
Nella domanda del 30 settembre assumo l’affermazione 1 (che per me non è cruciale, ma sono ben disposto a discuterne) e domando se l’affermazione 2 sia vera.
Non è questa però la domanda che mi interessa, e quindi Miceli ha ragione nel dire che non sono stato chiaro. La domanda che mi interessa è:
“perché ci sono opinioni diverse a riguardo dell’affermazione 2?”.
Chiamerò domanda 1 la prima domanda e domanda 2 la seconda, quella che mi interessa.
L’opinione del Prof. Miceli sull’Affermazione 2 mi sembra molto chiara:
“… è importante segnalare che è proprio tale proprietà [[quella di oggettività specifica]] quella che consente di dire che quelle stime sono delle “misure” (non dei semplici numeri assegnati ai vari elementi) …”;
(ho messo in parentesi quadra una mia aggiunta)
In virtù di questa opinione l’ho considerato tra i sostenitori della risposta SI alla prima domanda (ma non tra i sostenitori del metodo di Rasch!).
I sostenitori del SI non si basano su opinioni ma su due Teoremi che, modulo l’ovvia necessità di dovute formalizzazioni, precisano matematicamente la sostanza espressa nelle Affermazioni 1 e 2 e che chiamerò rispettivamente Teorema 1 e Teorema 2.
Questi teoremi appaiono in varie forme in tutti i libri sui modelli di Rasch, ma non mi sembra ancora il caso di enunciarli esplicitamente. Questi teoremi dovrebbero implicare che le stime che provengono da tutti i modelli psicometrici diversi dal modello di Rasch, per esempio il modello IRT a due parametri, non sono misure ma solo, per continuare a usare le parole di Miceli “dei semplici numeri assegnati ai vari elementi”.
Trovo il teorema 2 più delicato del teorema 1, perché assume una definizione di misura che ho difficoltà a separare dalla nozione di oggettività specifica, ma indipendentemente dalle mie difficoltà su questo punto mi sembra che ci siano molti ricercatori in psicometria che non condividono l’affermazione 2.
Baso questa mia affermazione di esistenza di persone che non condividono l’affermazione 2 sulla base:
1. delle affermazioni di van der Linden contenute nell’articolo citato nel mio primo intervento
2. del contenuto di un articolo di Svend Kreiner del 2007 su Nordic Psychology
3. del contenuto di un articolo di Hans Irtel del 1995 su Psychometrika
4. di scambi di idee con statistici olandesi impegnati nell’item banking dell'”INVALSI OLANDESE”.
Ovviamente un teorema non può essere giusto per alcuni e sbagliato per altri, ma si può ben trattare di una situazione analoga a quella che mi sono dilungato a descrivere nel mio contributo del 30 settembre sulla nozione di gioco equo: la distanza tra una definizione matematica di un concetto (misura, oggettività, ecc.) e il significato che gli viene attribuito. Non si tratta quindi di essere in disaccordo su un teorema ma sulla sostanza di un’affermazione. E’ in questo senso, secondo me, che è necessario un chiarimento.
Io non sono partigiano né dell’una né dell’altra posizione ma vorrei capire meglio se e come si può parlare di misurazioni psicometriche fuori dal contesto della teoria di Rasch e per essere ancora più concreto pongo due domande le cui risposte sarebbero di grande aiuto per cominciare a capire:
a. Quali sono le proprietà che godono le misure stimate con il modello di Rasch ma che non godono i parametri stimati con il modello IRT a due parametri?
b. Come è possibile basare, come si fa in Olanda, l’item banking sul modello a due parametri se questo non permette di stimare misure con le stesse proprietà di invarianza che godono le misure di Rasch.?
Queste richieste di chiarimento non vogliono essere una polemica con nessuno, né una sfida e, per quanto mi riguarda, non sono domande oziose. Sono domande volte a istaurare una buona pratica: quella di promuovere canali di discussione tra esperti e non esperti (quale mi ritengo io) su problemi tecnici che possono avere una rilevanza non trascurabile nella vita di tutti i giorni. La discussione dei principi su cui si fondano gli strumenti di valutazione dei loro limiti e dei loro pregi, mi paiono in tal senso un occasione esemplare.
Anche se spesso è vero che le principali difficoltà nella soluzione di un problema nascono dalla formulazione sbagliata della domanda, non mi pare che questo sia il caso. In questo, e solo in questo, mi sento di dissentire dall’ottimo intervento di Renato Miceli. Porsi l’obiettivo di costruire strumenti di misura psicometrici che abbiamo la stessa “forza” di quelli messi a punto nell’ambito delle cosiddette scienze “dure”, mi pare più che legittimo, addirittura doveroso. Quello che potrebbe essere fuorviante è paragonare la psicometria non alla fisica ma ad una versione del tutto astratta e idealizzata (caricaturale) di questa disciplina. Il figlio di un genitore importante può legittimamente aspirare a superarlo, basta che non ne ingigantisca la figura al di là di ogni possibile e raggiungibile vetta. A questo proposito l’esempio della temperatura mi pare particolarmente significativo. E’ interessante come l’affermazione di costruire uno strumento che sia simile ad un termometro possa suonare ad alcuni così “blasfema”. A mio parere è un’aspirazione del tutto legittima, anzi una simile aspirazione è stata spesso il motore di molta ricerca di valore. Mentre dietro lo stupore mi pare che spunti il vecchio settarismo che pretende l’assoluto primato della fisica su tutte le altre discipline, e va sottolineato come, il più delle volte, non siano affatto fisici i sostenitori di una visione così manichea. Tornando alla temperatura, di seguito vorrei proporvi alcune considerazioni che spero aiutino a chiarire cosa intendo dire. La temperatura è una tipica “grandezza” che prima abbiamo imparato a misurare e solo dopo, ma molto dopo, a definire! Per lungo tempo la temperatura è stata semplicemente ciò che si misurava con il termometro (vi ricorda qualcosa?). Poi, nel cercare di meglio definirla abbiamo messo su un’intera branca delle fisica: la termodinamica. Ma anche così il tutto non ha funzionato subito; infatti, dopo avere stabilito i principi della termodinamica ci si è accorti che la temperatura ancora sfuggiva, e si è provato ad aggiungere, a cose quasi fatte, un ulteriore principio che definisse questa ambigua grandezza, e lo si è dovuto battezzare “principio zero”, dato che non era conseguenza dei principi già introdotti, era l’anno 1930! Ma ancora, la temperatura è una misura d’insieme, nel senso che descrive le proprietà statistiche di un aggregato, è quindi una misura “indiretta” per eccellenza, qualsiasi accezione si voglia dare a questo termine! Anzi non è nemmeno una misura di un osservabile fisico, quanto un “indice che riassume lo stato di agitazione molecolare”, correlata con l’energia cinetica media delle molecole. Sicuramente la storia della temperatura non finisce qui, e probabilmente essa regalerà ancora molte sorprese ai fisici! Sono accaduti sempre grossi guai quando abbiamo avuto la presunzione di affermare che questo o quell’aspetto della natura non avesse più segreti per noi! Quello che era mia intenzione mettere in evidenza è che uno sguardo più attento ci potrebbe aiutare a cogliere molto più somiglianze che dissimilarità. In sostanza, la tanto decantata differenza tra le misure sperimentali e quelle psicometriche è solo una differenza a posteriori. Dopo un lungo e faticoso cammino, irto di errori e trabocchetti, appena giunti su un pianoro possiamo divertirci a dileggiare coloro che, più in basso, sono ancora alle prese con alcune delle difficoltà da noi appena superate. Ma basta che giriamo la testa è subito vediamo che quella da noi conquistata non è che una piccola altura, la vetta è ancora lontana, e la strada da percorrere si presenta ben più ripida e difficile di quella già percorsa. Così, dobbiamo ammettere, a malincuore, che i nostri compagni più a valle non sono poi così più distanti di noi dalla meta! Può anzi succedere che essi, proprio avvalendosi della nostra esperienza, potranno aiutarci a scoprire strade più agevoli verso di essa (vedi il problema della misura).
Scusatemi ancora per il tempo sottrattovi, auguro a tutti buon lavoro.
Non sono sicuro di comprendere a fondo l’analogia con la temperatura, ma se si ha una idea teorica sbagliata si possono misurare cose senza significato fisico. La temperatura ha senso per un sistema che si trova vicino ad una situazione di equilibrio termodinamico. Se si misura la temperatura di un sistema lontano dall’equilibrio termodinamico, che si puo’ sempre definire dalle velocita’ come per le molecole di un gas, si misura una quantita’ che non ha senso fisico. Bisogna essere molto accorti con questi paragoni.
Grazie molto Francesco Sylos Labini, dici di non comprendere l’analogia ma la tua intelligente osservazione mi ha dato un prezioso suggerimento che forse mi consente di meglio chiarire ciò che intendevo dire.
Se qualcuno pretendesse di aver misurato la temperatura di un sistema lontano dall’equilibrio non sarebbe forse sbagliato se invece di prendercela con la sua faciloneria noi ce la prendessimo con il termometro, quale strumento di misura, e poi, per sovrapprezzo, con il concetto stesso di temperatura e con la termodinamica tutta?
Non sarebbe più semplice dire che tale ricercatore sta usando impropriamente lo strumento, e il relativo concetto? Ovvero, che egli lo sta usando senza tenere conto dei limiti e vincoli che solo la conoscenza di una disciplina quale la termodinamica dell’equilibrio permette di considerare.
Penso che in modo simile vada valutato il rapporto tra l’uso improprio che alcuni ricercatori possono fare dei modelli di Rasch e il loro effettivo significato teorico, compresi limiti e vincoli. Ciò è probabilmente più vicino alla realtà che non una indiscriminata condanna della psicometria.
Questo è in fondo quanto mi premeva dire, grazie ancora per l’opportunità e per la suggestione che poi – me ne rendo conto, ahimè – ha finito per generare solo un’ulteriore analogia! Pazienza.
Saluti a tutti
Ho letto con grande interesse l’appassionante discussione successiva al nuovo efficace e bell’intervento di Enrico Rogora in risposta a Renato Miceli che ha evidenziato alcuni limiti e fragilità dei modelli IRT. Come si sa, la ricerca scientifica è parte di un tutto, dove convivono molte incertezze e alcune possibili verità. Sicuramente la psicometria è un settore giovane dove, come giustamente rileva Rogora, le incertezze sono moltissime e le verità ben poche. Proprio per questo credo sia di un qualche interesse trovare modo di affrontare argomenti, come quello della bontà dei modelli IRT, in un ambiente multidisciplinare nel modo in cui Roars permette di fare. Certo occorrerebbe parecchio spazio per rispondere argomentando compiutamente ai tanti quesiti formulati. A tale proposito credo che vi siano spunti interessanti collegati a quanto scritto da Rogora in un recente articolo (luglio 2014) di un giovane ricercatore che lavora presso il Centro Docimologico dell’Università di Verona facilmente scaricabile da internet e pubblicato su Psychometrika (http://link.springer.com/article/10.1007/s11336-013-9348-y). L’articolo è interessante perché evidenzia alcuni limiti intrinsechi alle assunzioni proprie dei modelli IRT ma, al contempo, aiuta a caratterizzare i confini all’interno dei quali i modelli possono essere utilmente usati. Credo sia il caso di spendere, infine, una parola di apprezzamento per chi, nel nostro paese, ha la forza di affrontare costruttivamente e creativamente un argomento così arduo e complesso.
È trascorsa una settimana da quando avevo proposto la lettura di un articolo che a mio modesto avviso forniva alcune importanti risposte a quanto valutato criticamente da Rogora. Mi aspettavo qualche commento in proposito anche alla luce della disponibilità manifestata da Rogora ad approfondire gli argomenti trattati e il suo rammarico per quanto manifestato da Miceli: “Mi sembra che il prof. Miceli abbia già anticipato di non essere interessato a proseguire la discussione. Mi dispiace perché non sono riuscito a mantenere la discussione su un piano reciprocamente proficuo”.