Il 4 maggio 2012 i proff. Andrea e Pietro Ichino hanno chiesto l’intervento della CiVIT (Commissione per la Valutazione, l’Integrità e la Trasparenza nella pubblica amministrazione) e del Garante della privacy allo scopo di rendere pubbliche le valutazioni dei singoli ricercatori per mezzo dei dati raccolti per adempiere all’obbligo della valutazione 2004-2010 della qualità della ricerca (VQR), disposta dal Ministero dell’Istruzione, Università e Ricerca, con le modalità previste dall’Agenzia per la valutazione (ANVUR).

La CiVIT dava il suo parere positivo il 24 maggio, ma dopo giorni arrivava la risposta negativa della stessa ANVUR.

Le polemiche che sono seguite rendevano evidente che la VQR – un esercizio colossale (si vedano le statistiche), che ha mobilitato tutto il sistema della ricerca pubblica italiana (fatta attraverso le Università e gli Enti di Ricerca) – concepita per valutare il complesso della produzione delle varie istituzioni scientifiche, ha regole (dettate dall’ANVUR) tali da rendere del tutto senza senso l’uso dei dati per la valutazione dei singoli ricercatori (come dibattuto qui, qui e qui).

E’ invece di questi giorni, annunciata sempre sul sito dei proff. Ichino, la risposta (documento completo in pdf) del Garante dela privacy, che rigetta la richiesta per le stesse ragioni che erano apparse immediatamente evidenti: la VQR è concepita e impostata per la valutazione delle cosiddette strutture (i dipartimenti universitari e gli enti di ricerca) e non della produttività dei singoli ricercatori, anzi, al contrario, l’uso di quei dati per “l’apprezzamento del merito scientifico dei singoli ricercatori” fornirebbe “elementi non del tutto congrui“. E il Garante sottolinea che a tale scopo “il legislatore ha previsto altre e diversamente articolate procedure“.

Appariva chiaro sin dall’inizio che un’iniziativa logicamente viziata non sarebbe stata positiva per ottenere i risultati dichiarati dai proff. Ichino – la valorizzazione del merito, la trasparenza, il miglioramento dell’efficienza del sistema della Ricerca italiana – che sono invece assolutamente condivisibili.

Non rimane che augurarsi, allora, che questa bocciatura venga accolta con serenità e che spinga – finalmente – a ragionare assieme a tutta la comunità sugli strumenti più corretti attraverso i quali garantire il merito e la trasparenza. Anche l’ANVUR potrebbe fare tesoro di questo episodio, riconoscendo che il mondo accademico e della ricerca non sono arroccati in una cieca difesa contro ogni forma di valutazione, ma – al contrario – è disponibile a utilizzare quelle pratiche e metodologie internazionalmente riconosciute, in uno spirito di confronto e apertura che sono (o dovrebbero essere) il tratto distintivo della comunità scientifica.

Send to Kindle

101 Commenti

    • Sempre per la serenità, è da notare come Pietro Ichino nel suo articolo che StefanoL segnala non spende una parola che sia una – concentrandosi invece sugli aspetti tecnici della applicabilità delle normative – sul cuore della questione e della argomentazione anche del Garante, ossia la inadeguatezza del procedura della VQR, per sue proprie finalità intrinseche, alla valutazione dei singoli ricercatori, da cui consegue che la trasparenza che si può sensatamente richiedere è quella circa i risultati “tecnicamente” perseguiti, la valutazione di strutture. Sarebbe bello se su questo punto – se si deve proseguire una discussione – si discutesse. In modo che trasparente risultasse anche l’argomentazione.Gli arcana imperii mi sembrano citati del tutto a sproposito.

      Devo dire che colpisce un po’ anche nella risposta di Ichino il riferirsi alla “trasparenza totale sull’operato di questi “nostri” dipendenti” – per il motivo che una valutazione (chiunque la svolga e comunque la svolga) di X non è l'”operato” di X, bensì l’operato di Y, di chi (persona o ente) valuta X. Questa confusione tra dati di fatto e valutazioni non è affatto trasparenza, ma una lente che distorce la realtà. Trasformare qualunque valutazione (anche quelle svolte in modo che si può considerare adeguato) in fatti oggettivi non rende un buon servizio alla chiarezza concettuale, ai fatti, e alle valutazioni.

  1. Nella VQR non ci sono gli elementi per la valutazione dei singoli. Mi hanno chiesto solo 3 dei lavori che ho fatto nel periodo 2004-10. Non avrebbe senso valutare uno sulla base solo di 3 lavori in 7 anni. La cosa assurda invece è che Ichino non si scaglia contro l’ANVUR per avere trasparenza sulle mediane che sono calcolate in teoria su tutte le nostre pubblicazioni. Nessuno si muove per mettere in chiaro il sito del CINECA. Che paese ridicolo!

    • In effetti, se si rendesse visibile il sito cineca (opportunamente popolato), il rendere note anche le valutazioni della VQR a me parrebbe sensato (non so dire se anche legittimo giuridicamente): si metterebbe così a disposizione un quadro ragionevolmente completo della produzione scientifica dei docenti italiani, rispondendo alle critiche (mi pare soprattutto relative alla parzialità e all’eventuale attribuzione ai coautori dei lavori migliori) che sono state rivolte alla proposta di Andrea e Pietro Ichino.
      Credo inoltre che sarebbe semplice per le singole università rendere visibile i dati raccolti nel sito CINECA di loro sponte, almeno per quelle che usano U-Gov (alcune università, come Modena, già lo fanno, o così ho capito dalla risposta ricevuta un po’ di tempo fa ad un mio intervento su ROARS da parte di un lettore).

    • @FSL: scusa ma non capisco. Alcuni dei lavori di cui sono autore o coautore sono stati selezionati dalla mia struttura per la sua valutazione (col fine di massimizzare la valutazione complessiva sono stati eventualmente forlmalmente “assegnati” anche a coautori diversi da me). Perché la valutazione di (tutti ovviamente, non solo quelli a me formalmente assegnati) tali prodotti non dovrebbe essere visibile? Probabilmente io ne avrò scritti anche (magari molti) altri, alcuni dei quali persino migliori di alcuni di quelli valutati. Equivale a valutare malamente il singolo? A me sembra chiaramente incompleta, ma non tale da fornire un’immagine falsata (a meno che non si presuma che siano le valutazioni ad essere state fatte male, o la scelta da parte della struttura).

    • La valutazione di un ricercatore è una cosa complessa non possiamo ridurla all’esame di 3 pubblicazioni (per alcune solo bibliometrico). Non parliamo poi dei revisori un po’ bizzarri che talvolta sembrano assegnati solo per segare.

    • A me pare che un conto sia essere d’accordo che non si può ridurre il giudizio su di un ricercatore alla sola valutazione VQR(probabilmente bibliometrica) di alcuni (3 o giù di lì) suoi lavori, altro ritenere che tale valutazione non debba esserer resa pubblica.

    • Renderla pubblica per chi? Per degli ignoranti che non sanno nemmeno di che si parla? Oppure per gli accademici? Se è per gli accademici allora pubblichiamo tutto a cominciare da chi fa la domanda a PRIN e FIRB e dei relativi giudizi e poi anche l’ANVUR pubblichi tutte le sue elucubrazioni medianiche nel dettaglio e, naturalmente insisto, mettiamo in chiaro il database del CINECA.

  2. E’ evidente che i due figuri non hanno la più pallida idea di cosa voglia dire fare ricerca! Nel momento in cui l’università, cioè lo stato, mette a disposizione di tutti i mezzi per poter lavorare allora ben venga la valutazione. Ma poichè sappiamo come vanno assegnati i vari finanziamenti PRIN, FIRB e quant’altro è ovvio che ci saranno disparità enormi. Sino a quando i progetti verranno valutati ” a sentimento” come mi ha risposto tempo fà un funzionario del CINECA, con che faccia mi vengono a chiedere di pubblicare i risultati della ricerca? Oppure quando mi scrivono che il progetto non può essere ammesso perchè la sottoscritta non ha mai lavorato in quel settore (falso!)? Qual’è l’azienda che paga i propri dipendenti e poi non fornisce loro i mezzi per produrre?
    I fratelli Ichino si devono solo tappare la bocca e non parlare di ciò che non conoscono.

  3. Davvero non riesco a capire perché i due fratelli Ichino, che certamente stupidi non sono, si siano applicati tanto ad un’operazione tanto inutile quanto potenzialmente deleteria.
    Possibile che non abbiano riflettuto sulla severa opera di attribuzione dei paper tra coautori che ogni dipartimento ha svolto per massimizzare il risultato del dipartimento, ovviamente passando sopra gli interessi individuali?

    È stato fatto così: questo al coautore 1 e non al coautore 2 perché l’1 altrimenti non coprirebbe le tre vacancies. Fa niente che al 2 restano le cose meno prestigiose. E non protestate perché questa è una valutazione collettiva e dobbiamo essere furbi.

    Dunque quale furore valutativo ha reso tanto ciechi i fratelli Ichino da portarli a combattere questa inutile battaglia? Cosa si aspettavano di poter dimostrare? Non certo la qualità dei singoli. Volevano trasparenza sulla VQR? Per tale meritevole istanza era sufficiente il dato aggregato per dipartimento. Oppure sospettano qualche imbroglio? Veramente non ne capisco il senso. Forse dovrei leggere con più attenzione le loro motivazioni… bah…

  4. Condivido pienamente la richiesta di Ichino di pubblicare i dati della VQR per le singole pubblicazioni. Forse ci potrebbe essere un problema sul punteggio dei singoli ricercatori, ma non si può discutere SULLE VALUTAZIONI DELLE PUBBLICAZIONI. Si può apprezzare o criticare il sistema ANVUR che porterà ad assegnare un punteggio per ogni singola struttura di ricerca. Questa valutazione è composta anche dalle pubblicazioni dei ricercatori che vi afferiscono.

    Non riesco a capire perché il valore numerico totale somma debba essere pubblico mentre la i singoli addendi no. Nei settori bibiometrici, ad esempio, la valutazione avviene attraverso i quadrati predisposti dall’ANVUR.

    Una pubblicazione è eccellente se supera un certo indice di impatto e un certo numero di citazioni. Di fatto, tutte le università italiane hanno accesso a questi dati. Altre pubblicazioni saranno valutate tramite peer review. Non capisco il problema di divulgare questi dati… si tratta di numeri, non della formula segreta della Coca Cola. Le pubblicazioni sono prodotti intellettuali che gli autori hanno deciso di rendere pubblici! Non riesco a capire il danno derivante ai singoli nel rendere pubblico quante citazioni hanno avuto questi lavori o quale sia l’Impact Factor della rivista che ospita il lavoro!

    Pensate ad un qualsiasi articolo scientifico che misuri una grandezza tramite la somma di altre. Se gli autori scrivessero: “riportiamo il valore della somma, ma non dei singoli addendi, pur essendo la maggior parte di questi dati pubblica” sarebbero massacrati da qualsiasi revisore.
    La pubblicazione della valutazione dei singoli prodotti dovrebbe essere utile sia ad ANVUR, per poter dimostrare di aver svolto un buon lavoro che a chi utilizza le classifiche finali, per valutarne la loro attendibilità. Qualcuno poi sostiene che questi dati potrebbero essere utilizzati per una valutazione inattendibile dei singoli. Anche i database Scopus e ISI potrebbero essere utilizzati per questo. Allora, come procediamo? Il garante della Privacy chiederà ai suddetti database di cancellare i nomi di tutti i ricercatori italiani perché qualcuno potrebbe costruire classifiche in modo improprio?

    • A parte il tono, non sembra che tu abbia colto il punto centrale: come ben saprai, i dati VQR sono stati raccolti e aggregati per per valutare le strutture, non i singoli autori. A questo scopo l’attribuzione degli articoli è stata appositamente “ottimizzata”.

      Pubblicizzare i dati VQR farebbe alquanto torto a chi è stato sfavorito a titolo individuale, per così dire, da questo processo. Non sembra così complicato.

      Riguardo l’obiezione che questi timori può averceli solo chi ha pubblicato poco, sarebbe bene mettersi in testa che ci sono SSD dove si pubblica meno e si pubblicava molto meno, per tanti motivi.

    • @Marco Bella
      Ecco, appunto, quanto scrive – non l’avevo letto mentre scrivevo il commento precedente – è un buon esempio di quello che sostenevo prima.
      “Una pubblicazione è eccellente se supera un certo indice di impatto e un certo numero di citazioni.” Che una pubblicazione superi un certo indice di impatto e di citazioni è un dato (se lo è: dipende se il sistema che enumera citazioni e calcola l’impatto è in grado di fare il suo compito). Che per questo sia “eccellente” è un valutazione, il cui conseguire pacificamente dai dati è oggetto di amplissima discussione. Dimenticarsene è un bel problema.
      Nel caso specifico: la valutazione della VQR non è una valutazione “totale” – e mi guarderei da qualunque cosa volesse essere “totale” – ma sensatamente una valutazione a campione; e il campione viene scelto in base alle finalità della procedura (p. es. nei modi che descrive Bruna Bruno). Questo influenza il processo e il suo output e dunque il senso dei dati.
      Se trasparenza è lasciar vedere le cose per come sono, far vedere dati che trasmettono informazioni falsate non è trasparenza.

    • @Bella: il punto è molto semplice e lo possono capire tutti, finanche i fratelli Ichino. A parte le questioni giuridiche (su cui hanno torto), gli articoli selezionati per la VQR sono stati scelti per ottimizzare la valutazione di una struttura (obiettivo della valutazione della VQR) e non la valutazione di una singola persona. All’INFN per fare un esempio le pubblicazioni sono state assegnate ai singoli tramite un metodo montecarlo. E’ chiaro ora? Dopodiché se vuole consultare Scopus o ISI per vedere quante citazioni ha un articolo è libero di farlo ma non c’entra niente con i risultati di una valutazione del tipo VQR.

    • Cari Francesco, Stefano e Claudio,

      L’eccellenza a cui mi riferisco è quella della classificazione in classi A, B, C, D, (Eccellente, Buono, Accettabile, Limitato), secondo ANVUR. Coincide questo con una “eccellenza” generale? Sinceramente, non lo so.

      Se la pubblicazione di un mio collega Tizio ha 100 citazioni totali, e la mia 200, quello è un dato di fatto. Se la pubblicazione di mio collega Caio ha 400 citazioni, è un altro dato di fatto. Non c’è nulla di negativo nel rendere pubblici questi dati, anzi dato che le pubblicazioni sono state scritte da persone che ricevono uno stipendio pubblico.
      Se qualcuno poi vuole costruire una classifica Caio 400, io 200, tizio 100, allora l’errore è di questo qualcuno, non di chi rende pubblici i dati.
      Non mi sognerei mai di dire a Tizio che dato che la sua pubblicazione ha metà delle mie citazioni è peggio della mia, perché sarebbe un assurdo scientifico. Una cosa è la valutazione individuale, un’altra i dati grezzi. Lo scopo della VQR è di valutare le strutture, non i singoli ricercatori. Il 50% del peso della valutazione dipende dai prodotti della ricerca.

      Io sostengo che le valutazioni DELLE PUBBLICAZIONI, devono essere noti, NON il modo con cui sono state attribuite ai singoli.

      Non sarebbe molto più utile e trasparente una valutazione nella quale si chiarisce che il numero finale (somma) deriva da una serie di numeri, piuttosto che dare solo il numero finale?

  5. Scordavo: per me, e penso per tutti i colleghi attivi, non c’è alcun problema nella prospettiva di un Cineca “aperto”. Non ho nulla di cui vergognarmi.

    ..ma immagino già che gli onniscienti economisti fremeranno di sdegno, in televisione e dalle colonne dei principali quotidiani nazionali, nel comunicare ai contribuenti che “la recente apertura del sito Cineca conferma ciò che dicevamo da anni: IL 50% DEI DOCENTI UNIVERSITARI ITALIANI E’ SOTTO LA MEDIANA!”.
    La classe non è acqua..

    • Caro StefanoL, temo che lei non segua con attenzione la stampa. Il Sole 24 Ore non ha aspettato l’apertura del sito CINECA, ma ha giocato d’anticipo: il 18 settembre scorso ha pubblicato un articolo intitolato

      “Pubblicazioni ‘insufficienti’ per un professore su due”
      http://rassegna.unipv.it/bancadati/20120918/MI12025.pdf

      A qualcuno gli articoli del Sole 24 Ore sull’ANVUR (VQR e ASN) potrebbero far venire in mente i Cinegiornali LUCE, ma, alla luce di certe perle, un paragone più adeguato sembra essere Fascisti su Marte:

      http://youtu.be/gza7DrsJTLM

  6. A parte l’opinabilità della classificazione ANVUR in classi A,B,C,D di cui si è discusso a suo tempo su ROARS, io credo che si possano tranquillamente rendere pubblici i vari U-GOV dei singoli atenei che ho visto essere blindati. La mia università ha creato una propria anagrafe della ricerca che è accessibile a tutti. L’unico problema è che non tutti, soprattutto i clinici, hanno aggiornato la loro pagina. Però visto che si parla di soldi pubblici allora io voglio vedere anche tutto ciò che hanno prodotto i vari deputati, senatori, assessori e galoppini vari.

    • @Lilli, si potrebbe pubblicare tutta la produzione scientifica di ogni ricercatore, con o senza la classificazione ANVUR in classi.

      Per verificare i casi “scandalosi” bastava molto, ma molto meno della macchina messa su dall’ANVUR.

  7. Probabilmente il risultato della geniale trovata degli Ichino’s è che ora sulla VQR calerà il buio totale. A suo tempo scrivemmo: ANVUR dovrebbe impegnarsi a rendere noti e disponibili i dati elementari (individuali, cioè dei singoli prodotti di ricerca) a tutti coloro che ne faranno richiesta per fini di controllo/studio/ricerca. Con l’impegno che i dati non saranno mai pubblicati a livello individuale. Mi aspetto che il parere del garante sarà usato per negare l’accesso ai dati elementari per fini di studio. Dando luogo così ad una valutazione che mai nessuno potrà controllare/verificare/riprodurre!
    Così come è avvenuto per i dati CIVR-VTR, che solo alcuni privilegiati (perché membri dei panel civr o “convenzionati” con il CIVR) hanno potuto analizzare e usare per le loro pubblicazioni.

    • Aiuto mi sono perso.

      1) Gli Ichino chiedono ad ANVUR di pubblicare i dati della VQR. Chiedono un parere al garante della privacy.

      2) ROARS (tutti i redattori?) ritiene che i dati delle valutazioni sulle singole pubblicazioni debbano poter essere disponibili a chi ne faccia richiesta per controllo trasparenza. E’ tanto diverso dire che dovrebbero essere pubblicati?? Per soddisfare alla richiesta di ROARS, sarebbe stato opportuno avere un parere dal garante della privacy.

      3) ROARS critica la richiesta degli Ichino, che ripeto mi sembra molto simile a quella di ROARS.

      4) io ritengo in analogia alla richiesta di ROARS che la pubblicazione dei risultati solo dei SINGOLI PRODOTTI DELLA RICERCA, NON la valutazione dei ricercatori debba essere resa pubblica.

      Quale è la differenza tra dare i dati a chiunque ne fa richiesta e pubblicarli?
      Non capisco inoltre come in tutto questo la richiesta di chiarimenti degli Ichino al garante della privacy possa causare “il buio totale”. Chiedo un’illuminazione.

    • Marco Bella:
      2)”ROARS (tutti i redattori?) ritiene che i dati delle valutazioni sulle singole pubblicazioni debbano poter essere disponibili a chi ne faccia richiesta per controllo trasparenza. E’ tanto diverso dire che dovrebbero essere pubblicati??
      3) ROARS critica la richiesta degli Ichino, che ripeto mi sembra molto simile a quella di ROARS”
      ________________
      La posizione di A.Baccini (che condivido) e la sua differenza rispetto a quella degli Ichino (che volevano la pubblicazione a livello individuale) era spiegata chiaramente:
      ________________
      Baccini: “ANVUR dovrebbe impegnarsi a rendere noti e disponibili i dati elementari (individuali, cioè dei singoli prodotti di ricerca) a tutti coloro che ne faranno richiesta per fini di controllo/studio/ricerca. Con l’impegno che i dati non saranno mai pubblicati a livello individuale.”
      ================
      Marco Bella:
      Non capisco inoltre come in tutto questo la richiesta di chiarimenti degli Ichino al garante della privacy possa causare “il buio totale”. Chiedo un’illuminazione.
      ________________
      La spiegazione è semplice: come esito finale non sarà più possibile avere accesso alle valutazioni per motivi di studio (nemmeno con l’impegno di non divulgarle). Pertanto , non sarà possibile nessuna verifica indipendente delle valutazioni della VQR. Buio totale, soprattutto per tutti i “prodotti” valutati tramite peer-review. Per quelli sottoposti a valutazione bibliometrica automatica, il problema non dovrebbe porsi (almeno si spera, visto quello che sta succedendo con le mediane dell’ASN, dove persino elementari nozioni matematico-statistiche sono state messe in discussione).

  8. La procedura e la finalità VQR hanno fatto sì che le strutture (dipartimenti, atenei) selezionassero in ultima istanza le pubblicazioni da inviare all’ANVUR ai fini del migliore risultato per la struttura *e non* per i singoli (così è accaduto anche per aree non bibliometriche). In diversi casi la scelta fatta dalle strutture potrebbe non coincidere con la scelta che avrebbero operato i singoli docenti/ricercatori per se stessi, perciò diffondere dati riguardanti le singole pubblicazioni rappresenterebbe una violazione del diritto del singolo di scegliere da sé per quali prodotti essere giudicato. Inoltre, e soprattutto, l’analisi di soli tre prodotti non garantisce una campionatura sufficiente per giungere a un giudizio adeguatamente bilanciato del singolo docente/ricercatore, mentre essa è considerata sufficiente per formare, sommata alle valutazioni di tutti gli altri prodotti della struttura di appartenenza, un giudizio complessivo bilanciato della struttura stessa.
    Per questo motivo il dato della VQR si ferma alla struttura/unità di riferimento e non può né deve scendere al livello sottostante (singoli docenti/ricercatori).

    Nel RAE (e in simili valutazioni di altri paesi) il giudizio viene prodotto e diffuso a livello di strutture e sottostrutture (atenei e dipartimenti/ istituti/scuole); i dati dei singoli prodotti e individui vengono trattati anonimamente solo per ottenere le percentuali riferite alle strutture.. Come si può vedere in http://www.rae.ac.uk/results/default.aspx i risultati del RAE sono raggruppati per unità disciplinari e per istituti/dipartimenti e vengono fornite le percentuali dei prodotti valutati nei 4 livelli (stars) previsti (“Percentage of research activity in the submission judged to meet the standard for [4, 3, 2, 1 stars])”. Mai viene fatta menzione dei risultati dei singoli docenti.
    Nel RAE (REF) i dati individuali non possono essere diffusi in alcuna circostanza, pena sanzioni anche severe. L’eventuale accesso personale ai propri dati individuali, inoltre, è regolato da limitazioni restrittive del loro uso.

    Dalle regole preliminari per il RAE 2008:
    “53. The main panels and sub-panels will not rate or score individual researchers. This is in keeping with the strong majority endorsement of the review group’s recommendation that ‘star ratings’ not be given to named individuals as a matter of principle.
    54. The funding bodies, and the main panels and sub-panels, will of course comply fully with data protection legislation on subject access requests from individuals regarding data about them which is held or generated as part of the RAE process. When such requests are being met, clear guidance will be provided to the individual as to the nature and status of any data held. However, the RAE process will not provide for either sub-panels or main panels to reach collective judgements on the overall quality of a named individual’s work and outputs, so no such collective judgements will be available to be disclosed.”

  9. Gli ichinos tendono ad argomentare come se fossero portatori di una verita’ assoluta. Basta vederne gli articoli scientifici e, peggio, gli articoli sui grandi giornali dove pubblicano. Il problema e’ che i controargomenti non hanno lo stesso spazio. La vqr e’ valutazione delle strutture non dei singoli. Purtroppo, non solo gli ichinos, molti fanno e faranno di tutto per distorcere la vqr ed utilizzarla per fornire giudizi (incompleti) sui singoli. Stiamo sicuri che al termine della vqr, l’unico dato che circolera’ sulla stampa sara’ quanto hanno pubblicato i ricercatori italiani.

    • Biological Gender Differences, Absenteeism, and the Earnings Gap

      By Andrea Ichino and Enrico Moretti*

      In most countries, women are absent from work more frequently than men. Using personnel data, we find that the absences of women below the age of 45 follow a 28-day cycle, while the absences of men and of women over the age of 45 do not. We interpret this as evidence that the menstrual cycle increases female absenteeism. To investigate the effect on women’s earnings, we use a simple model of statistical discrimination. Consistent with themodel, we find absenteeism has a more negative effect on men’s earnings and this differ ence declines with seniority. The increased absenteeism induced by the 28-day cycle explains at least 14 percent of the earnings gender differentia

      http://emlab.berkeley.edu/~moretti/cycle17.pdf

      Does Menstruation Explain Gender Gaps in Work Absenteeism? Jonah E. Rockoff Mariesa A. Herrmann April, 2011

      Abstract Ichino and Moretti (2009) find that menstruation may contribute to gender gaps in absenteeism and earnings, based on evidence that absences of young female Italian bank employees follow a 28-day cycle. We find this evidence is not robust to the correction of coding errors or small changes in specification, and we find no evidence of increased female absenteeism on 28-day cycles in data on school teachers. We show that five day workweeks can cause misleading group differences in absence hazards at multiples of seven, including 28 days, and illustrate this problem by comparing absence patterns of younger males to older males.

      http://jhr.uwpress.org/content/47/2/493

    • @Sylos Labini
      confutare le tesi di una persona ridicolizzando la persona mi sembra una caduta di stile. Il tema non è quello che la persona fa, ma la sua opinione. Discutiamo le opinioni.

    • Bruna Bruno: “confutare le tesi di una persona ridicolizzando la persona mi sembra una caduta di stile.”
      _______________
      Scrivendo che riportare il titolo e l’abstract di un articolo scritto da A. Ichino, significhi ridicolizzarlo, lei va ben oltre le critiche di Sylos Labini.

    • Per la questione tecnica mi sono già espresso sia prima che ci fosse il pronunciamento del garante della privacy che dopo (ovvero sopra). Non era lei che si domandava “Davvero non riesco a capire perché i due fratelli Ichino, che certamente stupidi non sono” ? Ognuno trova una sua riposta in base agli elementi che conosce.

    • Premessa: apprezzo moltissimo il suo lavoro e quello di tutta la redazione di roars. Lo trovo utile, interessante e “scientificamente” non superficiale. Soprattutto costoso in termini di tempo ed impegno. Ma non penso che ‘gli altri’ siano stupidi.
      Argomento: la contestazione è molto più efficace quando si riferisce ai dati e/o alle ipotesi su cui si basa un’azione o una proposta. La contestazione perde di efficacia se si riferisce all’individuo che propone invece che all’oggetto della sua proposta.
      Conclusione: è inutile e dannoso utilizzare argomenti non pertinenti, soprattutto quando si è in minoranza o semplicemente non sugli organi di stampa principali.
      Tutto qui.

    • A dire il vero, i due articoli non sono così fuori tema. L’articolo di A. Ichino è rappresentativo del paradigma usato per affrontare la valutazione della produttività, attraverso metodi matematico-statistici applicati in modo abbastanza “audace” in contesti sociali lontani dagli esperimenti di laboratorio. La replica di Rockoff et al. mette in evidenza le possibili fragilità di questo approccio. L’idea di dare le pagelle dei professori in base alle valutazioni della VQR, strutturalmene pensate per un altro scopo, mi sembra rientri nello stesso paradigma: un uso disinvolto di metodi e dati motivato più dallo scopo (mostrare che le donne sono meno produttive per ragioni biologiche oppure fare la pagella dei buoni e cattivi professori senza curarsi troppo delle distorsioni strutturali) che dal raggiungimento di risultati scientificamente robusti.

    • Confido che nelle 4 ore scarse trascorse fra il post di FSL e la replica di GdN sulla rilevanza di questi abstracts riguardo alla discussione, quest’ultimo si sia spulciato gli articoli con attenzione in modo da poter determinare che Rockoff abbia ragione…

    • Li conoscevo già entrambi. Le critiche di Rockoff sono più che sensate e, al di là del dettaglio tecnico che mi sembrava giustificato, evidenziavano bene la fragilità dell’approccio di A. Ichino.
      Mi sembra interessante questo passo da Rockoff et al. che mostra che anche gli uomini hanno problemi mensili (ciclo mestruale maschile?):
      _____________
      “… if anything, male teachers are more likely than their female colleagues to initiate absence spells in 28-day cycles.
      An important feature of this analysis is our large sample size, so the lack of any evidence of a menstruation-absence link among New York City teachers is not due to lack of power. While the econometric difficulties associated with the five-day work week remain, the results presented above, in conjunction with the re-analysis of the Italian bank data, suggest that there exists no solid empirical evidence in favor of the biological-based explanation for increased work absenteeism among women.”
      _____________
      Ovviamente sto scherzando (mi mancano le competenze endocrinologiche). Il punto di Rockoff è che la metodologia di A. Ichino non è robusta e ciò viene mostrato sia con argomenti teorici che analizzando un data set sufficientemente esteso da evitare problemi di “lack of statistical power”.

  10. @paolo bertoletti: perché è un voto del singolo ricercatore distorto dal fatto che è costruito con 3 sole pubblicazioni (6 per gli enti di ricerca) attribuite dalla struttura per massimizzare il voto della struttura. è un voto sbagliato, perché pubblicare una classifica sbagliata?

    Se Paolo e Francesco avessero pubblicato insieme 6 articoli, 3 da D e 3 da A, la struttura avrebbe potuto attribuire (perché conviene per massimizzare il punteggio, per es. attribuendo altri articoli a dei coautori diversi) tutti i migliori a Paolo (facendolo schizzare in alto nel giudizio) e i peggiori a Francesco (facendolo precipitare) o VICEVERSA. E’ una fortissima distorsione, mi sembra non sia semplicemente un giudizio incompleto

    • Sono d’accordo che i risultati della VQR non dovrebbero essere usati per produrre “in automatico” una classifica tra ricercatori, ma credo che possano offrire un elemento di valutazione (specie se fosse basata su risultati di peer review) che (forse) non si dovrebbe gettare via. In particolare, siccome il dato elementare della valutazione riguarda i contributi, nel tuo esempio Paolo e Francesco come coautori dovrebbero condividere il giudizio ricevuto, e non mi pare un obiettivo difficile da realizzare in modo semplice e trasparente (anche in strutture molto grandi), al di là dell’attribuzione formale. Ma magari mi sbaglio.

  11. @Marco Bella: pubblicare i giudizi di tutti i prodotti “spersonalizzati” potrebbe servire a controllare i giudizi delle strutture, in questo caso io non sarei contrario, ma NON E’ ciò che chiede il sen. Ichino.

    Infatti gli Ichino sorvolano la questione della forte distorsione introdotta dalle 3 (o 6) pubblicazioni e dalla attribuzione da parte delle strutture (per massimizzare il punteggio della struttura stessa), e parlano esplicitamente di valutare i singoli in questo modo scorretto (come comprende e esplicita anche il Garante)

  12. @paolo bertoletti

    sì, non buttare via le informazioni… ma qual è la probabilità che vengano invece utilizzate, magari per scopi scandalistici (se Paolo è anche consulente di un ente pubblico o un politico o semplicemente un prof. famoso) semplicisticamente così:

    Francesco AAA
    Paolo DDD -> licenziamolo!

    secondo me è molto alta

  13. @marco bella e @paolo valente @paolo bertoletti
    Difficile “spersonalizzare” gli articoli. Siccome l’oggetto della valutazione è la struttura e non i singoli, i dati dovrebbero essere resi disponibili per il solo controllo a chi ne faccia richiesta, con tutte le garanzie che non vengano pubblicati in forma disaggregata elementare. Non interessa il singolo giudizio sul singolo prodotto, ma interessa sapere come è andata complessivamente la valutazione.
    Oltre al controllo dei calcoli, che visto cosa è successo con le mediane, andrebbe fatto; ci sono questioni scientifiche interessanti: tipologie di prodotti sottoposte; valutazioni medie per tipologia, correlazioni tra giudizi dei revisori (nelle aree non bibliometriche) e indicatori bibliometrici disponibili; a me personalmente interesserebbe studiare la “tenuta” dei quadrati magici nelle aree bibliometriche…
    Per tutto questo il dato individuale è strumentale, non interessante in sé.

    • concordo che controllare i calcoli sarebbe sacrosanto e che la richiesta del dato individuale è strumentale. a me andrebbe benissimo chiedere la garanzia che non venisse pubblicato il dato atomico, che mi rendo conto sarebbe la cosa più praticabile.

      però temo che permettere di accedere ai dati per fare i controlli non verrà mai neanche preso in considerazione

    • @Alberto Baccini: a te interessa poter esaminare la procedura VQR di valutazione delle strutture. Bene, speriamo che sia possibile, come sarebbe bene che fosse.
      Ritieni invece, come molti dei lettori di ROARS, che il dato informativo riguardante la valutazione del singolo contributo non vada pubblicato, presumibilmente perché potrebbe falsare l’immagine dell’attività del singolo docente. Questa è un’opzione ragionevole, peraltro condivisa dall’esercizio di valutazione inglese (RAE). A me sembra potenzialmente uno spreco, ma tant’è.

    • Non è facile evitare distorsioni anche ricorrendo alla condivisione dei voti di tutti i prodotti di cui si è coautori. Se sono coautore di qualcuno con cui ho scritto lavori “minori” che non rientrano nei miei tre migliori lavori, cosa succede? Se il mio collega li include nella sua tripletta VQR e la loro valutazione diviene pubblica, essa viene mediata con quella dei miei tre migliori lavori appannando il mio punteggio. L’unica soluzione corretta sarebbe prendere i tre migliori punteggi dei lavori di cui sono coautore, a prescindere dal loro inserimento nella mia tripletta personale (c’è anche il caso che i miei tre migliori lavori siano finiti nella tripletta di un collega, vedi INFN). Tuttavia, anche in questo modo, se io sono primo autore di questi tre lavori finisco per ottenere lo stesso punteggio di chi è coautore del tutto secondario. Meglio per lui, direte, ma grazie al mio traino, questo gli consente di scavalcare ingiustamente ricercatori che sono più validi di lui. L’uso distorto delle classifiche è sotto gli occhi di tutti (si pensi alle classifiche internazionali degli atenei che hanno ben poco di scientifico, ma finiscono per orientare persino le politiche nazionali). Eviterei di mettere in circolazione dati meno che cristallini, soprattutto quando la stampa nazionale sull’onda delle mediane ha già scritto articoli intitolati “Pubblicazioni ‘insufficienti’ per un professore su due” (http://rassegna.unipv.it/bancadati/20120918/MI12025.pdf). Viceversa, sono del tutto favorevole a all’accesso per motivi di studio e a spalancare al mondo sia CINECA che U-GOV.

  14. Ichino un altro aspirante tecnocrate che studia da ministro e si è scordato volutamente di essere un’intellettuale….
    e poi sapete come sono stati reclutati i valutatori della VQR…?
    prima di rendere pubblici i risultati dei singoli ricercatori vorrei che fossero noti i nomi dei valutatori…
    non mi fido dei valutatori senza volto…..

  15. @ Paolo Valente, Giuseppe de Nicolao, Alberto Baccini,

    Grazie per i commenti. Spero che questo sito rimanga un posto bellissimo (grazie al vostro impegno) ove confrontarsi anche se con opinioni specifiche diverse in alcuni argomenti.

    I dati della VQR potrebbero essere utilizzati in vari modi. Nel modo scientificamente corretto descritto da Baccini, e nel modo errato scandalistico descritto nell’esempio e di Paolo e Francesco da Paolo Valente, per costruire estemporanee classifiche di ricercatori che non hanno correlazione con la realtà.

    Ci sono una serie di dati scientifici che dovrebbero avere accesso limitato, ad esempio i dati sulla salute delle persone in uno studio medico-scientifico. E’ questo il caso dei dati VQR, che ripeto riguardano informazioni fornite volontariamente per essere divulgate (pubblicazioni)? Sembrerebbe proprio di no, dato che se si legge in dettaglio la risposta del Garante, che le obiezioni alla pubblicazione dei dati son o di diversa natura. Per la mia interpretazione, il garante obietta che non c’è atto legislativo AL MOMENTO che ne preveda la pubblicazione, non che questi dati non siano pubblicabili a priori.

    Dal momento che i dati IN LINEA DI PRINCIPIO sarebbero pubblicabili, sarebbe secondo me opportuno che questo avvenga. Per una serie di motivi:

    1) Per le finalità di controllo/statistica che ha descritto bene Baccini.

    2) Il problema non è la costruzione di improvvisate classifiche di ricercatori sulla stampa scandalistica. La credibilità di una tale operazione sarebbe minima. Il problema vero che solo alcuni soggetti all’interno delle strutture potrebbe avere accesso a questi dati, e distribuire risorse in modo arbitrario basandosi su dati che solo loro hanno e non sono quindi verificabili in modo indipendente.

    La pubblicità dei dati delle singole pubblicazioni avverrà sicuramente e inevitabilmente all’interno di un gruppo ristretto. Per evitarne usi impropri, in mia opinione sarebbe assolutamente auspicabile la loro pubblicazione in chiaro da parte di un ente (università, ANVUR).

    • Se la situazione sul piano della discussione pubblica non si fosse così gravemente alterata a causa di un attacco forsennato e pluriennale alle funzioni di docenza pubblica (di scuola ed università), le osservazioni di Marco Bella sarebbero ineccepibili.
      Dopo tutto si tratta di dati che pertengono all’attività pagata con soldi pubblici di impiegati dello stato. Sembrerebbe ovvio che qualche semplice clausola interpretativa relativa a come leggere i dati potrebbe essere sufficiente a chiarire possibili fraintendimenti.
      La verità però è che, se così stessero le cose, quei dati avrebbero un interesse davvero scarso con riferimento a valutazioni individuali perché dell’attività a livello individuale danno conto solo in modo molto parziale. E tuttavia, il fatto stesso che gli Ichini ne facciano una bandiera della valutazione meritocratica dei singoli ci fa capire come si intenda farne precisamente un ulteriore tassello del deprecabile uso ideologico di questi ultimi anni.
      Si noti che questa discussione è analoga a quella che si è prodotta qualche tempo fa relativamente all’uso dei test Invalsi nella scuola: i test di per sé possono essere utili per intendere punti di forza e debolezza in molte realtà territoriali diverse e come tali fonti informative sono stati difesi dai loro promotori tecnici. Solo che questo non è stato il modo in cui i test sono stati annunciati ed utilizzati dall’allora ministro Gelmini che ne ha fatto una clava polemica per discernere tra docenti buoni o scadenti, produttivi o improduttivi. Ovviamente quell’atteggiamento ha generato anche allora una chiusura a riccio dei docenti, che hanno finito spesso per rifiutarsi di collaborare.
      Il punto di fondo è che l’atteggiamento di ‘liberismo primitivo’ che anima molti personaggi della scena politica italiana fa loro concepire gli operatori del mondo dell’istruzione pubblica non come un gruppo con cui cercare di collaborare, ma come una casta da tenere a catena corta, sotto perenne ricatto e giudizio. E la sfiducia, come la fiducia, è contagiosa.

    • Grazie del tuo commento e della tue opinioni Andrea!
      Io però partirei dalla presunzione di buona fede di tutti, ANVUR, ROARS,Universitari e anche gli Ichino e cerco di comportarmi di conseguenza. Sono un sognatore?

    • “solo alcuni soggetti all’interno delle strutture potrebbe avere accesso a questi dati, e distribuire risorse in modo arbitrario basandosi su dati che solo loro hanno e non sono quindi verificabili in modo indipendente.”
      ___________________________
      Condivido la preoccupazione. Credo anche che non dovrebbe essere tollerato in nessun dipartimento una ripartizione di risorse sulla base di dati che non sono pubblci. Quindi, se le valutazioni VQR dei singoli prodotti sono note solo fino al livello dipartimentale, il loro uso si deve fermare a quel livello. Prendere decisioni su “dati fantasma” sarebbe una grave mancanza di trasparenza.
      Va anche detto che nel caso di pubblicazione, c’è anche uno scenario deleterio per le VQR future, se qualche organo di stampa o blog si mettesse a costruire classifiche estemporanee. Non è un’eventualità così remota: basta vedere cosa sta succedendo negli USA con le valutazioni “value added” degli insegnanti basate sui punteggi dei test degli studenti: sono valutazioni che sono state dimostrate prive di valore scientifico, ma vengono pubblicate dagli organi di stampa mettendo alla berlina insegnanti incolpevoli – “LA teacher suicide sparks test-score pushback
      Union says the Los Angeles Times should remove teacher performance ratings from its website”, http://www.msnbc.msn.com/id/39404037/ns/us_news-life/t/la-te#.UI0IPYV-pi4). In tal caso, nessuno vorrebbe più prestare i propri migliori articoli nella prossima VQR per non perdere posizioni nei ranking nazionali e rischierebbe di crollare uno dei pilastri della VQR.

  16. Lo dico con molta semplicità e mi vergogno un po’ dato il livello della discussione. Gli Ichinos, hanno un obbiettivo: dimostrare che i docenti universitari sono fannulloni e improduttivi, in accordo con la stampa di regime (Anvur), come ricorda Giuseppe De Nicolao. La tentazione è forte (sono sensibile alle argomentazioni di Marco Bella) per dire: accomodatevi e rendete pubblici i miei dati. Mi rendo conto, però, che la mia reazione è tipica di chi appartiene a un settore non bibliometrico, dove la “coautorialità” è piuttosto rara e prevalgono i contributi individuali. Inoltre, l’oscurità sui dati consentirà ai Dipartimenti e agli Atenei di finanziare chi vogliono (problema non da poco). Ma ha ragione Eugenio Di Rienzo a proposito dei valutatori senza volto. I volti che conosciamo (vertici Anvur e Gev)non danno molta fiducia nel processo di valutazione. Accanto a docenti di chiara fama ci sono i francamente mediocri e permane il mistero delle loro nomine (almeno nei settori a me più vicini). Non è un punto secondario. Perché gli Ichinos non se ne occupano?

  17. Prepariamoci comunque ad un uso distorto della vqr. Gia circolano dati, di cui roars ne ha dato notizia, che non tutti i ricercatori in servizio hanno inviato prodotti. E gia alcuni gev, tecnocratici all’italiana, interpretano cio’ come segnale di fannullonismo globale. In realta, almeno nella mia area 12 , cio’ e’ solo frutto di responsabilita’ individuali. Si tratta sovente di soggetti ereditati dalle ope legis del passato o dediti ad attivita’ profesionali. L’accento andrebbe comunque posto sui prodotti presentati e la complessiva attivita delle strutture. Cosi, si scoprirebbe che, in un contesto difficile, vi sono dipartimenti che lavorano con il territorio per raccogliere risorse per finanziare la ricerca e i giovani studiosi.
    La trasparenza invocata dagli ichinos e’ solo strumentale a discorsi retorici e decontestualizzati.

    • @Alessandro Bellavista, Mariella di Maio:

      La sfiducia verso il processo di valutazione ANVUR dovrebbe essere basata su dati oggettivi, come anche alcune critiche motivate da parte di ROARS.
      La pubblicità dei dati è, secondo me, fondamentale anche per l’agenzia stessa per dimostrare che queste critiche siano fondate o meno. Il 18 ottobre Stefano Fantoni, presidente dell’ANVUR è intervento ad un convegno a Roma. Dalla platea è arrivata la domanda “perché non rendete pubblici i risultati dei singoli prodotti della ricerca della VQR” e la risposta non è stata “no perché è sbagliato a priori” ma “no perché c’è un problema di privacy”. E’ stata una risposta corretta, dato che il garante per la privacy ha rilevato lo stesso problema. Mi sembra intuire che la possibilità di pubblicare i dati ci sia, e in mia opinione sarebbe un bene per tutto il sistema universitario e l’ANVUR stessa.
      Il buio sulla valutazione c’è già, l’ANVUR ha detto chiaramente che i dati singoli non li pubblicherà ma renderà noti solo quelli aggregati. Non riesco a capire perché l’iniziativa degli Ichino, che se volta solo a costruire classifiche ascientifiche sarebbe da condannare assolutamente, avrebbe peggiorato lo situazione attuale.

  18. Mi permetto di ricordare a tutti, dal momento che mi pare finora nessuno abbia menzionato la cosa, che la questione “trasparenza”, almeno per quanto riguarda gli aspetti quantitativi dell’attivita’ scientifica dei professori universitari, e’ (sarebbe) risolta una volta per tutte dalla legge 1/2009 che fa obbligo al Ministero di istituire l’anagrafe (pubblica) delle ricerche dei professori e ricercatori, e fa ovviamente obbligo ai medesimi di popolare la suddetta anagrafe con la propria produzione, il tutto peraltro anche in ottemperanza al R.D. del 1924, tuttora vigente, che impone lo stesso obbligo (all’epoca, ovviamente, in forma cartacea). Ma la domanda (senza risposta) e’:
    PER VOLONTA’ e/o INTERESSE DI CHI DA QUASI QUATTRO ANNI QUESTA LEGGE NON VIENE APPLICATA E FATTA APPLICARE?

  19. Perdonate il ritardo, ma solo ora ho letto l’articolo di Trovati sul Sole24Ore “Pubblicazioni insufficienti per un professore su due”
    Un solo commento possibile, la frase di Schiller
    CONTRO LA STUPIDITA’ ANCHE GLI DEI LOTTANO INVANO

    Proporrei a Trovati (se mi legge) o a chi per lui di dare una pubblica risposta ai seguenti quesiti:
    1) Non trova scandaloso che in ogni istante soltanto metà della Terra sia illuminata dal Sole?
    2) Le pare giusto che nei giochi a confronto diretto ogni volta che uno vince l’altro debba per forza perdere?
    3) La matematica è un’opinione?

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.