Valutazione

VQR: le nuove classifiche strabiche sempre più strabiche

«Il Paese possiede una fotografia dettagliatissima e, soprattutto, certificata della qualità della ricerca italiana», questa era stata la dichiarazione rilasciata del presidente dell’Anvur, Stefano Fantoni, nel luglio scorso in occasione della pubblicazione dei risultati della VQR. La dichiarazione del Ministro Carrozza, «L’Italia entra nell’Europa della valutazione», lasciava trasparire la stessa soddisfazione. Eppure, pochi giorni dopo si era scoperto che le classifiche dei dipartimenti erano “strabiche”, una versione nei rapporti d’area dei Gruppi di esperti della valutazione ed un’altra – del direttivo – distribuita in tutte le edicole italiane tramite un “instant-book” del Corriere della Sera. Ma l’epopea delle classifiche strabiche è tutt’altro che finita. Il 31 gennaio scorso, sul sito dell’ANVUR sono apparsi in contemporanea due diversi documenti che aggiornano i voti VQR …

Antefatto

Forse i lettori più affezionati di ROARS ricorderanno le ambasce in cui era stato gettato il prof. E., ordinario di filologia egeo-anatolica, dalla pubblicazione delle classifiche strabiche della VQR.

Doveva aiutare i suoi due gemelli L. ed G. a scegliere i dipartimenti top: ingegneria il primo,  psicologia il secondo. Il lettore ricorderà che il prof. E. aveva avuto una soffiata dai suoi colleghi membri dei GEV che gli avevano anticipato i migliori tre dipartimenti per dimensione in ingegneria e psicologia; e ricorderà anche che il prof. E. era rimasto spiazzato quando aveva scoperto che le classifiche pubblicate da ANVUR nel libricino del Corriere della Sera non corrispondevano a quelle che gli avevano anticipato i suoi amici nei GEV. (La cosa lo aveva punto nell’orgoglio: aveva pur avuto le informazioni in anticipo, lui luminare di filologia egeo-anatolica, con amicizie di rilevo nel mondo della valutazione; lui da sempre difensore della valutazione contro la palude accademica).

Il prof. E. non prese bene neanche quanto accadde il primo di agosto quando l’ANVUR, dopo aver convinto tutti i GEV (meno i riottosi matematici) ad abbandonare le loro classifiche, definì quali proprie classifiche ufficiali di dipartimento quelle del rapporto finale VQR, pubblicate sul libricino del Corriere della Sera. Mentre aiutava i figli a scegliere l’università, il retropensiero che forse quelle classifiche non erano tanto credibili tornava continuamente; associato all’idea che forse se i figli avessero scelto l’università della sua città (Bologna), non sarebbe stato poi un gran problema, ed avrebbe risparmiato un bel po’ di soldi negli anni a venire. Fatto sta che a settembre la decisione fu presa e se si doveva comunque andare via da Bologna, tanto valeva scegliere l’università sede del Dipartimento migliore secondo ANVUR. L. si iscrisse così al Politecnico di Milano, mentre G. si iscrisse a Trento.

Il prof. E. ha uno stipendio che gli permette di vivere dignitosamente – anche se non ha scatti di carriera dal 2010 -, ma mantenere due figli fuori casa è molto costoso. E più di una volta, intorno alla fine del mese, commenta con sua moglie che forse se avesse consigliato ai figli di restare a Bologna le cose sarebbero state per tutti molto più semplici.

Fatto

Quel venerdì mattina il prof. E. stava come al solito chiuso nel suo ufficio quando il collega prof. B., con cui da molto tempo discuteva di VQR, ASN e valutazione, si affacciò alla sua stanza e gli disse: “Visto? Questa mattina ANVUR ha modificato di nuovo i risultati della VQR, ed ha pubblicato nuove classifiche dipartimentali. Te le dicevo io che non è bene fidarsi troppo …”

Il prof. E. fece una piccola smorfia. Ormai considerava chiusa tutta la vicenda. A lui non era certo nel complesso andata male: aveva visto con soddisfazione i risultati della VQR  (due prodotti eccellenti ed un prodotto buono) e li aveva prontamente comunicati al suo direttore di dipartimento, ai colleghi e soprattutto al suo pro-rettore alla ricerca. Anche il suo dipartimento non era andato affatto male, malgrado i pochi fannulloni, che da tempo tutti conoscevano, ma che finalmente ANVUR era riuscita a stanare. In Ateneo avevano intenzione di ripartire le risorse sulla base della VQR e questo avrebbe sicuramente premiato il dipartimento e lui aveva speranza di poter chiamare come associato il “suo” ricercatore che aveva avuto l’abilitazione ad associato, e non certo perché lui era molto amico del presidente della commissione. Tutto andava per il meglio dunque, e questa storia delle nuove classifiche gli dava un sottile senso di inquietudine.

Aprì il sito ANVUR e vide che effettivamente tutto il file delle tabelle del rapporto finale era stata cambiato. Fu rassicurato dal leggere che l’entità dei cambiamenti era alla terza cifra decimale, ma per scrupolo – anche a lui ormai era entrato in testa il sospetto che non sempre i conti dell’ANVUR erano affidabili – decise di controllare. Prese dalla libreria il libricino del Corriere della Sera e si mise a controllare sistematicamente le prime tre posizioni dei dipartimenti per ciascuna area, e qualche altro dato scelto casualmente.

Dopo una mezz’ora tirò un sospiro di sollievo la famigerata Tabella 3 che lo aveva messo in crisi di fronte ai figli era completamente confermata. Si alzò e si diresse risolutamente verso la stanza per prof. B; bussò alla porta, la aprì e annunciò non senza un ghigno di soddisfazione: “Ho controllato i dati ANVUR. Si tratta di modifiche marginali al Rapporto finale VQR. Le classifiche dei dipartimenti sono identiche. Questo dimostra la serietà del lavoro e la disponibilità di ANVUR a correggere anche i più piccoli errori.”

Il prof. B. gli rispose stupito: “Sto facendo lo stesso controllo. Le classifiche dipartimentali che sto guardando io sono molto modificate; ed anche il nostro dipartimento in Ateneo ha perso un sacco di posizioni. Se useranno i dati nuovi anziché i vecchi siamo fregati nella ripartizione delle risorse …”

Il prof. E. vacillò un attimo: “Ma cosa stai dicendo?”

Il prof. B. spiegò: “Beh secondo i dati ANVUR della VQR i nostro dipartimento era in terza posizione in Ateneo; adesso nei dati ANVUR-CRUI si trova quasi in fondo alla classifica …”

Che c’entra ora la CRUI??” domandò il prof. E.

“La CRUI c’entra perché è di una commissione CRUI l’idea di rifare i conti, con questa storia del dipartimento equivalente” rispose il prof. B

Il prof. E. continuava a non capire: “Ma ho letto che ANVUR ha rifatto i conti perché ha avuto segnalazione di errori minuti da alcuni soggetti valutati; ma di cosa stiamo parlando?”

“Ah –esclamò il prof. B.- Ho capito. Nello stesso giorno ANVUR ha pubblicato due documenti diversi. Il primo è quello che hai visto tu. Il secondo quello che sto guardando io. Nel tuo i cambiamenti dovrebbero essere marginali. In quello che guardo io i cambiamenti sono radicali”

Il prof. E cominciò a preoccuparsi e chiese con un sottile senso di angoscia: “Mi dici per favore quali sono i migliori dipartimenti di ingegneria e psicologia per la CRUI-ANVUR”

“Allora per ingegneria la classifica CRUI-ANVUR è Politecnico di Milano, Bologna e Politecnico di Torino” annunciò B.

Come Bologna? Nella classifica ANVUR della VQR tra i due politecnici c’era un dipartimento dell’Università del Sannio; mio figlio neanche sapeva dove fosse…; da dove esce la nostra alma mater?” E. iniziò ad inquietarsi.

“Per psicologia –aggiunse B.- la classifica è: Roma La Sapienza prima, secondo Padova, terzo Trento, e poi ancora Padova e anche qua Bologna”

Il prof. E. scosse la testa: “Nei dati ANVUR del rapporto finale VQR ripubblicata oggi, così come in quella di luglio, la classifica è invece ancora Trento, Trento, Roma”

Il prof. E. scosse la testa. Se avesse avuto i dati CRUI avrebbe consigliato sicuramente a suo figlio L. di iscriversi ad ingegneria a Bologna; e G.  avrebbe potuto valutare di iscriversi a psicologia a Padova, abitando a casa dei nonni materni, o forse anche lui avrebbe potuto restare a Bologna. Quante meno angosce per sua moglie, preoccupata di vedere i suoi figli lontani da casa, e soprattutto quanti soldi in meno spesi.

Il prof. E. se ne ritornò nella sua stanza, si sedette di fronte al PC e digitò: www.roars.it  pensando:  “Vediamo cosa si dice di queste nuove classifiche strabiche. Non sarà che alla fine hanno ragione loro?”

 

Appendice

Primi tre dipartimenti per area CUN nelle classifiche del Direttivo ANVUR (luglio 2013) e  nella classifica della Collaborazione CRUI-ANVUR (febbraio 2014) messi a confronto.

AREA 1 – Scienze matematiche e informatiche

Classifica direttivo ANVUR (luglio 2013)

Classifica collaborazione ANVUR – CRUI (febbraio 2014)

 

 

AREA 2 – Scienze fisiche

Classifica direttivo ANVUR (luglio 2013)

 

 Classifica collaborazione ANVUR – CRUI (febbraio 2014)

AREA 3 – Scienze chimiche

Classifica direttivo ANVUR (luglio 2013)

Classifica collaborazione ANVUR – CRUI (febbraio 2014)

AREA 4 – Scienze della terra

Classifica direttivo ANVUR (luglio 2013)

 Classifica collaborazione ANVUR – CRUI (febbraio 2014)

 

AREA 5 – Scienze Biologiche

 Classifica direttivo ANVUR (luglio 2013)

 Classifica collaborazione ANVUR – CRUI (febbraio 2014)

 

AREA 6 – Scienze Mediche

 

Classifica direttivo ANVUR (luglio 2013)

Classifica collaborazione ANVUR – CRUI (febbraio 2014) 

Area 7 – Scienze agrarie e veterinarie

 Classifica direttivo ANVUR (luglio 2013)

Classifica collaborazione ANVUR – CRUI (febbraio 2014)

Area 8a – Ingegneria civile

Classifica direttivo ANVUR (luglio 2013)

 

 Classifica collaborazione ANVUR – CRUI (febbraio 2014)

Area 8b – Architettura

 Classifica direttivo ANVUR (luglio 2013)

Classifica collaborazione ANVUR – CRUI (febbraio 2014)

 

Area 9 – Ingegneria industriale e dell’informazione

Classifica direttivo ANVUR (luglio 2013)

Classifica collaborazione ANVUR – CRUI (febbraio 2014)

 

Area 10 – Scienze dell’antichità, filologico-letterarie e storico-artistiche

Classifica direttivo ANVUR (luglio 2013)

Classifica collaborazione ANVUR – CRUI (febbraio 2014)

 

 

Area 11a – Scienze storiche, filosofiche e pedagogiche

Classifica direttivo ANVUR (luglio 2013)

 Classifica collaborazione ANVUR – CRUI (febbraio 2014)

 

Area 11b – Scienze psicologiche

Classifica direttivo ANVUR (luglio 2013)

 Classifica collaborazione ANVUR – CRUI (febbraio 2014)

Area 12 – Scienze giuridiche

Classifica direttivo ANVUR (luglio 2013)

 Classifica collaborazione ANVUR – CRUI (febbraio 2014)

Area 13 – Scienze economiche e statistiche

Classifica direttivo ANVUR (luglio 2013)

 Classifica collaborazione ANVUR – CRUI (febbraio 2014)

Area 14 – Scienze politiche e sociali

 Classifica direttivo ANVUR (luglio 2013)

 Classifica collaborazione ANVUR – CRUI (febbraio 2014)

 

Send to Kindle
Tag: , , , , , , , , ,

13 Comments

  1. Pingback: VQR: le nuove classifiche strabiche sempre più strabiche | News Novità Notizie Trita Web

  2. Antonio Occhiuzzi says:

    Pur consapevole dei limiti della VQR 2004-2010, come chiaramente descritti in questo sito, io sin dall’apparizione della bozza del bando ho studiato con attenzione i criteri, ho selezionato i documenti da inviare/sottoporre, li ho recuperati dal dimenticatoio in cui a volte erano finiti, ho speso molto tempo a fare il mio “compitino”, così come immagino la grande maggioranza dei colleghi. Ho avuto la mia valutazione, l’ho accettata (sempre consapevole dei limiti) e mi sono fatto una ragione di quanto veniva fuori. Ho dovuto ammettere con me stesso, meridionale che lavora in un ateneo meridionale, che le differenze Nord-Sud erano imbarazzanti, ma ho anche scoperto che quando la valutazione VQR descriveva i dipartimenti (c’era un apposito indice IRFD, che diviso per la dimensione de dipartimento – % Prodotti – era a tutti gli effetti un indicatore normalizzato), in molti casi le cenerentole meridionali diventavano (certo, a macchia di leopardo) delle principesse.
    Non andava bene: il risultato non era quello voluto, qualcosa era sfuggito nella delicata alchimia dei pesi e delle valutazioni. Ecco pronto il rimedio: cambiare le regole di valutazione sui dipartimenti, neanche a “partita in corso”, ma, addirittura, post mortem. Ora sì che il risultato della VQR diventa quello voluto sin da prima di cominciare!

    • No non è così. L’indicatore varia la posizione dei dipartimenti ENTRO Ateneo. La ripartizione della % dell FFO tra Atenei sarà fatta usando gli indicatori originali

  3. Pingback: Ricerca falsificata = reato? – Ocasapiens - Blog - Repubblica.it

  4. Ho dato una (rapida) occhiata alle tabelle e al file PDF con la metodologia e non ci vedo nulla di così ‘scandaloso’. Il primo motivo è semplice: NON SI FANNO CALSSIFICHE. Questa logica delle classifiche è diffusa solo nella stampa e su roars (e magari tra alcuni accademici). Ma è una boiata. L’indicatori IRAF (se ricordo bene acronimo) sono dei pesi (w) con cui ripartire la torta. Se non si usasse valutazione prodotti w=N prodotti attesi ateneo i-mo/ totale prodotti attesi. Cioè solo funzione della dimensione %. Ora il peso IRAF è di solito vicino a w, più alto di w per chi ha fatto bene, più basso per chi ha fatto male. Ora dove stia la logica ‘classifica’ si capisce poco, se non che chi ha indicatore molto più alto di w ha fatto molto meglio. Detto ciò le nuove tabelle puntano a rivedere i pesi e gli indicatori PER I DIPARTIMENTI oovero per creare indicatori per RIPARTIRE le risorse ENTRO ATENEO. Ancora…perché fare classifiche visto che non è lo scopo dell’indicatore? La differenza sostanziale qui è che invece di R, che è un indicatore normalizzato per AREA si una U che è normalizzato per SSD. Poi certo ci si basa pesantemente su assunzioni di normalità dei dati, ma essendo solo ed esclusivamente utilizzate per normalizzare i dati (non si fa inferenza alcuna) non vedo come la cosa possa pesare.
    Ora si fa menzione di un dipartimento che ha perso molte posizioni…rispetto a cosa? La ripartizione è ENTRO Ateneo. La fetta da dividere è quella definita del ‘vecchio’ IRAF (o come diamine si chiama). La penalizzazione avverrebbe se l’indicatore RIS_d (pag 9) portasse ad una % per dipartimento d entro Ateneo molto più bassa. Nel mio caso in effetti i numeri cambiano radicalmente rispetto all’indicatore IRAD, con il mio Dip.to che passa da circa un 25% al 17% (ipotizzando l’uso massimo possibile del VQR per ripartire risorse, alpha=1). Ma sinceramente si deve ammettere che tale % è assai più sensata rappresentando il mio Dip.to il 13% della popolazione dell’Ateneo. Le variazioni vanno da un massimo di +4% ad un minimo di -7% (per 1 solo dip) attestandosi entro -1.7 per tutti gli altri. Con IRAD era una carneficina!!! Ovviamente se uso un peso ‘meritocratico’ minore (scelta politica?!) il danno/guadagno si riduce, potenzialmente fino a 0 se ripartisco a pioggia.

    • Giuseppe De Nicolao says:

      ” Questa logica delle classifiche è diffusa solo nella stampa e su roars”
      ===================================
      In realtà è prima di tutto l’ANVUR ad aver enfatizzato le classifiche con cui ha inondato la stampa fino al punto di far diffondere tramite il Corriere della Sera un “instant-book” pieno di più di 100 pagine di classifiche. Cito direttamente dal contributo del Presidente ANVUR, Stefano Fantoni (gli asterischi sono miei):
      _________________________
      “… le graduatorie ANVUR non vanno confuse né confrontate con i ranking che periodicamente appaiono nei media. Mentre le prime sono state ottenute in base a *rigorosi e trasparenti criteri*, secondo quanto previsto dal decreto e dal Bando, […] le seconde discendono da valutazioni fatte con le motivazioni più varie, quasi mai basate sulla sola ricerca a mai su un’analisi completa di tutti i settori scientifici. Il loro obiettivo è tipicamente quello di favorire confronti internazionali tra singole istituzioni, anche laddove il confronto è poco significativo. Pertanto quei ranking non permettono un confronto e un’analisi così *accurati, affidabili e strettamente focalizzati sulla ricerca* come quelli resi possibili dalla VQR”
      (S. Fantoni, “Una radiografia del sistema universitario”, pp.11-21, in “I voti all’università – La valutazione della qualità della ricerca in Italia”, supplemento del Corriere della Sera, Luglio 2013, pag. 13)
      _________________________
      È ovviamente degno di nota che a distanza di un semestre l’ANVUR pubblichi classifiche diverse da quelle che – detta del suo Presidente – erano state ottenute in base a *rigorosi e trasparenti criteri* e consentivano un confronto e un’analisi così *accurati, affidabili e strettamente focalizzati sulla ricerca*. È bene ricordare che era stato sempre Fantoni a spiegare che la portata della VQR andava oltre quello “di essere uno strumento utile alla ripartizione delle risorse”:
      _________________________
      “La portata della valutazione ANVUR va ben oltre il ruolo che molti le riconoscono, quello di essere uno strumento utile alla ripartizione delle risorse […] La VQR in realtà ha come compito primario quello di creare conoscenza per il policy maker, per gli organi di governo delle Strutture, per i giovani che vogliono intraprendere gli studi universitari …”
      (S. Fantoni, “Una radiografia del sistema universitario”, in: I voti all’università, supplemento del Corriere della Sera, Luglio 2013, pag. 12)
      _________________________
      Roars, invece ha da sempre spiegato che per ripartire i fondi non c’è bisogno di fare classifiche. Riporto una citazione di un mio articolo (https://www.roars.it/online/andrea-bonaccorsi-e-le-classifiche-degli-atenei-voodoo-rankings/) risalente al 3 giugno 2013 – quindi persino anteriore alla pubblicazione dei risultati VQR – in cui è spiegato il meccanismo RAE/REF:
      _________________________
      “- Gedeone, la tua conoscenza del RAE è peggiore dell’inglese di Alberto Sordi. Se tu fossi uno studente, ti boccerei in malo modo. Lo sai cosa scrive l’HEFCE, l’agenzia inglese? – disse Peppe mentre apriva un articolo di ROARS:

      RAE2008 results are in the form of a quality profile for each submission made by an HEI [Higher Education Institution]. We have not produced any ranked lists of single scores for institutions or UoAs [Units of Assessment], and nor do we intend to.

      RAE2008-Frequently asked questions

      Gedeone guardò Peppe con sospetto quasi temesse di essere ingannato.

      – Ma scusa, se non fanno le classifiche come fanno a premiare gli atenei migliori?

      Peppe non si scompose e con il suo tono un po’ saccente spiegò che nel RAE i fondi erano ripartiti con una formula che teneva conto delle valutazioni dei singoli prodotti scientifici. Usando i coefficienti del 2008 , per una generica struttura il finanziamento era stato proporzionale a

      7*NA + 3*NB + NC”

      dove NA, NB, NC indicano il numero di prodotti di livello A, B e C, rispettivamente.”

    • Chiedo venia mi era sfuggito (o me lo sono dimenticato…)…ma ammetterà che molti ALTRI articoli (in ultimo questo mi pare) verta ‘eccessivamente’ sul concetto di classifica.

    • Giuseppe De Nicolao says:

      Lo scopo è chiaramente “curativo”. Mostrando che le classifiche sono instabili e si contraddicono a vicenda si cerca di far rinsavire i “rank-oholics”.

    • Thumb up allora!!!!!! 😉

      A proposito (invero no…siamo su ASN qui)

      http://www.repubblica.it/scuola/2014/02/18/news/ricercatori_asn-78901127/?ref=fbpr

    • Antonio Occhiuzzi says:

      Cara (o caro) anonimo, due considerazioni in aggiunta a quanto spiegato, con la solita chiarezza, da GDN.

      1.”Con IRAD era una carneficina!!!”
      L’indicatore globale per i dipartimenti (IRFD) era previsto nella VQR 2004-2010 sin dalla prima apparizione, in bozza, del bando. Il suo calcolo ha richiesto il reperimento di varie informazioni, associate ad una specifica metodologia di analisi prevista dalla VQR. Se pure ammettessimo la “carneficina”, questo vorrebbe dire che l’indicatore, quindi il tipo di dati richiesti e raccolti dall’ANVUR, quindi la metodologia VQR per la valutazione dei dipartimenti è SBAGLIATA. Se concordassimo su questo, dovremmo semplicemente ammettere che la VQR ha fallito nella valutazione dei dipartimenti; prenderne atto serenamente, non utilizzare quei dati, e ricordarcene per la prossima VQR. Invece, vogliamo fare come se dopo il 90° cambiassimo la regola del fuori gioco, annullando i gol che erano risultati validi mentre venivano segnati. Peggio di così non riesco neanche a immaginare.

      2. “Il primo motivo è semplice: NON SI FANNO CALSSIFICHE. Questa logica delle classifiche è diffusa solo nella stampa e su roars”
      Il nostro lavoro è (dovrebbe essere) basato sullo studio e sulla lettura critica dei documenti. Gli indici “iniziali” dei dipartimenti, intesi alla ripartizione delle risorse nell’ambito degi singoli atenei, erano reperibili nei singoli rapporti di Ateneo della VQR 2004-2010. Le tabelle erano solo in pdf, ed i dati, così come presentati, non consentivano direttamente “paragoni e/o classifiche” tra dipartimenti di diversi atenei, se non attraverso una non immediata “manipolazione”. La collaborazione ANVUR-CRUI ha viceversa pubblicato un unico tabellone in formato xls, da cui la classifica viene fuori mediante un unico comando, pronto a menù, “ordina per …”. Se per te questo non significa, obbiettivamente, favorire il proliferare di classifiche, beh, non posso farci niente. Stampa e roars mi pare che c’entrino poco.

  5. Che IRFD fosse previsto o meno nella norma non lo metto in dubbio. Ciò metto in dubbio è che non necessariamente sia per questo meglio del nuovo indicatore (chiamato RIS nel documento d’accompagnamento ai dati).
    La sostanziale differenza è la normalizzazione dei dati. Ma da qui a dire che la VQR sia sbagliata…beh mi sembra un salto logico un pelino azzardato.

    BADA che l’unica differenza ribadisco UNICA è lo schema di ripartizione ENTRO Ateneo. Oltretutto si può tranquillamente giocare sul ‘tuning’ usando un paramtro alpha che dà più o meno peso alla VQR rispetto alla pura dimensione dei Dipartimenti per gestire le cose. E si badi bene, sin dall’inizio gli indicatori IRAD erano di utilizzo A DISCREZIONE degli Atenei.

    La % di ripartizione (IRFS1) tra Atenei non è cambiata (salvo che nelle tabelle 31/1/2014 ora ha trovato la versione finale, prima ce n’era 4).

    Dove stia lo scandalo ancora mi sfugge, ma tant’è

    Io non so come fosse altrove ma nel mio Ateneo l’utilizzo dell’IRFD avrebbe comportato una ripartizione assai sbilanciata delle risorse, ma poi anche in quel caso dipende da quale bilanciamento dimensione/vqr si fosse utilizzata

    Oltretutto l’indicatore presente NON è più Area specifico, quindi per dipartimenti con diverse Aree il confronto è inappropriato.

    Nell’Area 6 ad esempio molti dei dipartimenti elencati contengono Area 6 e Area 5, quindi nelle tabelle ‘vecchie’ il ranking era SOLO per area 6…non teneva conto dell’Area 5 (un dipartimento poteva avere più di un ranking, se contenente più di un Area). Ora l’indicatore unifica il tutto. Come si possono confrontare così banalmente?

    Un Dipartimento che era buono/ottimo in area 6, ancora lo è.

    2) Io ho per le mani le tabelle XLS sin dalla prima uscita dei dati. Ora se adesso è facile fare ordina per e prima era più difficile, ciò autorizza a mandare messaggi sbagliati?

    Che la stampa faccia ‘articoli scandalo’ un po’ allegramente ci sta. Che lo faccia roars senza specificare i dettagli delle cose un po’ scoccia.

    • Antonio Occhiuzzi says:

      Tipicamente, il lavoro dei lettori di roars è basato sulla lettura attenta e l’analisi critica di documenti o di risultati. Mi pare che il diverso grado di approfondimento sul rapporto finale VQR comporti una insuperabile difficoltà di comunicazione: in altri termini, mi pare che stiamo parlando di cose diverse. Mi spiego:
      ________________________________________________”Oltretutto l’indicatore presente NON è più Area specifico, quindi per dipartimenti con diverse Aree il confronto è inappropriato.”
      ———————————————–
      NO (1). L’indicatore IRFD non è mai stato “area specifico”. Basta leggerne la definizione nel bando VQR, oppure la descrizione nel rapporto finale, o ancora i commenti introduttivi nei rapporti relativi ai singoli atenei, che sono gli unici documenti in cui compaiono i valori assunti dagli IRFD. E’ evidente a tutti che l’indicatore IRDF era già strutturato, sin dall’inizio, per essere applicato a dipartimenti composti da diverse aree e diversi SSD. Che fosse buono o cattivo è un altro paio di maniche, ma non è mai stato “area specifico”
      _______________________________________________
      “Nell’Area 6 ad esempio molti dei dipartimenti elencati contengono Area 6 e Area 5, quindi nelle tabelle ‘vecchie’ il ranking era SOLO per area 6”
      ———————————————–
      NO (2). I ranking per area contenuti nel rapporto finale VQR (tabelle) non sono effettuati utilizzando l’indicatore IRFD, ma gli indicatori “voto medio, “R” e “X”, tutti indicatori non previsti nel bando VQR, ma “saltati fuori” dopo l’analisi dei risultati. Saltati fuori, ossia opportunamente definiti “post mortem”, perché la VQR testimoniasse quello che si voleva fosse il risultato già da prima di iniziare l’esercizio valutativo.
      ________________________________________________
      Io ho per le mani le tabelle XLS sin dalla prima uscita dei dati.
      ———————————————–
      NO (3). I valori assunti dall’indicatore IRFD sono riportati esclusivamente nei rapporti di ateneo (non ci sono nè nel rapporto “generale” né nei rapporti dei GEV). I rapporti di ateneo, gli unici che presentano i valori assunti dagli indicatori finali di dipartimento, sono esclusivamente in formato pdf. Stilare una classifica nazionale per dipartimenti, niente affatto “area specifica”, basata sui dati VQR e sull’indicatore IRFD definito dal bando richiedeva svariati giorni di laborioso lavoro: la stessa classifica, ma basata sull’indicatore ANVUR-CRUI si può adesso fare in due secondi
      ________________________________________________
      Per carità, ognuno è libero di approfondire le cose quanto ritiene, e anche di parlarne come se le conoscesse bene, ma io la chiudo qua, ritengo inutile proseguire. Aggiungo solo una considerazione:
      “Dove stia lo scandalo ancora mi sfugge, ma tant’è”
      La VQR è stata strutturata anche per valutare i dipartimenti di una struttura (ad es. di un ateneo). La valutazione è stata accuratamente progettata in modo che fosse basata su di un insieme di parametri, un “bouquet” di dati, che infatti sono stati richiesti agli atenei. Viene fuori che la valutazione effettuata su quel set di misure non funziona. Cos’è, il sintomo di una buona progettazione della VQR? Si propone ora di utilizzare solo una parte di quei dati. E perché una parte dei dati raccolti dovrebbe essere non più valida? Chi lo dice? Come lo motiva? Perchè i risultati ad alcuni non piacciono?
      Bah, buonanotte.

    • In effetti un problema di comunicazione c’è, vediamo di chiarire:

      1) Nel Post/Articolo NON si mai menzione all’IRFD, giusto?
      2) Nel Post/Articolo si confrontano R e Voto standardizzato, giusto?

      Bene fin dall’inizio il mio commento era mirato al POST e NON al commento di @Occhiuzzi.
      Quindi alla luce di questo chiarimento veniamo alla domanda chiave: ha senso confrontare (e polemizzare) R e Voto standardizzato (VS)?
      La mia PERSONALISSIMA risposta è NO non foss’altro che R è area specifico e VS no. Esempio: usiamo Brescia dato che l’avete usato in un post odierno, e l’area 6 che conosco meglio delle altre. Il Dip.to di Brescia che era 1° e diventa 2° nell’Area 6 in realtà contiene (correggetemi se sbaglio) anche Area 5. L’indicatore R delle prime tabelle NON ne teneva conto, VS sì…(e se non erro Area 5 andata un po’ meno bene).

      Mi sono chiarito fino a questo punto? Andiamo avanti.

      Io ho citato IRFD dicendo:
      ———————————————
      “Io non so come fosse altrove ma nel mio Ateneo l’utilizzo dell’IRFD avrebbe comportato una ripartizione assai sbilanciata delle risorse, ma poi anche in quel caso dipende da quale bilanciamento dimensione/vqr si fosse utilizzata”
      ———————————————-
      (poi capisco che la frase successiva sia sibillina…ma io mi riferivo ad R non ad IRFD)

      A quello mi riferivo per “carneficina” dato che IRFD ha senso solo ed esclusivamente ENTRO Ateneo. Si può dissentire o meno, ma vorrei capire su che basi.

      Infine il punto nodale è che tutta questa polemica (perché di tono polemico si tratta) del post verte su un indicatore (IRFD o VS o IPR…) che:

      1) AFAIK gli Atenei non sono obbligati ad usare (ma se così fosse correggetemi)
      2) NON HA UNA SINGOLA VERSIONE. IRFD poteva variare pesando più o meno la componente dimensione dipartimenti, idem vale per IPR & Co…
      3) Le scelte del punto 1) e 2) dipendono dai singoli Atenei e NON HANNO INFLUENZA ALCUNA su ciò che accade altrove.

      Quindi dove sta lo scandalo (DI QUESTO POST?)?

      Lo scandalo starebbe se gli Atenei se ne fregassero della VQR (e temo sarà così)….ma non è l’argomento DI QUESTO POST

      AFAIK l’unico indicatore IMPOSTO e (forse) utilizzato da ANVUR/MIUR è IRFS1, di cui si è finalmente avuto il calcolo univoco (prima erano 4 versioni) nelle tabelle del 31/1/2014.
      Quell’indicatore DOVREBBE essere stato impiegato per ripartire la (miserrima) torta premiale. L’hanno usato? Sì? No? Io non lo so, e sarebbe un interessate argomento per un post.

      Tutti gli altri indicatori (IRFD, RIS) dovrebbero essere usati A DISCREZIONE degli Atenei (ma nuovamente, se sono obbligatori io non lo so) sia nella scelta se applicarli o meno sia nella loro modulazione. INDI la polemica degli indicatori dipartimentali avrebbe senso solo ed esclusivamente alla luce delle scelte dei singoli Atenei.

      Ovviamente si può discutere delle proprietà matematico/statistiche degli indicatori. Se non erro De Nicolao è autore di un interessante post. Ma non è questo che commentiamo.

      Io più chiaro di così non posso essere.

      Detto ciò, chiudiamola qui. Abbiamo tutti cose più interessanti e importanti da fare. La prossima VQR incombe…

      Buon Lavoro

Leave a Reply

Sostieni ROARS

Sostieni ROARS