Sommersi dalla pioggia di indicatori che l’immaginifica mente dei nostri valutatori di Stato produce quotidianamente ci eravamo dimenticati che l’indicatore standardizzato ISPD è una geniale trovata del 2014 frutto della collaborazione tra la CRUI e l’ANVUR. L’ISPD non è nato per i Dipartimenti di eccellenza (che ancora non erano saltati fuori dal cilindro magico), è stato invece concepito per fornire ai rettori uno “strumento matematicamente potente” per comparare i dipartimenti all’interno degli atenei. Il messaggio della CRUI e dell’ANVUR è il seguente: la VQR è il migliore esercizio valutativo esistente e deve essere utilizzato per finalità interne alle singole università. Le singole università rimangono formalmente libere di inventare procedure diverse, ma perché rinunciare a strumenti già pronti e potenti? Così si spiana la strada al dominio di un pensiero unico della cui robustezza è però lecito dubitare. Sul piano giuridico con l’ISPD ed i dipartimenti di eccellenza, ci troviamo di fronte non solo ad una norma retroattiva, ma anche all’uso dei risultati della VQR per finalità diverse da quelle inizialmente concepite, allo scopo di aggirare l’autonomia delle singole università, attribuendo risorse direttamente dal Centro (il MIUR) alla più remota periferia (il Dipartimento). Sul piano tecnico-valutativo l’uso dell’ISPD “richiede che le valutazioni VQR nei rispettivi SSD siano state compiute con equità e ragionevolezza”. E se qualcosa fosse andato storto nel modo in cui sono state costruite le valutazioni della VQR? Se per ipotesi, il valutatore avesse conosciuto l’identità del valutato che magari apparteneva a una scuola rivale e non si fosse comportato con equità e ragionevolezza? I voti della VQR somigliano in realtà ai mutui subprime della grande crisi economica. Dal meccanismo della “grande scommessa” abbiamo imparato che ricavare derivati (e poi derivati da derivati) da mutui subprime concessi a persone che non erano in grado di ripagarli, ha prodotto un gioco di scatole cinesi che non ha diminuito, ma moltiplicato a dismisura il rischio (poi concretizzatosi) del disastro. Vuoi vedere che l’ISPD invece di essere un potente strumento matematico è invece un titolo fortemente tossico?

 

La recente nota dell’ANVUR del 9 ottobre intitolata “L’indicatore standardizzato di performance dipartimentale (ISPD) – Risposta al Comunicato CUN del 18 luglio 2017” non meriterebbe particolare attenzione se non fosse perché riporta alla memoria le origini del temibile ISPD, ovvero l’ultimo indicatore partorito dalle menti dei nostri valutatori di Stato, indicatore che è alla base della procedura dei c.d. Dipartimenti di eccellenza e ha già sollevato, su Roars, critiche allarmanti.

C’è un altro motivo che suscita curiosità: il titolo del documento. La nota anvuriana si autoqualifica, infatti, come una risposta alla raccomandazione del CUN del 18 luglio 2017. In quel documento il CUN raccomandava alle università

“la massima cautela nell’utilizzare i valori di ISPD. […], questo indicatore non può infatti essere impiegato come parametro sul quale basare direttamente ripartizioni proporzionali di risorse tra i propri dipartimenti”.

Insomma, secondo il CUN, l’ISPD è un indicatore utile per esercizi valutativi nazionali, ma non può essere adoperato per finalità valutative interne agli atenei, in particolare con lo scopo di distribuire risorse tra dipartimenti.

Il CUN non chiedeva un parere all’ANVUR, ma indicava una propria linea politica.

A distanza di quasi tre mesi, senza essere stata interrogata, l’ANVUR decide di “rispondere” giungendo a conclusioni diametralmente opposte a quelle del CUN.

“In conclusione, la definizione dell’indicatore standardizzato si fonda su un modello matematico solido (il modello dei dipartimenti virtuali), utilizza nozioni relativamente elementari della teoria della probabilità, ed è calcolabile con facilità nonostante rifletta un’elaborazione un po’ più complicata di quella necessaria dell’indicatore semplicemente normalizzato. È d’altra parte uno strumento molto più potente perché permette di confrontare efficacemente la qualità della ricerca di aggregati (dipartimenti o altre sottostrutture accademiche) di grandezze e composizioni diverse anche all’interno dello stesso Ateneo, pur evitando inappropriati confronti diretti fra le valutazioni dei prodotti di aree disciplinarmente eterogenee e quindi di natura diversa”.

Queste conclusioni sono poi condite dall’usuale richiamo alla cautela.

“A più riprese ANVUR ha raccomandato di non utilizzare gli indicatori messi a punto per specifici obiettivi al di fuori del loro corretto ambito di applicazione. ANVUR ribadisce che tali usi distorcenti sono da evitare, anche a livello di Ateneo, e segnala il rischio che essi possano portare all’assunzione di decisioni non sostenute da reali elementi valutativi”.

Come dire, lo strumento è potente ma pericoloso, va maneggiato con cura.

Ma come si diceva nell’incipit di questo scritto, il vero motivo di interesse della nota anvuriana sta nel richiamo, in nota a pie’ di pagina, al documento che è all’origine dello “strumento potente”. Come ricorda l’ANVUR, l’indicatore standardizzato è stato introdotto nel 2014, al termine di una collaborazione tra l’ANVUR e la Commissione Ricerca della CRUI.

Sommersi dalla pioggia di indicatori che l’immaginifica mente dei nostri valutatori di Stato produce quotidianamente ci eravamo dimenticati – almeno se l’era dimenticato chi scrive – che l’indicatore standardizzato è una geniale trovata frutto della collaborazione tra la CRUI e l’ANVUR (il CUN, chissà perché, non era stato coinvolto).

Dalla lettura del documento “Il confronto basato sul Dipartimento Virtuale Associato e sul “Voto standardizzato” (G. Poggi – 24/2/2014)” emerge la ratio dell’indicatore standardizzato e la sua originaria finalità che era appunto quella di sfruttare i risultati della VQR per fare comparazioni tra dipartimenti di uno stesso ateneo.

Le date contano. Il documento firmato da Poggi è del 2014. Ma allora l’indicatore standardizzato non è nato per i Dipartimenti di eccellenza (che ancora non erano saltati fuori dal cilindro magico), è stato invece concepito per dare un’arma (uno “strumento matematicamente potente”) in mano ai rettori per comparazioni tra dipartimenti all’interno degli atenei.

Cosa c’è dietro tutto questo? L’ennesimo attentato all’autonomia delle università. Il messaggio della CRUI e dell’ANVUR è il seguente: la VQR è il migliore esercizio valutativo esistente e, quando corredato dagli opportuni e “potenti strumenti matematici” (come l’indicatore standardizzato), può (e deve) essere utilizzato per finalità interne alle singole università.

Le singole università rimangono formalmente libere di inventare e mettere in atto procedure valutative diverse dalla VQR, ma non nascondiamoci dietro un dito: la tentazione di utilizzare numeri già pronti e “strumenti potenti” è fortissima, se non altro sul piano del risparmio dei costi. E così si spiana la strada al dominio di un pensiero unico.

Ma questo pensiero unico è davvero così potente?

E’ lecito dubitarne. Avanzerò dubbi sul piano giuridico (punto a)) e tecnico-valutativo (punto b)).

a) La VQR è un gigante dai piedi di argilla.

Come ho cercato di mettere in evidenza in un altro scritto, il problema della VQR, prima che tecnico-valutativo, è giuridico. Si tratta di un esercizio valutativo governato da persone (non elette dalla comunità scientifica, ma) nominate dall’ANVUR (i Gruppi Esperti della Valutazione o GEV) in base a procedure non trasparenti (i verbali delle procedure di selezione dei GEV non sono pubblici; inoltre, i criteri e i metodi di selezione dei GEV nell’ultima VQR sono stati modificati in corso d’opera!).

Di più, la VQR è stata pensata come un meccanismo che sarebbe servito a distribuire una parte della quota c.d. premiale dell’FFO agli atenei, i quali nella loro autonomia avrebbero gestito quelle risorse. Chi ha partecipato all’esercizio valutativo non poteva sapere ex ante che i risultati della VQR sarebbero stati utilizzati per finalità differenti, decise ex post: ad es., per distribuire risorse tra dipartimenti all’interno delle università e per i “Dipartimenti di eccellenza”.

Sebbene l’ANVUR sembri preoccuparsi solo di usi impropri dal punto di vista tecnico-valutativo, il problema è essenzialmente giuridico. Nella fisiologia dell’ordinamento giuridico, le norme valgono per il futuro e non hanno effetto retroattivo. È un principio di civiltà alla base dello Stato di diritto.

Nel caso dell’ISPD, la gravità della retroattività della norma è amplificata dal fatto che l’uso per finalità diverse da quelle inizialmente concepite dei risultati della VQR avviene in un contesto, quello dei “Dipartimenti di eccellenza”, che risponde al palese scopo di aggirare l’autonomia delle singole università, attribuendo risorse direttamente dal Centro (il MIUR) alla più remota periferia (il Dipartimento).

b) Non si possono comparare con metodo scientifico settori ed aree disciplinari differenti, se lo si fa è perché si impone un’opzione politica scelta dallo Stato.

Il delirio dell’italica valutazione di Stato ha portato a immaginare che per distribuire in modo oggettivo le risorse è possibile elaborare classifiche tra dipartimenti, a livello locale (di singolo ateneo) e a livello nazionale (“Dipartimenti di eccellenza”). Classifiche di questo tipo conducono a una comparazione: il Dipartimento di Fisica A è migliore del Dipartimento di Giurisprudenza B. La premessa di CRUI ed ANVUR è che non è possibile utilizzare direttamente i risultati della VQR per una comparazione tra differenti settori scientifico disciplinare (SSD). Troppo differenti sono i modi in cui le comunità scientifiche comunicano e valutano la scienza (generi letterari, numero di autori per singole pubblicazioni, oggetto della ricerca ecc.). Lo stratagemma utilizzato per aggirare questo problema è determinare qual è la collocazione del dipartimento nel proprio ranking disciplinare nazionale. Questa scelta assume per acquisita una prima opzione politica e cioè che il ranking sia e debba essere nazionale. La scelta è politica e non ha nulla a che fare con la matematica o la statistica. La scienza è un’attività per sua natura internazionale, ci sono settori più votati al confronto internazionale, ma la scienza non può prescindere dalla sua vocazione universale.

Dal punto di vista logico poi nasconde dietro il velo di un gergo tecnicistico l’opzione politica della comparabilità. In buona sostanza, CRUI ed ANVUR affermano: non posso comparare la prestazione di un centometrista con quella di un lanciatore di giavellotto. Però la singola disciplina sportiva è in grado di decidere chi si colloca tra i primi tre posti ai campionati nazionali di atletica leggera. Dunque, i ranking dei dipartimenti funzionano un po’ come il medagliere del campionato nazionale, al di là delle differenze tra discipline sportive che portano ad escludere di poter stilare un’unica classifica di centometristi e lanciatori di giavellotto, siamo in grado di dire quali squadre (l’equivalente dei dipartimenti) hanno il medagliere più ricco. Dunque, la comparazione è esclusa rispetto alla singola prestazione (nel caso della VQR, i risultati ottenuti a livello di pubblicazione e di SSD), ma riproposta a livello aggregato (nel caso della VQR, i risultati ottenuti dai dipartimenti). A ridosso di questa tipologia di comparazione, c’è l’idea (politica e non scientifica come vorrebbe Andrea Bonaccorsi in un libro recente sulla valutazione di Stato) che ogni comunità scientifica sia in grado di stilare un ranking dei propri risultati (con riferimento, peraltro, a un orizzonte temporale ristretto e a una porzione piccolissima della produzione scientifica).

Ricostruiamo il ragionamento riportando le parole del documento del 2014.

“[…] confrontare valutazioni assegnate dalla VQR a membri di SSD molto diversi. Il confronto è senz’altro non banale, ma forse è sbrigativo sostenere che sia impossibile. Riteniamo infatti che sia identificabile una soluzione sufficientemente generale e soddisfacente al problema. Il metodo che si propone si ispira a quello cui fanno ricorso le Università più prestigiose — tipicamente negli USA — quando chiedono informazioni su un nostro studente che ha fatto domanda per essere ammesso ad uno dei loro corsi: non ci chiedono il voto che gli abbiamo assegnato in un nostro insegnamento, ma piuttosto in quale percentile (top %) della distribuzione dei nostri studenti esso si colloca. Se dichiariamo, dopo aver confrontato il voto che abbiamo assegnato allo studente con la distribuzione completa dei voti dell’insegnamento, che egli si colloca nel top 5%, vuol dire che la probabilità di trovare uno studente migliore di quello (ovviamente secondo il nostro metro di giudizio) è bassa, pari appunto solo al 5%.
L’idea è di procedere in modo simile per confrontare le valutazioni in due SSD completamente differenti: confrontare non il valore assoluto delle due valutazioni VQR ma la loro posizione nella distribuzione nazionale delle valutazioni nei rispettivi SSD”.

Ma come fare a confrontare la squadra di atletica di Roma, in grado di coprire tutte le discipline, con quella di Trento che per le più piccole dimensioni della città non può presentare atleti in tutte le differenti specialità?

Ecco la risposta contenuta nel documento del 2014.

Accettato questo principio per il confronto fra membri di SSD differenti, il problema è ora quello di vedere se è possibile estendere il metodo al caso, indubbiamente più complesso, del confronto fra dipartimenti non mono-settoriali (o più generalmente e forse più elegantemente, fra qualunque aggregazione di membri di vari SSD — per esempio Atenei, collegi di Dottorato e così via). La difficoltà del problema, manifestamente, dipende dal fatto che dato un certo dipartimento è impossibile valutare il percentile in cui si colloca: per farlo occorrerebbe disporre di un numero molto ampio di dipartimenti composti in termini di SSD come il nostro e che tutti fossero stati valutati nella VQR. Ovviamente ciò non si verifica mai e ogni dipartimento costituisce un caso a sé stante.
Limitandoci ai dipartimenti (ma il ragionamento si può applicare a qualunque insieme di membri), è comodo introdurre, per ogni dipartimento dell’ateneo, un Dipartimento Virtuale o ”Dipartimento Specchio” ad esso Associato (DVA nel seguito): questo è un dipartimento ipotetico (ovvero inesistente ma perfettamente definibile in termini operativi) composto da una distribuzione di membri nei vari SSD identica a quella del nostro dipartimento reale (DR nel seguito). Ovviamente, mentre la VQR ha assegnato un voto a tutte le pubblicazioni presentate e quindi un voto medio a tutti i membri del nostro dipartimento reale, la VQR non ha assegnato alcun voto ai membri (anch’essi virtuali) del DVA.
Possiamo però farlo noi stessi; anzi possiamo — concettualmente e anche operativamente è possibile — calcolare tutte le combinazioni possibili per i voti che i membri del DVA avrebbero potuto ottenere, estraendoli a caso dall’insieme delle valutazioni nazionali dei rispettivi SSD.

E come fare se la gara dei 100 metri piani è una disciplina con più atleti in gara e maggiormente competitiva rispetto al glorioso ma meno praticato lancio del giavellotto? Niente paura, la CRUI e l’ANVUR sono fatine con la bacchetta magica della statistica e possono trasformare l’incomparabile in comparabile.

Ecco come funziona la magia statistica nelle parole dell’ANVUR.

Non è dunque appropriato utilizzare i punteggi VQR come strumento per stabilire, tramite confronto diretto, se un gruppo di ricercatori di un’area o di un settore ha prodotto una ricerca migliore di un altro.
Nel tentativo di raggiungere questo scopo si possono percorrere due strade, entrambe guidate dall’idea di sostituire il confronto diretto dei voti ottenuti in settori diversi con il posizionamento del gruppo entro il medesimo settore nella scala nazionale.
La prima via consiste nel considerare, tramite una somma o una media, i voti normalizzati per settore (o per area), ottenuti dividendo il voto del singolo prodotto per il voto medio del settore scientifico-disciplinare (o dell’area). […]
Anche tale metodologia non è scevra da distorsioni e, mentre gli indicatori normalizzati di tipo somma sono troppo sensibili alla numerosità dell’aggregato, gli indicatori di tipo media risentono invece del difetto opposto, favorendo gli aggregati meno numerosi. Risultano poi invariabilmente penalizzati i settori con medie più elevate rispetto a quelli con medie meno elevate.
La seconda strada è un raffinamento della normalizzazione e conduce all’elaborazione di indicatori standardizzati. I voti standardizzati possono essere ottenuti tramite sottrazione della media e divisione per la varianza del settore scientifico-disciplinare. […]
La procedura di standardizzazione però non risolve completamente i problemi già evidenziati nel caso del voto normalizzato. Per questo motivo non è corretto confrontare dipartimenti o altri aggregati disomogenei utilizzando il voto standardizzato.
ANVUR ha quindi adottato una diversa grandezza, l’ISPD, che consente di stimare il posizionamento percentuale di quell’aggregato nella scala di tutti i suoi simili (i cosiddetti “dipartimenti virtuali”, vale a dire tutti i dipartimenti con la stessa composizione in termini di SSD teoricamente costruibili combinando tutti i docenti italiani ad essi appartenenti). Viene così evitato il confronto tra dipartimenti non omogenei”.

Il lettore che ha avuto la pazienza di giungere fin qui penserà: “cosa riesce a fare la statistica!”. Eravamo partiti da oggetti incomparabili (i voti attribuiti dalla VQR a differenti SSD) e siamo arrivati a dare una scala di numeri (una classifica) a ogni singolo dipartimento. L’ISPD è davvero uno strumento matematico solido e potente. Wow!

Stupiti e anche un po’ intimoriti dall’effetto di un così prodigioso strumento potremmo aver dimenticato per un attimo cosa sono e come sono costruiti i “voti” della VQR. Ma poi, recuperata la lucidità, potremmo andare a rileggere un passaggio del documento del 2014.

Eccolo.

“Manifestamente questa metodologia di confronto richiede che le valutazioni VQR nei rispettivi SSD siano state compiute con equità e ragionevolezza […]”.

Caspita! Vuoi vedere che i voti della VQR non funzionano come i 100 metri piani (dove nove secondi sono meno di dieci) e il lancio del giavellotto (dove 85 metri sono di più di 84) che indicano misure oggettive? Vuoi vedere che qualcosa potrebbe essere andato storto nel modo in cui sono state costruite le valutazioni della VQR? Se per ipotesi, il valutatore conoscesse l’identità del valutato che magari appartiene a una scuola rivale e non si fosse comportato con equità e ragionevolezza, allora forse il voto che ha attribuito a un determinato “prodotto della ricerca” non sarebbe paragonabile ai 10 secondi ottenuti dal centometrista.

Vuoi vedere che dietro la cortina fumogena dei potenti strumenti matematici si cela l’incommensurabilità del giudizio scientifico?

E se i voti della VQR fossero come i mutui subprime della più grande crisi economica degli ultimi decenni? Dal meccanismo della “grande scommessa” abbiamo imparato che ricavare derivati (e poi derivati da derivati) da mutui subprime concessi a persone che non erano in grado di ripagarli ha prodotto un gioco di scatole cinesi che non ha diminuito ma moltiplicato a dismisura il rischio (poi concretizzatosi) del disastro. Vuoi vedere che l’ISPD invece di essere un potente strumento matematico è invece un titolo fortemente tossico?

Lo stupore per la magia potrebbe rapidamente dissolversi e trasformarsi in un brivido di terrore.

Print Friendly, PDF & Email

23 Commenti

  1. “Se per ipotesi, il valutatore avesse conosciuto l’identità del valutato che magari apparteneva a una scuola rivale e non si fosse comportato con equità e ragionevolezza?”
    Finalmente una voce sincera!
    Quello che l’ANVUR e il MIUR e il Parlamento e il Governo e il Presidente della Repubblica, le istituzioni tutte non capiscono, non sanno
    oppure fanno finta di non sapere o di non capire!!!!!!
    La valutazione è sempre condizionata dall’essere appartenente a quella o a quell’altra SCUOLA.
    Questo sia per l’ASN
    sia per la VQR. In questa ultima ipotesi, l’anonimato non serve, basta vedere i co-autori di una pubblicazione, o il nome di una casa editrice (ci sono accademici che ne sono proprietari o comunque strettamente collegati) o chiedere in giro,
    e si identifica subito il valutato (male o bene a seconda di chi è nemico o amico).
    Qualcuno lo dica al Ministro o ai politici!
    NB: non voglio dire che gli altri non siano sinceri, ma che il fatto che tutto o quasi sia condizionato dalle “SCUOLE” deve essere detto con forza e deve essere trasmesso ai politici, affinché non facciano più cavolate, creando ANVUR, ASN, VQR ecc…..e facendo credere, in maniera ipocrita, che la valutazione sia imparziale.

    • Guardi che la valutazione dei prodotti VQR è riferita a saggi già editi, dunque il valutatore non ha alcun bisogno di “vedere i co-autori di una pubblicazione, o il nome di una casa editrice (ci sono accademici che ne sono proprietari o comunque strettamente collegati) o chiedere in giro”: il nome del valutato gli è noto in partenza.

  2. e aggiungo che l’anonimato del valutatore serve a poco; quando questi deve effettuare la valutazione, si consiglia con il proprio Maestro e Capo Scuola e agisce su istruzioni di quest’ultimo: per questo valutazione positiva, per quest’altro negativa ecc….

  3. @fausto_proietti
    lo so, infatti, io parlavo della PROVENIENZA non dell’IDENTITA’ del valutato.
    Vedendo i co-autori, o la casa editrice, il valutatore si rende conto di chi è l’allievo e da quale SCUOLA proviene.
    Poi ha 3 possibilità:
    1) Agire in maniera imparziale.
    2) Agire in maniera parziale, con un giudizio cmq positivo anche se non meritato.
    3) Agire in maniera parziale, con un giudizio cmq negativo anche se non meritato.
    Di conseguenza, l’ANONIMATO del revisore non è rilevante, poiché non garantisce nulla.

    • L’anonimato è rilevantissimo, invece: garantisce il revisore, nella sua irresponsabilità. Gli aspetti kafkiani della revisione paritaria anonima nella VQR diventano orrori giuridici in un senso non solo letterario, ma anche letterale, come scrive Roberto Caso, perché chi valuta non è un nostro pari, bensì un’autorità amministrativa, investita da un potere dello stato. Un’autorità che non si fonda sull’esattezza della bilancia, ma sul filo di una spada, mal mimetizzata tramite – discutibili – alchimie statistiche.

  4. @Maria Chiara Pievatolo:
    siamo d’accordo è rilevante nella ipocrisia del sistema, perché solleva il revisore da responsabilità.
    Ma non garantisce l’imparzialità: in questo senso non è rilevante, cioè non corrisponde, nella realtà, alla presunta e ipocrita intenzione di imparzialità che il legislatore vuole sbandierare.

  5. Ben strano documento questo dell’ANVUR del 9 ottobre intitolato “L’indicatore standardizzato di performance dipartimentale (ISPD) – Risposta al Comunicato CUN del 18 luglio 2017”. Sembra piuttosto scritta… dalla redazione di ROARS.
    Nella nota ci sono infatti critiche pesanti e strutturali all’esercizio VQR.
    Scopriamo che ANVUR ha sbagliato:
    1) a fissare lo stesso numero di prodotti per addetto per tutte le discipline;
    2) a non pesare differentemente il grado di proprietà dei prodotti a seconda del numero degli autori (fatta salva la norma sulla eventuale co-authorship “locale”).

    Questo -si legge sempre nella Nota- ha creato “forti disomogeneità”, rendendo “di fatto impossibile il confronto trasversale fra le valutazioni dei prodotti di settori scientifico-disciplinari diversi”. E ancora si legge: “Non è dunque appropriato utilizzare i punteggi VQR come strumento per stabilire, tramite confronto diretto, se un gruppo di ricercatori di un’area o di un settore ha prodotto una ricerca migliore di un altro”.
    Ma come? è davvero l’ANVUR che scrive? E i ranking delle Istituzioni, riportati nelle tabelle dei vari GEV (http://www.anvur.org/rapporto-2016/ ), allora che fine fanno? Li buttiamo via?
    Questi ranking tipicamente già confrontano comparativamente (solitamente suddivisi in 3 classifiche per “taglia”, piccola, media, grande) Dipartimenti – che non sono affatto gruppi di ricercatori omogenei per settore scientifico disciplinare.
    Quanto all’ISPD, come ho evidenziato in un altro intervento (https://www.roars.it/le-incongruenze-dellispd-e-i-dipartimenti-di-eccellenza/ ), è un algoritmo che genera mostri. Per esempio, il voto standardizzato di un prodotto mancante in P/09 (-0.733) vale assai di più che un prodotto giudicato “elevato” in FIS/04 (-1.261). La differenza rispecchia il fatto, incredibile ma vero, che più del 44% dei prodotti attesi in P/09 è mancante, non-valutabile o limitato, cioè merita un punteggio 0. Ciò determina un punteggio medio di settore spaventosamente basso (0.26) per P/09 e fa schizzare in alto le valutazioni standardizzate di tutti i suoi prodotti. COMPRESI I MANCANTI! Tutto ciò non mi pare abbia nessun nesso con il problema di fissare lo stesso numero di prodotti attesi per SSD e/o quello di pesare meglio il grado di proprietà dei prodotti (mancanti?).
    Il fatto è che la standardizzazione dei punteggi crea distorsioni assurde.
    Nella nota ANVUR (o ROARS?) si scrive ancora che “non è corretto confrontare dipartimenti o altri aggregati disomogenei utilizzando il voto standardizzato” (per fortuna se ne sono accorti!). Ma il punteggio standardizzato, per le finalità per le quali è stato costruito è SSD-free. A livello aggregato, esso è sommabile a piacere e trasversalmente ai SSD, avendo già scontato con l’operazione di standardizzazione –nella finalità di chi lo ha inventato- l’effetto-settore del singolo voto di prodotto. Nella formula del voto standardizzato di Dipartimento si corregge solo la mera somma diretta dei voti standardizzati di prodotto con l’inverso della radice quadrata del numero dei prodotti. Dipartimenti di uguale taglia saranno sempre confrontabili sulla base della somma dei voti standardizzati, a prescindere dal tipo di settori che li compongono. Infine, il passaggio per il quale si trasforma il voto standardizzato di dipartimento in “probabilità”, ovvero in punteggio ISPD su scala fra 0 e 100, è assolutamente inutile, perché non modifica il ranking già determinato, e fuorviante, perché i dipartimenti “reali” non si formano affatto pescando a caso prodotti nei diversi settori e i loro punteggi non determinano neanche lontanamente realizzazioni “normali”. Ergo, una qualsiasi altra trasformazione monotona crescente, eventualmente pure a valori fra 0 e 100, dei punteggi standardizzati di dipartimento avrebbe pari dignità che quella normale. Quest’ultima in particolare è molto poco furba, portando più di 100 Dipartimenti a fondo scala, sullo stesso valore limite di 100, rendendo in buona parte inservibile la misura stessa.

    Ultima osservazione: in questa nota ANVUR (o ROARS?) ha inserito anche un piccolo refuso tecnico là dove è scritto “voti standardizzati possono essere ottenuti tramite sottrazione della media e divisione per la varianza”. Manca una radice quadrata alla varianza

  6. Per quale motivo si perde ancora tempo a discutere di dettagli sulle varie procedure promosse da ANVUR che hanno solo lo scopo di creare diversione dall’esercizio arbitrario del potere? L’universita’ e’ di fatto in mano a un piccolo gruppo di professori ordinari (ogni sede ha i suoi) che controllano i criteri e gestiscono in modo arbitrario l’ateneo. L’unica strada possibile per provare ad opporsi a tale strapotere e’ coordinarsi per fare delle causa giudiziarie collettive o sostenere delle cause individuali che possano servire da modello. E’ inutile continuare a discutere di sofismi: se il revisore conosca o meno l’autore di una pubblicazione (irrilevante il revisore esprime il giudizio senza leggere la pubblicazione), se una tal misura bibliometrica abbia senso (nessuna ha senso per valutare il lavoro di ricerca fatto negli anni da un ricercatore), se una sede di pubblicazione sia meglio di un’altra (dimmi chi conosci, ti diro’ dove riesci a pubblicare), se si possano confrontare due pubblicazioni (figuriamoci: come e’ sommare cavoli con pere, e’ impossibile confrontare due pubblicazioni scientifiche), etc. Bisogna coordinarsi e fare una serie di cause giudiziari. Questa e’ l’unica strada. Da notare il silenzio in tutti questi anni di ANVUR degli di accademici formazione giuridica.

  7. @tutti:
    Per le iniziative giudiziarie finalizzate a contestare i meccanismi perversi di ANVUR,
    occorre essere legittimati ad agire,
    cioè essere già destinatari diretti delle azioni dell’Anvur e degli altri valutatori.
    Secondo me,
    1) legittimato ad agire è ogni strutturato che sia sottoposto a VQR, se si vuole contestare il meccanismo della valutazione con annessi e connessi.
    2) legittimato ad agire è ogni candidato ASN, che nei termini, può impugnare il bando ASN oppure la propria valutazione negativa.
    3) legittimato ad agire è ogni membro della Commissione ASN che si accorge che non riesce a lavorare secondo coscienza, dato che le norme che regolano l’ASN permettono di avere potere di vita e di morte sul candidato (vedere gli scandali di diritto tributario).
    Visto che i punti 2) e 3) difficilmente verranno seguiti,
    l’unica opportunità è insistere sulla VQR (tornando al punto 1)
    1) VQR:
    1) a.: astenersi in massa
    1) b.: impugnare (nei termini) l’atto amministrativo che stabilisce la VQR per quell’anno e le relative procedure
    1) c.: scioperare contro VQR e ANVUR affinché il Ministro metta mano e blocchi la VQR, la ASN, sciolga l’ANVUR.
    Io, personalmente, non essendo strutturato, non sono destinatario della VQR, quindi non conosco bene il funzionamento relativo.
    Chi è strutturato, invece, conoscerà bene i documenti che gli arrivano sulla valutazione.
    Se volete, rivolgetevi ad un avvocato che tratta diritto amministrativo e prospettategli queste mie riflessioni.

  8. @Giuseppe De Nicolao, non e’ mia intenzione mettere in dubbio l’impatto che Roars ha sulla coscienza collettiva dei lettori. Eppure esiste una differenza sostanziale tra quanto sostengo io e quanto dice De Nicolao o quanto fa Roars.
    a) Roars svolge la sua attivita’ di critica all’interno dei paletti fissati da ANVUR, quindi la avalla, salvo mostrare come ci siano delle crepe o come alcuni docenti particolarmente astuti siano riusciti ad inserire dei piccoli cunei nelle crepe.
    b) io sostengo che tutto il sistema ANVUR e’ basato sulla bugia che sia possibile valutare l’attivita’ di ricerca misurando le pubblicazioni. Quanto io dico sottointende un errore universale e fondamentale che non necessita’ di molta discussione per essere riconosciuto. Lo spiego in poche righe qui, per chi non e’ di area scientifica vi invito a cercare su google scholar un qualunque articolo descriva un lavoro di ricerca sperimentale. Al fine di poter capire, solo per capire non per valutare, il contenuto dell’articolo, occorre come minimo un lavoro di un anno (12 mesi): per studiare lo stato dell’arte, ricostruire l’esperienza di laboratorio, rifare tutti gli esperimenti riportati e confrontare i risultati con quelli descritti dall’autore. E trascuro completamente il processo di fare la valutazione di innovativita’ dello stesso. Cosa fanno in realta’ i revisori della rivista, danno un giudizio di accettazione o meno dopo aver dato una lettura puramente testuale dello stesso che e’ fortemente influenzata dalle relazioni sociali dell’autore e da quanto ha pagato all’editore (es: pregresse partecipazioni alle conferenze, etc.). Quindi l’idea che sia possibile esprimere una valutazione della qualita’ di ricerca a partire dall’artifatto pubblicazione e’ palesamente falsa. Fine della discussione. Non occorre un dottorato di ricerca in scienze per capire questo. E’ cosi’ evidente. Quindi tutto il sistema ANVUR non e’ altro che una ennesima facciata con cui mascherare gli usuali maneggi accademici.
    Sull’inerzia dei colleghi giuristi, c’e’ qualche accademico giurista che abbia gia’ sostenuto che il sistema ANVUR e’ basato su una bugia di fronte alla magistratura a vostra conoscenza?
    Questo e’ un esempio di causa collettiva da impostare e sostenere per fare crollare l’intero sistema.
    c) faccio infine notare che i ricorsi al tar attuali, a mia conoscenza, sono fatti senza mettere in alcun dubbio l’intero sistema di procedure ANVUR ma al suo interno cercano di trovare il piccolo dettaglio amministrativo che permetta di vincere il caso del ricorrente.
    Per concludere continuare a postare articoli in cui si discute i piccoli errori di calcolo delle procedure anvuriane significa avallarne l’efficacia in toto quando l’errore di calcolo venisse rimosso. Possibile che non ce ne rendiamo conto?

    • A questa argomentazione già risposto in un mio precedente commento, che riporto qui sotto. In ogni caso, Roars non ha la pretesa di risolvere i problemi dell’università, ma di fornire strumenti utili a risolverli. E questi strumenti sono le informazioni, il debunking delle leggende, le analisi. Nel debunking delle leggende è compreso anche il lavoro per svelare le imposture che si nascondono dietro certe retoriche valutative.
      Alcuni debunking sono inutili per chi ha già capito. A me per capire che certe notizie oppure certi metodi di Anvur sono inconsistenti a volte occorrono non più di 5 minuti. Però, per scrivere un post che rende evidente l’impostura a chi ha letto poco, capito meno ed è imbottito di propaganda a buon mercato, può occorrere una giornata di lavoro a tempo pieno. È un problema pedagogico. Bisogna far capire certe cose a chi ha strumenti culturali minimi e molti nostri colleghi (per non dire dell’uomo della strada) sono in queste condizioni. L’uomo della strada e molti nostri colleghi crederebbero che dietro ISPD c’è una qualche scienza misteriosa. Come mai i rettori possono continuare a vantarsi di qualche posizione guadagnata nelle classifiche internazionali degli atenei? Perché credono (o sanno che i loro destinatari credono) che dietro quei numeri ci sia una qualche misteriosa scienza.
      Smontare le classifiche degli atenei e le imposture bibliometriche, anvuriane o meno, va fatto continuamente e non solo a livello filosofico. Perché la superstizione va combattuta con ogni mezzo, tanto più quando contagia il mondo della ricerca e dell’istruzione. E non è certo il caso di lasciar usurpare l’etichetta della scientificità a chi non distingue una varianza da una deviazione standard. Il modo più rapido ed efficace per sbugiardare i ciarlatani davanti al popolo non sono gli argomenti epistemologici ma lo smascheramento dei loro trucchi. Comunque, non vedo come la dimostrazione che ISPD sia tecnicamente demenziale possa avallarne l’efficacia. Proprio come non avrei capito chi avesse detto che Houdini, smascherando i trucchi degli spiritisti, ne avallava gli inganni. Era solo il modo più veloce di dare la sveglia ai creduloni.
      ==============
      Io do la solita risposta. Chi conosce la termodinamica sa che la realizzazione del moto perpetuo è una bufala. E se nel suo paese di campagna arriva un tizio che vuole vendere marchingegni “a moto perpetuo” gli ride dietro. Ma se i suoi concittadini, che non conoscono la termodinamica, sono pronti a farsi svenare dal tizio, allora ha senso aprire il marchingegno e mostrare che ci sono le pile e che se le togli si ferma. Semplicemente perché vedere con i propri occhi le pile e gli ingranaggi che si fermano è più veloce e alla portata di tutti che assimilare i principi della termodinamica. E smascherare il trucco può anche essere un modo per persuadere qualcuno che ha senso studiare la termodinamica (se credo al moto perpetuo perché me lo vedo davanti, non mi metto a studiare una disciplina che afferma la sua impossibilità). Alcuni sanno decifrare bene il vuoto che c’è dietro le classifiche e dietro certe campagne di stampa per la riforma di istruzione e università. Ma molti altri guardano incantati e anche affascinati dalla (presunta) autorevolezza dei pulpiti. Smontare le macchine miracolose e fare debunking delle #fakenews cambia poco la vita di chi ha già capito. Ma la maggioranza non ha capito e si fa abbindolare (inclusi molti colleghi). Si tratta di aiutare ad aprire gli occhi insomma e a mettere a fuoco chi è autorevole e chi no (autorevole anche solo nel riportare dei numeri, che è poco, ma se non si riesce a fare nemmeno quello, figuriamoci il resto).
      ________________
      https://www.roars.it/non-potevo-verificare-perche-e-a-pagamento-de-biase-sole24-non-lo-sa-ma-le-liste-degli-highly-cited-sono-gratis/comment-page-1/#comment-64791

    • Ultima aggiunta. Andrea Bonaccorsi, ex-consigliere Anvur è accreditato come studioso di valutazione, anche alla luce di quello che ha pubblicato. Un suo recente libro è stato oggetto di recensioni che ne mettono in questione gli assunti metodologici:
      __________
      https://www.roars.it/il-valutatore-bonaccorsi-alla-prova-della-valutazione-aperta-anche-i-valutatori-piangono/
      __________
      Però, oltre a discutere gli assunti, i revisori Pievatolo e Caso non si sono astenuti dal mettere in evidenza anche i diversi specifici casi di autori fraintesi o citati selettivamente da Bonaccorsi. Anche questo serve a farsi un’idea del rigore scientifico e dell’autorevolezza di un autore.
      Da parte mia, qualche anno fa avevo analizzato una classifica stilata da Bonaccorsi in un suo Policy Bief redatto per la Commissione Europea. Dal punto di vista tecnico la classifica dell’allora consigliere Anvur era sbagliata. I numeri si contraddicevano tra di loro:
      https://www.roars.it/andrea-bonaccorsi-e-le-classifiche-degli-atenei-voodoo-rankings/
      Sollecitato a dare una spiegazione nel corso di una lecture, Bonaccorsi aveva dovuto riconoscere che aveva sbagliato la definizione di percentile:
      https://www.roars.it/andrea-bonaccorsi-e-le-classifiche-degli-atenei-voodoo-rankings/#comment-13507
      Ora, io so benissimo che la sua classifica era priva di basi scientifiche anche se avesse saputo usare i percentili (e l’ho pure scritto), ma mostrare che chi stava al vertice dell’agenzia di valutazione non usava correttamente nemmeno le più elementari nozioni di statistica fa diventare la riflessione epistemologica un filo superflua, se dobbiamo spiegare rapidamente quale credito meritino le valutazioni ANVUR.

    • Aggiungo a quanto ha già scritto Giuseppe De Nicolao, che articoli che mettono sotto accusa il sistema di valutazione italiano in quanto tale ce ne sono diversi su roars. Mi limito a ricordare:

      https://www.roars.it/collaborazionisti-o-resistenti-laccademia-ai-tempi-della-valutazione-della-ricerca/

      https://www.slideshare.net/albertobaccini1/la-dignit-della-docenza-e-la-valutazione-della-ricerca

      https://www.slideshare.net/albertobaccini1/la-valutazione-massiva-della-ricerca-costi-e-benefici

      https://www.roars.it/baccini-su-anvur-anomalie-costi-ed-effetti-collaterali-della-valutazione-allitaliana/

    • @Filippo2017, la invito a leggere meglio il mio post e gli articoli in esso citati.
      Io sono un giurista e la mia critica all’ISPD e alla VQR è anche e soprattutto giuridica. Ed è una critica di fondo. Non è affatto finalizzata a discutere di un dettaglio, ma all’opposto ha lo scopo di demolire l’insieme.
      Io sostengo, assieme ad altri come Maria Chiara Pievatolo http://commentbfp.sp.unipi.it/?page_id=1372
      che un processo di valutazione di Stato è per sua natura un procedimento giuridico (amministrativo) imposto dallo Stato. Se non si rispettano le più elementari regole poste alla base dello Stato di diritto, allora l’intero procedimento è illegittimo. Se poi si rispettassero tutte le regole – cosa che non è nel caso del MIUR e dell’ANVUR – rimarrebbe solo un procedimento imposto dall’alto che nulla ha che fare con una scienza autonoma.
      Non l’ho sostenuto solo in questa sede (Roars), ma in atti formali dell’ateneo e del dipartimento di cui faccio parte.
      Mentre il suo argomento epistemologico sub b) dimostra che lei ha in mente solo le scienze sperimentali e non le interessano le scienze umane. Dunque, pur essendo un argomento interessante e che merita discussione, il suo argomento, quand’anche fosse preso in considerazione, non riguarderebbe tutta la valutazione di Stato.
      Come spiegato lucidamente da Giuseppe De Nicolao, il compito di un dibattito pubblico sulla valutazione è quello di mostrare tutti i vizi di fondo e quelli di dettaglio. Oltre a vizi sul metodo delle scienze dure (ad es., matematica, logica, statistica, teoria della probabilità), esistono macroscopici vizi giuridici. Non basta vagheggiare di azioni collettive contro la VQR – la cui ammissibilità giuridica sarebbe tutta da vagliare – ma occorre che ciascun spirito critico si impegni a sollevare istanze di cambiamento in tutte le sedi pubbliche e istituzionali utili.
      Io mi sforzo di comprendere cosa significa “percentile” e la differenza tra “varianza” e “deviazione standard”. Ma chi interviene nel dibattito sulla valutazione di Stato dovrebbe impegnarsi a comprendere cosa significa “elettività delle cariche”, “irrettroattività della legge” ecc.

  9. @Roberto Caso, la ringrazio per la risposta al mio commento a cui replico qui. La prego di considerare che non le sto scrivendo per convincerla di aver ragione, ne’ per farle cambiare idea, ma invece per stimolarla a pensare a come strutturare in termini giuridici quanto da me sostenuto.
    Le chiedo anche di notare che stiamo utilizzando due prospettive differenti nell’affrontare lo stesso tema, lei sta utilizzando una prospettiva dallo specifico al generale quindi che rivela una grande attenzione al dettaglio tecnico giuridico, io sto provando ad utilizzare una prospettiva dal generale al (molto poco) specifico. Sono due metodologie distinte per ricercare la soluzione di un problema (note come bottom up e top down).

    punto a)
    ‘Mentre il suo argomento epistemologico sub b) dimostra che lei ha in mente solo le scienze sperimentali e non le interessano le scienze umane. Dunque, pur essendo un argomento interessante e che merita discussione, il suo argomento, quand’anche fosse preso in considerazione, non riguarderebbe tutta la valutazione di Stato.’

    Non ho fatto fatto questa affermazione. Ritengo che quanto da me detto si possa applicare a molti settori di scienze e umanistici. Ciononostante limito le mia affermazione ai settori di scienze sperimentali che conosco bene e dove difficilmente mi si potrebbe smentire. Ben venga che qualche ricercatore di settori umanistici la faccia propria. Scelgo di evitare di fare affermazioni universali (il ‘per ogni’ della logica matematica) in quanto e’ facile invalidare le affermazioni universali presentando un unico esempio contrario.

    punto b)
    La ‘Valutazione di Stato’ gia’ a questo punto siamo arrivati? Questo e’ un bel termine lessicale, sono delle parole, sono dei bei fonemi, che una volta associati ai termini ANVUR, VQR, CRUI etc, ne accreditano ancora di piu’ l’autorevolezza, l’importanza, l’utilita’, la dignita’ e la necessita’. La scelta delle parole definisce il mondo come percepito dagli esseri umani e costituisce la narrativa cognitiva, la storia ci raccontiamo mentalmente costantemente, che ci definisce e ci aiuta ad interpretare il caos del mondo.
    La creazione di termini del linguaggio che pongano in ottica favorevole una pratica esecrabile e’ il primo passo per renderla accettabile e desiderabile ai tutti.

    La realta’ e’ che:
    ANVUR = esercizio di potere accademico fatto da pochi individui che ne nascondono le azioni tramite la complessita’ e burocrazia amministrative.

    Lo so, e’ un po’ lunga come definizione, ma io non lavoro con le parole e quindi mi si perdonera’ di non essere in grado di coniare un termine adatto per esprimere sinteticamente cosa siano ANVUR, VQR, etc.

    punto c)
    ‘Io mi sforzo di comprendere cosa significa “percentile” e la differenza tra “varianza” e “deviazione standard”. Ma chi interviene nel dibattito sulla valutazione di Stato dovrebbe impegnarsi a comprendere cosa significa “elettività delle cariche”, “irrettroattività della legge” ecc.’

    Non crede che questo approccio orientato all’attenzione ai dettagli tecnici statistici e giuridici sia del tutto inadeguato nell’affrontare le dinamiche prodotte da ANVUR?
    Nella mia esperienza, se si vuole perdere l’attenzione dei lettori, chiedere loro di capire una formula matematica e’ un buon inizio. I promotori di ANVUR lo hanno capito cosi’ bene che hanno ampiamente utilizzato questa strategia.
    E poi per quale motivo chiedere ai lettori di fare lo sforzo di capire cosa si intende per varianza, deviazione standard, percentile, etc. e di confrontare le applicazioni delle stesse in contesti differenti? Si sotto intende forse che se il lettore non ha una laurea in Statistica non puo’ capire che ANVUR e’ solo una facciata per l’esercizio di potere accademico?

    Inoltre non e’ necessario conoscere la statistica per capire che gli input della procedura di valutazione sono per loro intrinseca natura inaffidabili e inconfrontabili e pertanto il risultato non potra’ che essere assurdo e infondato.
    Gli informatici dicono garbage in – garbage out: se i dati in ingresso sono immondizia anche il piu’ bell’algoritmo di questo mondo non potra’ che produrre appunto immondizia. Non serve conoscere l’informatica per esprimere tale relazione sugli input e sugli output.

    Nel caso in questione poiche’ gli articoli pubblicati dai ricercatori di scienze sperimentali (v. nota precedente sulla mia autolimitazione) non sono soggetti ad un processo di revisione serio, qualunque manipolazione burocratica si possa fare sugli stessi, il risultato sara’ sempre privo di alcun significato in termini di valutazione della qualita’ di ricerca.

    Lei ha formazione giuridica, le chiedo quindi, se ne avesse voglia e tempo, di pensare a come si potrebbe strutturare una causa sull’elemento chiave che ho citato per fare crollare tutto il castello di carte prodotto da ANVUR.
    L’elemento chiave che ripeto e’ questo: il processo di revisione delle pubblicazioni scientifiche sperimentali non permette di garantire in alcun modo il contenuto degli articoli pubblicati. Nessun revisore e’ in grado, dispone del tempo, ha accesso alla strumentazione o possiede le capacita’ per riprodurre i risultati riportati nell’articolo stesso.

    • @Filippo2017, dialogo ben volentieri con lei.
      Le questioni che lei pone sono essenzialmente 3.
      a) Strategia comunicativa. Particolare/generale, etichette date a un fenomeno deteriore (“valutazione di Stato”), e connessi problemi di retorica/tecnicismo.
      b) Potere accademico e sua distorsione attraverso la valutazione stile ANVUR.
      c) Soluzioni. Ad es., una causa (amministrativa immagino) da muovere contro MIUR e ANVUR.
      Sub a). Rispondo dicendole che le questioni giuridiche da me sollevate non sono di dettaglio ma generali. Intendono delineare possibili vizi a monte di una procedura amministrativa allo scopo di invalidarla del tutto. Il problema giuridico è rappresentato dal processo amministrativo (quello che si svolge davanti a TAR e Consiglio di Stato) che ha molte strettoie. Non sono un esperto di diritto amministrativo, ma i problemi posti dalla VQR e dai Dipartimenti di eccellenza non sono facili da affrontare tramite un processo davanti a un giudice amministrativo. Mi risulta però che ci siano già cause in corso di svolgimento.
      Come ha cercato di spiegare Giuseppe De Nicolao, le operazioni che indagano i dettagli statistici o giuridici delle procedure valutative non mirano affatto a legittimare, ma a smontare pezzo per pezzo l’autorevolezza della “valutazione di Stato”, la quale si fa forza di due strumenti: l’oggettività della matematica e la leggittimità delle procedure giuridiche. Se la matematica è maldestramente utilizzata e le procedure giuridiche sono palesemente illegittime, della presunta autorevolezza non rimane un bel niente.
      L’etichetta “valutazione di Stato” non è affatto legittimante, ma anzi ricorda a coloro che non hanno memoria che la scienza ha sempre dovuto combattere e difendere la propria autonomia. Un conto è fondare il giudizio di qualità sulla bilancia delle norme informali della comunità scientifica (le norme descritte da Robert K. Merton), altro è imporle con la spada dello Stato: cfr. M.C. Pievatolo, http://commentbfp.sp.unipi.it/?page_id=1372
      Sub b). Rispondo dicendo che il potere accademico che lei riconduce alle ristrette cerchie di professori che fanno i consiglieri del principe (ANVUR) non sarebbe tale se non fosse rivestito del potere statale.
      Sub c). Per quel che riesco a vedere io fondare una causa sull’irrazionalità del criterio della revisione dei pari di pubblicazioni scientifiche è una strada tutta in salita. Meglio provare a cambiare le prassi della scienza, come intende fare l’Open Science: http://aisa.sp.unipi.it/chi-siamo/. Insomma lavorare più sull’etica che sul diritto. L’apertura dei risultati della ricerca ne garantisce un maggiore controllo e innesca le dinamiche virtuose dell’uso pubblico della ragione: http://btfp.sp.unipi.it/dida/kant_7/ar01s05.xhtml#usopubblicoprivato

  10. @Roberto Caso, La ringrazio per la sua dettagliata risposta. Rispondo alle tre tematiche per terminare con una nuova domanda.
    Relativamente al punto Sub a) Ricorso Amministrativo.
    Impostando un ricorso amministrativo contro le procedure ANVUR contestandone l’illegittimita’ procedurale o evidenziandone le carenze di tipo matematico, si permette a MIUR/ANVUR di rispondere, in caso di sentenza a loro avversa, semplicemente modificando le formule matematiche o le procedure amministrative utilizzate nel rispetto di quanto riportato nella sentenza a loro sfavorevole. E ci si trova punto a capo con una nuova procedura valutativa leggermente modificata. A mio avviso, il risultato finale di questa tipologia di ricorsi e’ un rafforzamento, non un indebolimento delle procedure ANVUR che tramite raffinamenti successivi, sentenza dopo sentenza, eliminano quelle debolezze giuridiche sfuggite agli estensori originali pur restando irrazionali nella sostanza. Sarebbe di sorta di evoluzione darwiniana giuridica.
    Sub b) Potere di ristrette cerchie di professori. Sono dell’avviso che il potere delle cerchie ristrette di professori sia fondato sull’appoggio di pochi dirigenti del MIUR/Governo che esercitano il potere esecutivo in materia di universita’. Penso sia bene distinguere tra lo Stato inteso come ente ideale che rappresenta tutti gli Italiani e le poche persone che possono esercitare in un dato momento storico il potere esecutivo.
    Sub c) Diritto e Etica
    Sarebbe bello credere che si possa riformare l’attuale classe dei docenti universitari con un invito ad un comportamento piu’ etico. Non ho pero’ abbastanza immaginazione per crederci.
    Sub d) – Commento in generale
    Nel suo commento ha inoltre menzionato due temi che hanno attratto la mia attenzione.
    Tema 1:
    ‘… i problemi posti dalla VQR e dai Dipartimenti di eccellenza non sono facili da affrontare tramite un processo davanti a un giudice amministrativo. Mi risulta però che ci siano già cause in corso di svolgimento.’
    Mi chiedo quindi se esiste modo per aver informazioni relativamente a tali procedimenti in corso? Esiste forse un motore di ricerca dei procedimenti giuridici in corso?
    Tema 2
    ‘… fondare una causa sull’irrazionalità del criterio della revisione dei pari di pubblicazioni scientifiche è una strada tutta in salita.’
    Ha capito e sintetizzato in modo perfetto quello a cui sto pensando quando dico che occorre fare una causa sugli aspetti sostanziali delle procedure di valutazione.
    In particolare mi ha colpito l’utilizzo del termine ‘irrazionalita’ del criterio’ e mi domando se esista il concetto giuridico, di ‘irrazionalita’ di norma’ o di ‘irrazionalita’ di criterio di valutazione’ o similari. Se cosi’ fosse potrebbe darmi un riferimento normativo o di sentenza in questo concetto viene applicato?
    La ringrazio molto per la sua attenzione e la sua disponibilita’ nel considerare un punto di vista differente dal suo.

  12. A proposito di Anvur e di algoritmi valutativi:
    _________
    “Per una fetta di torta”: inchiesta di Report sulla valutazione della ricerca
    _________
    La VQR e l’Anvur sotto i riflettori di Report. Con interviste al Presidente dell’Anvur, Andrea Graziosi, e a Giuseppe De Nicolao, redattore di Roars. C’è il caso del Presidente di una commissione per l’Abilitazione scientifica nazionale che ha superato le asticelle imposte da Anvur grazie a ben 542 citazioni, di cui 394, però, erano autocitazioni. Cose che capitano? È lo stesso Graziosi a spiegare ai telespettatori che “le citazioni sono un criterio oggettivo per modo di dire”. Se le cose stanno così, vale la pena di spendere milioni di Euro per un’agenzia di valutazione che conferisce la medaglia d’oro della Fisica all’ateneo Kore di Enna? Dove, guarda un po’, il corso di laurea in Fisica non esiste nemmeno. Giuseppe De Nicolao, redattore di Roars, prova a rispondere mediante la metafora della torta e del pasticciere che ci chiede un sovrapprezzo alquanto esoso per dividerla in fette. “Per una fetta di torta” è appunto il titolo del servizio di Report.

    Lunedì 30/10, ore 21:05, su Rai3

    Link all’anteprima:

    http://www.raiplay.it/social/video/2017/10/Per-una-fetta-di-torta—Anticipazione-cb47c252-2a3b-4464-8b18-0b09066c902a.html?wt_mc=2.social.fb.rai3_report.&wt/

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.