L’ANVUR ha sottoposto a consultazione i criteri con cui intende non solo valutare i corsi di dottorato, ma anche stilare una graduatoria, un compito che nessuna legge o decreto ministeriale attribuisce all’agenzia. Infatti, l’ANVUR ha solo il compito di definire “criteri e metodologie per la valutazione” dei dottorati, utilizzando i quali sarà il MIUR a ripartire il finanziamento in modo autonomo, “sentita l’ANVUR”. Ne segue che, senza una decisione ministeriale sull’importanza relativa dei diversi criteri, nesssuna ripartizione e nessuna graduatoria è possibile. Ma gli sconfinamenti non si fermano qui. Sebbene il DM 45/2013 elenchi sei criteri per cui l’ANVUR dovrebbe definire indicatori oggettivi e certificabili,  l’ANVUR introduce un settimo indicatore che non corrisponde a nessuno dei criteri ministeriali. In ogni caso, anche  gli indicatori dei criteri realmente esistenti non sono privi di criticità che richiedono opportuni interventi emendativi.

Il 4 agosto scorso l’Anvur ha pubblicato il documento “La valutazione dei corsi di dottorato”, approvato dal Direttivo il 24 luglio 2014. Come scrive l’ANVUR:

Questo documento illustra i criteri e gli indicatori che l’ANVUR intende proporre alla comunità scientifica per la valutazione dei corsi di dottorato. Si tratta di un documento preliminare, aperto alla discussione, in accordo con la linea di trasparenza e condivisione che l’Agenzia ha da sempre seguito.

L’ANVUR esaminerà con attenzione i suggerimenti e le critiche che perverranno all’indirizzo dottorato@anvur.org entro il 31 ottobre 2014.
La versione finale del documento, che terrà conto della consultazione, sarà pubblicata entro il 31 dicembre 2014.

ROARS si occupato a più riprese del dottorato di ricerca durante le fasi di accreditamento e, nella speranza di fare cosa utile, riassume qui alcuni commenti, in particolare in relazione agli indicatori relativi alla qualità della ricerca.

1. L’invasione di campo dell’ANVUR

Stopinvasivespecies

1.1 I riferimenti normativi

il DPR 76/2010 che definisce i compiti dell’ANVUR alla lettera b) del comma 1 dell’articolo 3, stabilisce che l’ANVUR “definisce criteri e metodologie per la valutazione in base a parametri oggettivi e certificabili, delle strutture delle università e degli enti di ricerca, e dei corsi di studio universitari, ivi compresi i dottorati di ricerca”.

L’ANVUR ha quindi il compito di valutare i corsi di dottorato in presenza di criteri definiti dal succitato articolo 13 del DM, definendo le metodologie per la valutazione. Il Consiglio Direttivo ritiene che[…] l’esercizio di valutazione debba tradursi in una graduatoria (o in alternativa in una classificazione di merito sufficientemente fine) dei corsi di dottorato ll’interno di aree scientifiche omogenee…

Siamo in presenza di un salto logico difficile da giustificare. Se è vero che il DPR 76/2010 attribuisce all’Anvur il compito di definire criteri e metodologie  per la valutazione dei dottorati, quando andiamo a leggere il DM n. 45 dell’8 febbraio 2013, “Regolamento recante modalità di accreditamento delle sedi e dei corsi di dottorato e criteri per l’istituzione dei corsi di dottorato da parte degli enti accreditati” troviamo  semplicemente che

2. Il finanziamento ministeriale è ripartito annualmente con decreto del Ministro, sentita l’ANVUR, tenuto conto dei seguenti criteri:

a) qualità della ricerca svolta dai membri del collegio dei docenti;
b) grado di internazionalizzazione del dottorato;
c) grado di collaborazione con il sistema delle imprese e ricadute del dottorato sul sistema socio-economico;
d) attrattività del dottorato;
e) dotazione di servizi, risorse infrastrutturali e risorse finanziarie a disposizione del dottorato e dei dottorandi, anche a seguito di processi di fusione o di federazione tra atenei;
f) sbocchi professionali dei dottori di ricerca.

Come chiunque può verificare il DM non attribuisce esplicitamente all’ANVUR il compito di valutare i dottorati e ancor meno di stilare una classifica di cui non c’è traccia nei regolamenti. Qualcuno potrà obiettare che l’ANVUR, nel momento in cui assolve il compito di definire “criteri e metodologie per la valutazione in base a parametri oggettivi e certificabili” effettua de facto una valutazione dei dottorati. Anche accettando questo ragionamento, quello che non spetta all’ANVUR è la compilazione di una classifica. Il compito dell’agenzia si esaurisce nel fornire al Ministro le informazioni, basate su “parametri oggettivi e certificabili”, utili a stabilire con un atto politico il finanziamento dei dottorati.

1.2 La distinzione tra valutazione e indirizzo politico

Infatti, una volta che il Ministro abbia a disposizione tutte le informazioni relative ai sei punti (a)-(f) sopra citati, il peso da attribuire a ciascuno è una decisione su cui l’ANVUR potrà esprimere un parere, ma che in ultima istanza ha valenza politica. Per fare un esempio, non è compito dell’ANVUR decidere se, ai fini del finanziamento, il grado di internazionalizzazione debba pesare di più o di meno del grado di collaborazione con le imprese.

La compilazione di una classifica, al contrario, comporta proprio questa decisione e si configura come l’ennesimo sconfinamento politico dell’agenzia che invece di svolgere un ruolo tecnico di valutazione pretende di dettare degli indirizzi politici che non le spettano. In un contesto in cui i corsi di dottorato devono perseguire una molteplicità di obiettivi, riassunti nei punti (a)-(f), non sarà in generale possibile costruire una classifica “oggettiva”. Per esempio, il dottorato A potrebbe superare il dottorato B in quanto a qualità della ricerca svolta dai membri del collegio, ma a sua volta essere superato da B in quanto a sbocchi professionali. La decisione di attribuire più finanziamenti all’uno o all’altro non rispecchia un giudizio di merito, associabile ad una classifica da pubblicizzare per evidenziare “buoni e cattivi”, ma rispecchia una decisione politica che in un frangente di crisi economica potrebbe voler valorizzare di più gli sbocchi occupazionali, restando del tutto possibile che negli anno successivi si decida invece di premiare maggiormente l’eccellenza scientifica.

Nella VQR, la stessa ANVUR aveva riconosciuto l’esistenza di una linea di demarcazione tra valutazione e indirizzo politico. Dato che l’architettura della VQR aveva dato luogo a 16 VQR parallele ed incomunicanti (una per ognuna delle 14 aree CUN con le aree 8 ed 11 sdoppiate in sotto-area bibliometrica e non bibliometrica), Dal momento che non esisteva un metodo “oggettivo” per mettere sulla stessa scala i giudizi delle 16 VQR, l’ANVUR aveva correttamente dichiarato che la scelta dei pesi da attribuire alle 16 aree era una decisione di natura politica. Per i dottorati, si pone lo stesso problema, questa volta relativamente ai 6 criteri (a)-(f): non esistendo un metodo “oggettivo” per compararli, la decisione passa necessariamente al Ministro. Di sicuro, è del tutto ingiustificato ed inopportuno la compilazione di una classifica che, oltre a non avere alcuna base scientifica, si configura come un’invasione di campo che oltre ad usurpare le prerogative ministeriali porta con sé gli usuali effetti distorsivi delle classifiche basate su scelte soggettive e non scientifiche.

Emendamento proposto: La scelta dei pesi della formula (6) a pagina 11 non spetta all’ANVUR ma al Ministro.

2. Agenzia di valutazione o di rieducazione?

cina20a

2.1 Sugli obiettivi della valutazione

Il documento cita fra gli obiettivi della valutazione quelli già definiti per l’accreditamento. Ci si aspetterebbe dunque una certa coerenza fra obiettivi definiti nel documento e criteri e indicatori adottati per descriverli. Ci concentreremo qui sul primo e sul terzo obiettivo:

1. un ambiente di ricerca di livello elevato che sia aperto al confronto e alla collaborazione internazionale

3. un tutoraggio efficace e continuo, necessario per una formazione alla ricerca attraverso la ricerca.

Questi due obiettivi dovrebbero essere quelli collegati alla qualità della ricerca svolta dai docenti del collegio e alla loro appartenenza a reti internazionali. Vedremo più avanti come di fatto gli indicatori proposti non rendano conto né dell’una né dell’altra.

Come già fatto per gli indicatori di accreditamento, l’ANVUR ha cercato di armonizzare gli indicatori collegati al criterio V1 e V2 (qualità della ricerca svolta dai membri del Collegio dei docenti e grado di internazionalizzazione del dottorato) con quelli utilizzati nella Valutazione della Qualità della Ricerca 2004-2010 (VQR) e in altre procedure di valutazione precedenti

Innanzi tutto, non è chiaro quali siano le procedure di valutazione precedenti a cui si fa riferimento e a cui ci si ispira. Inoltre, gli indicatori non sono armonizzati. Sono proprio gli stessi utilizzati per l’accreditamento, che già conosciamo e che si riferiscono alla VQR 2004-2010. Un periodo sempre più lontano dai dottorati in corso o appena terminati il cui ciclo di vita normale è di tre anni. Proseguiamo:

in modo da garantire un quadro di riferimento omogeneo in grado di indirizzare il comportamento dei docenti e, soprattutto, dei giovani ricercatori alla qualità nella scelta di cosa, come e dove pubblicare i risultati della propria ricerca.

Qui l’ANVUR da agenzia di valutazione si trasforma in agenzia pedagogica, ruolo difficilmente conciliabile con i principi di libertà e autonomia ritenuti di solito essenziali nel mondo della ricerca. Infatti, l’agenzia si assume un compito di grande responsabilità – che per altro non le compete – ovvero quello di indicare la strada da seguire a ricercatori vecchi e nuovi.

2.1 Sull’affidabilità dei dati

Si dovrebbe almeno presumere che i criteri e gli indicatori che andrà a proporre rispecchieranno gli standard e le migliori pratiche a livello internazionale nella valutazione degli individui e dei gruppi. Il rischio di comportamenti opportunistici che nulla hanno a che fare con il progresso e la qualità della ricerca è infatti altissimo, e diventa un danno irreparabile se gli indicatori e i criteri che fanno da guida sono inconsistenti.

Infine, alcuni degli indicatori sono calcolati con un certo ritardo rispetto al corso di dottorato cui si riferiscono; ad esempio, ciò vale per gli indicatori sugli sbocchi professionali dei dottori, o sulla produttività scientifica dei dottorandi-dottori. Tali indicatori devono essere applicati a quei corsi di dottorato (e sono la grande maggioranza) che presentano una continuità di svolgimento nel tempo.

Anche per questi dottorati, però, i dati non sono ad oggi disponibili, o lo sono in maniera talmente lacunosa da non costituire un campione rappresentativo e da non permettere la definizione di valori di riferimento. Che un dottorato sia nuovo o abbia già parecchi anni, i dottorandi sono personale in transizione che non necessariamente resta nel sistema accademico e fino a ieri le loro pubblicazioni non venivano raccolte o non venivano raccolte in modo sistematico. Prima di potere avere un quadro chiaro dovranno passare parecchi anni, ma anche così, è logico che un dottore di ricerca che si si sposta da un ateneo all’altro porti le proprie pubblicazioni in dote all’istituzione che lo accoglie.

3. Il criterio fantasma che non ha riscontro nel DM

3.1 Il criterio V7

Riguardo alla produttività scientifica dei dottorandi (Criterio V7), va peraltro rilevato un altro salto logico. Ecco come viene presentato il criterio:

DottoratoCriterioV7

Il lettore è indotto a credere che le ultime due righe in corsivo riportino fedelmente la Lettera d) del comma 2 dell’art. 13 del DM 45/2013. Se però andiamo a controllare scopriamo che il DM dice tutt’altro:

DottoratoArt13La Lettera d) indica come criterio l’attrattività del dottorato, che nulla ha a che fare con il criterio V7 proposto dall’ANVUR.

Emendamento proposto: Soppressione del criterio V7.

Che l’ANVUR abbia cercato di “forzare” l’introduzione di un indicatore non presente nel DM risulta chiaro anche dal fatto che le lettere del comma 2 dell’art. 13 del DM vanno dalla (a) alla (f) (sei lettere in tutto), mentre i criteri proposti dall’ANVUR vanno da V1 a V7. Si vede subito che ad ogni lettera corrisponde un criterio e che la lettera (d) è usata due volte come riferimento normativo, vale a dire per il Criterio V4 (Attrattività del dottorato) e per il Criterio V7 appena visto.

3.2 Il criterio V4

Sebbene il Criterio V4 abbia un fondamento normativo nel DM, gli indicatori proposti sono inadeguati:

  • Percentuale di candidati che sostengono la prova di ammissione sul numero di posti banditi ICA
  • Percentuale di candidati italiani “esterni” ICE, cioè laureati al di fuori dell’ateneo (degli atenei, in caso di consorzio) promotori del corso di dottorato.
  • Percentuale di candidati stranieri ICS, cioè laureati in università estere.

Le prima percentuale – e in qualche misura anche la seconda – possono essere gonfiate con relativa facilità. Basta chiedere a qualche laureato di iscriversi e presentarsi alla prova e, se necessario, si possono mettere in piedi scambi di domande qualche sede vicina. Se a ciò si aggiunge l’appesantimento burocratico per archiviare ufficialmente questi dati (e poterli documentare a fronte di richieste di verifica), risulta del tutto logico proporre un emendamento semplificativo.

Emendamento proposto: L’indicatore IV4 è calcolato come percentuale di posti con borsa effettivamente coperti rispetto a quelli messi a bando.

4. La Kabbalah anvuriana degli indicatori

portael

4.1 Il criterio V1

Per costruire l’indicatore finale IV1 di area, struttura e dottorato si utilizzano i seguenti indicatori di base:

Gli indicatori RVQR e XVQR della VQR calcolati sul Collegio nella sua composizione completa. Nella consapevolezza che l’attribuzione dei 3 (per gli atenei) e 6 (per i ricercatori degli enti di ricerca) prodotti ai singoli soggetti è stata fatta dalle strutture con l’obiettivo di massimizzare il risultato per la struttura, a scapito in taluni casi della attribuzione ai singoli dei loro prodotti “migliori”, verranno scelti per la valutazione del collegio i 3 (6 per i ricercatori degli enti) prodotti che hanno ottenuto la valutazione migliore, fra tutti quelli presentati alla VQR dalla struttura con un membro del collegio come coautore. Ad esempio, se un(a) docente dell’ateneo x appare come coautore in 7 prodotti presentati dall’ateneo alla VQR (di cui solo 3 attribuiti personalmente a lui (lei)), verranno scelti per il calcolo dell’indicatore RVQR e XVQR del Collegio i 3 prodotti tra i 7 che hanno avuto la valutazione migliore. Per il calcolo degli indicatori la normalizzazione verrà fatta sia utilizzando la media nazionale a livello di SSD sia la media nazionale a livello di area, e si sceglierà il risultato migliore per il Collegio. Si sottolinea che, come nel caso dei dipartimenti e degli atenei, l’uso dei risultati della VQR sarà limitato alla valutazione dell’aggregato (Collegio dei docenti) e mai dei singoli componenti, i cui valori contribuiranno alla valutazione dell’insieme.

Come già fatto notare in fase di accreditamento e come appurato direttamente con Cineca la possibilità di selezionare fra le valutazioni ricevute dai propri lavori (sia presentati direttamente che presentati da altri) le migliori, non esiste.

La situazione è la peggiore possibile. In maniera del tutto casuale, chi è coautore di  7-8 pubblicazioni presentate potrebbe trovarsi a vedere i risultati solo delle tre che ha presentato in prima persona. In altri casi, invece, tutti i risultati sono disponibili. In altri ancora, ne sono disponibili una parte. Questo crea una forte disparità legata esclusivamente al mezzo tecnico che non è in grado di agganciare sempre ogni pubblicazione valutata a tutti i coautori dell’ateneo, ma che lo fa in maniera del tutto casuale.

Come già ricordato, è la stessa ANVUR a riconoscere che gli esiti della VQR nelle 16 aree non sono comparabili. In realtà, come già discusso in dettaglio altrove, l’incomparabilità esiste anche tra gli esiti di diversi Settori Scientifico Disciplinari (SSD). L’introduzione di una normalizzazione specifica per ogni SSD inaugurata dall’ANVUR proprio per l’accreditamento dei dottorati (e qui ripresa) è un riconoscimento di questa ulteriore incomparabilità tra SSD. In caso contrario, sarebbe bastato normalizzare a seconda delle aree. Tuttavia, nemmeno la standardizzazione per SSD è da ritenere affidabile: il gruppo di lavoro della CRUI l’ha criticata e la stessa ANVUR cerca un rappezzo normalizzando in due modi di diversi (per area e per SSD), per poi prendere il risultato più favorevole. Un pasticcio senza capo né coda. Per fare un esempio, grazie al gioco delle normalizzazioni, il voto di un singolo ricercatore può avere un’influenza esorbitante sull’indicatore  RVQR complessivo del collegio.

A = {0, 0,4, 0,8, 1,2} se il relativo componente del Collegio, professore ordinario o associato, supera 0, 1, 2 o 3 mediane, calcolate nel settore concorsuale di appartenenza del componente del Collegio, degli indicatori di cui alle lettere a), b) e c) del comma 2 dell’allegato A, e alle lettere a) e b) del comma 3 dell’Allegato B del Decreto Ministeriale n. 76 del 7 giugno 2012.

L’indisponibilità delle mediane per la categoria dei ricercatori impedisce l’applicazione dell’indicatore ai ricercatori che siano membri del Collegio. L’estensione a essi dell’indicatore verrà consentita dalla realizzazione dell’anagrafe nazionale dei prodotti della ricerca.

Ancora una volta, dunque, ci si basa sulle mediane calcolate per la ASN 2012, con tutti i chiari e gli scuri connessi.  Si prendono indicatori pensati per altri motivi e altre finalità, non disponibili per tutti i membri del collegio, e li si aggrega in maniera del tutto arbitraria. Laddove la percentuale di docenti che non hanno mediane ASN e non hanno risultati VQR è alta, si vanno ad esaminare le pubblicazioni, con un sistema che non risulta definito.

Un indicatore quali-quantitativo di attività scientifica IAS negli ultimi 5 anni, diverso per le aree bibliometriche (1-7, 8a, 9, 11b) e per le aree non bibliometriche (8b, 10, 11a, 12, 13, 14). Per le aree bibliometriche l’indicatore è pari alla somma dei rapporti (uno per area) tra l’Impact Factor medio delle riviste indicizzate WoS e/o Scopus su cui sono stati pubblicati negli ultimi 5 anni gli articoli dei membri del collegio e l’Impact Factor medio associato agli articoli pubblicati su riviste indicizzate WoS e/o Scopus da membri di Collegio di tutti i dottorati nella stessa area negli ultimi 5 anni

Ma quale è il perimetro dell’analisi? Le pubblicazioni di ciascun membro negli ultimi 5 anni oppure le pubblicazioni presentate da ciascun membro del collegio (fino a 5)? Nel primo caso, potrebbero esserci problemi di incompletezza delle pubblicazioni presenti sul sito docente o comunque di inesattezza (abstract in riviste con alto IF fatti passare per articoli ad esempio). Ancor peggio, se applicato alla produzione scientifica complessiva, l’indicatore proposto viola il principio di dominanza: se gli articoli di un ricercatore A sono un sottoinsieme degli articoli del ricercatore B, può paradossalmente accadere che l’indicatore di A sia maggiore di quello di B.

Nel secondo caso il criterio di scelta delle 5 migliori pubblicazioni non è necessariamente stato l’IF. In molti casi, ad esempio, si è preferito optare per pubblicazioni in cui si è primo autore o corresponding, o pubblicazioni in riviste relativamente recenti (e quindi senza IF), ma che hanno già ottenuto un certo prestigio.

Ma la cosa che davvero stupisce di più è che, dopo DORA, dopo decine e decine di articoli di critica sull’utilizzo di IF per piccole dimensioni, dopo la critica all’utilizzo di IF medio che è fortemente condizionato dagli outlier, ancora si pensi di utilizzare un simile indicatore, ormai completamente screditato come strumento di valutazione della ricerca.

Per le aree non bibliometriche l’indicatore è la media di due sub-indicatori. Il primo è pari alla somma dei rapporti (uno per area) tra il numero medio di articoli pubblicati dai membri del collegio su riviste di fascia A e/o indicizzate WoS e/o Scopus negli ultimi 5 anni e il numero medio degli articoli pubblicati su riviste di fascia A e/o indicizzate WoS e/o Scopus da membri di collegio di tutti i dottorati nella stessa area negli ultimi 5 anni.

Il secondo è pari alla somma dei rapporti (uno per area) tra il numero medio di monografie (sono esclusi i capitoli di libro) dotate di ISBN pubblicate dai membri del Collegio negli ultimi 5 anni e il numero medio di monografie (sono esclusi i capitoli di libro) dotate di ISBN pubblicate da membri di Collegio di tutti i dottorati nella stessa area negli ultimi 5 anni

I saggi risultano essere la tipologia di pubblicazione preferita nelle Human and Social Sciences. Anvur decide di non prenderli inconsiderazione (ancora l’agenzia pedagogica?) Per quale motivo? Qual è l’indicazione che vuole dare ai giovani ricercatori? Che devono pubblicare o su riviste di fascia A o devono scrivere monografie? La tipologia del saggio deve scomparire perché ritenuta di scarso valore? E dunque cosa farà il ricercatore visto che si sta facendo la conta? Calcolare la media due sub-indicatori (il nome appare quanto mai appropriato per una volta) appare una scelta del tutto arbitraria che penalizza in modo indebito chi scrive solo monografie o solo articoli “di qualità” (secondo l’ANVUR).

Se si tirano le somme, si può dire che gli indicatori fai-da-te proposti dall’ANVUR, oltre che essere frutto di improvvisazione, sono del tutto inadeguati.

Volendo essere propositivi, è difficile escogitare una via d’uscita, anche perché i voti VQR, oltre che essere inaffidabili, non sono comparabili neppure tra SSD della stessa area CUN. A maggior ragione, non ha senso usarli per valutare proprio i collegi di dottorato, in cui la presenza di diversi SSD con metriche incomparabili va a sommarsi alla scarsa affidabilità statistica dei risultati VQR, riconosciuta dalla stessa agenzia quando si fa riferimento ad insiemi poco numerosi:

I valori medi degli indicatori, man mano che si scende dalla valutazione di area della struttura a quella di sub-GEV, di SSD e di dipartimento, sono caratterizzati da un margine di incertezza statistica crescente, perché l’affidabilità della media campionaria dipende dalla dimensione del campione.

VQR 2004-2010. Rapporto finale, pag. 9

Se a tutto ciò si aggiunge che in larga misura l’ANVUR sta proponendo di usare indicatori inutili, perché già impiegati nei criteri di accreditamento, la soluzione migliore è introdurre un emendamento che abbia l’effetto di “sterilizzare” l’indicatore IV1.

Emendamento proposto: L’indicatore IV1 è calcolato come il numero di docenti e ricercatori il cui RVQR è inferiore al primo decile del proprio SSD.

In considerazione dei vincoli posti in fase di accreditamento, è verosimile che tale, indicatore sarà per lo più pari a zero o di  poco superiore. È anche auspicabile che nella formula finale all’indicatore IV1 venga attribuito un peso minimale.

5. Internazionalizzazione e ricadute vo cercando

5.1 Il criterio V2

I criteri V2 (internazionalizzazione) e V3 (Grado di collaborazione con il sistema delle imprese e ricadute del dottorato sul sistema socio-
economico) sono anch’essi all’insegna del delirio burocratico.

Cominciamo dall’internazionalizzazione.

Aree bibliometriche

Il rapporto IPRO tra il numero medio di membri del collegio che siano stati negli ultimi cinque anni coordinatori di progetti (a livello dell’intero progetto o a quello di coordinatore nazionale o equivalente) europei o, comunque, internazionali acquisiti mediante la partecipazione a bandi competitivi e il numero medio dei membri di Collegio nazionali della stessa area che siano stati anch’essi negli ultimi cinque anni coordinatori di progetti (a livello dell’intero progetto o a quello di coordinatore nazional o equivalente) europei o, comunque, internazionali acquisiti mediante la partecipazione a bandi competitivi.

Il rapporto tra il numero medio dei prodotti con coautore straniero dei membri del collegio negli ultimi 5 anni e il numero medio di prodotti con coautore straniero negli ultimi 5 anni di membri di Collegio nazionali nella stessa area ICOST.

 

Perché solo prodotti con coautore straniero? Ci sono ambiti (ad esempio matematica) dove si pubblica in sede editoriale estera ma da soli, Non conta niente? Non è internazionalizzazione? Ancora una volta l’ANVUR mostra di avere una nozione alquanto provinciale di cosa sia l’internazionalizzazione. Offrendo coauthorship di cortesia a colleghi stranieri ci si internazionalizza? L’ANVUR sembra anche ignorare che in molti settori disciplinari, anche non umanistici la presenza di coautori è più un’eccezione che una regola. Ancora una volta, emergono i limiti culturali di valutatori talmente inadeguati dal punto di vista culturale da assumere il proprio settore scientifico come paradigma per tutte le altre discipline. E ancora una volta risulta poco chiaro il perimetro di riferimento. Cioè solo le 5 pubblicazioni presentate o tutte le pubblicazioni? Per i limiti di entrambe le scelte vd. sopra


 

Aree non bibliometriche

 

rapporto IPRO tra il numero medio di membri del collegio che siano stati negli ultimi cinque anni coordinatori di progetti (a livello dell’intero progetto o a quello di coordinatore nazionale o equivalente) europei o, comunque, internazionali acquisiti mediante la partecipazione a bandi competitivi e il numero medio dei membri di Collegio nazionali della stessa area che siano stati anch’essi negli ultimi cinque anni coordinatori di progetti (a livello dell’intero progetto o a quello di coordinatore nazionale o equivalente) europei o, comunque, internazionali acquisiti mediante la partecipazione a bandi competitivi.

Il rapporto IMORE tra il numero medio di monografie con recensioni pubblicate su riviste ISI-Scopus dai membri del Collegio negli ultimi 5 anni e il numero medio di monografie con recensioni pubblicate su riviste ISI-Scopus pubblicate da membri di Collegio nazionali nella stessa area negli ultimi 5 anni.

Il numero dei coordinatori di progetti internazionali sarà spesso pari a zero.

Per il tipo di recensioni che si vorrebbero rilevare l’arco temporale preso in considerazione è troppo breve per permettere la raccolta di un numero di recensioni significativo, che in alcuni casi sarà prossimo allo zero. Inoltre, anche se una monografia ha attirato recensioni da parte di colleghi stranieri, non è affatto detto che queste appaiano su riviste o su riviste indicizzate da scopus e WOS, si pensi per esempio alla ben nota Bryn Mawr Classical Review.

La follia burocratica di questi indicatori salta subito all’occhio. Inoltre, si sta valutando una seconda volta il collegio del dottorato la cui ricerca (Criterio V1), se valutata positivamente , si presume sia di livello internazionale. Meglio optare per un criterio semplice  anche in termini di verificabilità.

Emendamento proposto: L’indicatore IV2 è calcolato come percentuale di dottorandi laureati in università estere sul totale dei dottorandi.

5.1 Il criterio V3

Per quanto riguarda il grado di collaborazione con il sistema delle imprese e ricadute del dottorato sul sistema socio-economico (Criterio V3), l’ANVUR propone i seguenti indicatori.

  • Il rapporto tra il numero di borse di dottorato IBD del dottorato finanziate da enti esterni pubblici e privati e lo stesso rapporto mediato su tutti i dottorati dell’area.
  • Il rapporto tra il numero di brevetti IBR con coautori dottorandi degli ultimi 5 cicli e lo stesso rapporto mediato su tutti i dottorati dell’area.
  • Il rapporto tra il numero di imprese start-up ISU previste da regolamento dell’ateneo con dottorandi degli ultimi 5 cicli tra i soci fondatori e lo stesso rapporto tra tutti i dottorati dell’area.

Il secondo ed il terzo indicatore sono di reperibilità problematica e per alcune aree saranno per lo più uguali a zero, eventualità che li rende particolarmente fragili (basta immaginare il peso esorbitante attribuito ad un’eventuale startup di un dottorato di area umanistica che si trovasse ad essere l’unica della quell’area su tutto il territorio nazionale). Fortunatamente, per semplificare basta tirare un rigo sul secondo e il terzo indicatore, ripiegando su una definizione semplificata di IV3.

Emendamento proposto: L’indicatore IV3 è il rapporto tra il numero di borse di dottorato IBD del dottorato finanziate da enti esterni pubblici e privati e lo stesso rapporto mediato su tutti i dottorati dell’area.

Conclusioni

Proprio nel momento in cui le comunità di scientometristi e bibliometristi spingono verso standard e linee guida internazionali (Paris 2014Leiden  2014) e ad una scelta ed un utilizzo davvero informati degli indicatori bibliometrici, in Italia ancora si gioca ai piccoli bibliometristi, del tutto incuranti degli effetti che questa bibliometria fai-da-te ha scatenato. Inoltre, si propone l’uso di una congerie di indicatori, che comportano oneri burocratici tutt’altro che irrilevanti, senza essere peraltro in grado di fornire indicazioni affidabili e comparabili da un dottorato all’altro. A fronte di un DM sbilanciato nella direazione degli indicatori quantitativi, il meglio che si può fare è ricorrere ad indicatori semplici, lasciando al Ministro il compito di calibrarne l’importanza relativa.

PiccoloChimico

Send to Kindle

11 Commenti

  1. Per l’indicatore V2 non penso che il numero dei dottorandi stranieri possa essere l’elemento di riferimento. E’ assolutamente non indicativo della visibilità internazionale di un dottorato. Basterebbe selezionare studenti stranieri per essere considerati dottorati di livello internazionale? Mi sembra molto più ragionevole la proposta ANVUR….

    • Ecco un estratto della “ragionevole” proposta ANVUR:
      ______________________
      “rapporto IPRO tra il numero medio di membri del collegio che siano stati negli ultimi cinque anni coordinatori di progetti (a livello dell’intero progetto o a quello di coordinatore nazionale o equivalente) europei o, comunque, internazionali acquisiti mediante la partecipazione a bandi competitivi e il numero medio dei membri di Collegio nazionali della stessa area che siano stati anch’essi negli ultimi cinque anni coordinatori di progetti (a livello dell’intero progetto o a quello di coordinatore nazionale o equivalente) europei o, comunque, internazionali acquisiti mediante la partecipazione a bandi competitivi.

      Il rapporto IMORE tra il numero medio di monografie con recensioni pubblicate su riviste ISI-Scopus dai membri del Collegio negli ultimi 5 anni e il numero medio di monografie con recensioni pubblicate su riviste ISI-Scopus pubblicate da membri di Collegio nazionali nella stessa area negli ultimi 5 anni.”
      ____________________
      Un delirio burocratico di indicatori incommensurabili da settore a settore che vengono infine aggregati mediante pesi arbitrari. Inoltre, dal punto di vista bibliometrico, siamo nel regno del nonsense più assoluto. Meglio allora misurare qualcosa di chiaro e comparabile (attrattività nei confronti dei dottorandi stranieri) e lasciare che sia il MIUR a decidere quanto peso attribuire a questo indicatore. Il miglior paragone per il frullatone misto che propone l’ANVUR mi sembra essere l’indigesta pietanza che la Pimpa e Coniglietto cucinano nell’episodio intitolato “Il ristorante pazzo”.

  2. Cari colleghi, non credo più che l’Anvur sia ridimensionabile o riconducibile alla ragionevolezza per mezzo di analisi e critiche puntuali. Questo veramente non è più una questione di carenza di buon senso, di calcoli sbagliati, di pasticcioneria da parte dell’Anvur, nel silenzio totale di Miur e Crui. Questa è una questione puramente politica. Lo si è detto ma non abbastanza. Ricondurre gli universitari all’obbedienza schiacciandoli sotto questi meccanismi valutativi del nulla. Spargere il timore se non il terrore di perdere il lavoro se le valutazioni non sono più che buone. Inventare meccanismi ai quali non ci si possa sottrarre pena l’emarginazione o il licenziamento. Creare accondiscendenza e conformismo, nella ricerca e nel comportamento. Gerarchie. Mi fermo qui perché forse ho detto persino troppo.

    • Questa politica non è debole, tutt’altro. Questa è LA politica. Di questo momento storico, se proprio vogliamo relativizzare e consolarci e sperare.

    • Credo che abbia ragione Antonio. Non nego che l’effetto che questa proliferazione di indicatori e di regole sia nel medio lungo periodo devastante, e che sia destinata ad avere conseguenze letali per la ricerca, come peraltro hanno notato diversi osservatori nei paesi in cui la valutazione è stata introdotta molto prima che in Italia, ma sono convinto che la versione particolare del problema con cui abbiamo a che fare sia figlia della mancanza di una guida politica certa e autorevole.

  3. Non solo il Ministero è debole nei confronti dell’ANVUR, ma non risponde proprio se non dicendo di girare all’ANVUR stesso le proteste per i suoi errori di valutazione o per i suoi abusi (le due cose insieme possono accadere). Inoltre, cosa ci si può aspettare da ‘illustri’ colleghi ‘di chiara fama’ (?), di gelminiana nomina politica, profumatamente retribuiti, a quanto risulta, eretti a burocratici ‘controllori’ di invenzioni (loro) non adatte alla valutazione di aree che spesso non conoscono? e sto parlando delle aree non bibliometriche in particolare. Quanti di loro ne conoscono davvero le logiche? quanti di loro si rendono conto che c’è una bella contraddizione tra il chiedere che i collegi dei dottorati siano sufficientemente ampi e interdisciplinari e adottare per il calcolo delle mediane improvvisamente applicato alla valutazione dei coordinatori il criterio delle riviste di fascia A che devono essere rigorosamente del settore di appartenenza e non anche di settori contigui? quanti di loro sanno che il numero delle riviste di fascia A è sproporzionatamente esiguo in certi settori rispetto ad altri? quanti di loro… e non continuo perché l’elenco sarebbe lunghissimo.

  4. Aggiungo, a proposito di quanto dice De Nicolao, che infatti la domanda principe è: “chi valuta gli autoreferenziali pessimi valutatori ANVUR”? Ma la cosa sembra non interessare a nessuno, e tanto meno a un MIUR di cui i membri ANVUR sono da tempo e in continuità, aldilà delle apparenti differenze di governi vari, gli “utili servitori” (per non dire altro) e di cui secondano al meglio le scelte politiche di tagli costanti, esercitati soprattutto verso tutto ciò che “non serve”, a partire da dottorati e corsi di area umanistica. In questo modo stanno svuotando e distruggendo l’università, senza rendersi conto che l’area umanistica è cruciale perché da questa escono coloro che sono destinati a ‘formare’ (da docenti di vari ordini scolastici) le menti di chi va a scuola, oltre che destinati a costruire le competenze nelle molte lingue che serve conoscere nell’ “Europa delle lingue”, a partire da quell’inglese ‘internazionalizzante’ e sbandierato come l’unica lingua di per sè garante di ‘scientificità’, per cui un italianista che pubblica in inglese, magari su un’oscura rivista estera, è più valido di uno che pubblica in una collana dell’Accademia della Crusca, classificata come ‘nazionale’ e non internazionale. Non è che l’ANVUR confonda ‘internazionale’ con ‘estero’? pur avendolo chiesto a chi di dovere, non mi è stato risposto su quali siano allora, in ambito umanistico, i luoghi ‘internazionali’ in Italia, dato che persino le Università italiane per stranieri non sono considerate tali. E sorridendo mi sono chiesta se la ministra Giannini, a lungo rettore di quella di Perugia, lo sappia o non abbia qualcosa da dire al riguardo…

  5. Ci sono tante cose insensate, ne segnalo una del tutto ridicola.
    A proposito del 5.1 (Internazionalizzazione), contando le recensioni su riviste ISI o Scopus, sembra che ignorino che ISI spoglia anche le recensioni di un bel numero di riviste italiane (p.es. Aevum, Archivio storico italiano, Rivista storica italiana, Rassegna storica toscana, Studi piemontesi, ecc.).
    Essere recensiti da un collega (di Facolta’, Deputazione, ecc.), in italiano, su una rivista italiana, fa sempre piacere, ma che sia “internazionalizzazione” fa ridere i polli.

This site uses Akismet to reduce spam. Learn how your comment data is processed.