Alcuni Atenei negli ultimi tempi si sono visti recapitare una lettera cordiale da parte del Presidente dell’Anvur in cui si fa presente che alcuni coordinatori di dottorato presentano dei problemi in quanto i loro valori sono sotto le soglie prefissate. La lettera consiglia dunque o di integrare i dati forniti dal coordinatore o comunque di prendere provvedimenti per cercare di fare risultare il dottorato al meglio. Ma che valore ha questa lettera? Gli accreditamenti sono già conclusi e i criteri per la valutazione sono ancora in fase di discussione. E se andiamo leggere i criteri proposti dall’ANVUR, ci rendiamo conto che la lettera di “avvertimento” assomiglia ad un vero e proprio bluff, dai risvolti un po’ inquietanti, visto che l’autore è l’agenzia nazionale di valutazione.
Che strano però: ai coordinatori non era richiesto di superare soglie prefissate, poiché per loro valeva la valutazione qualitativa del curriculum.
Abbiamo provato a ricostruire il documento per l’accreditamento che, come sappiamo, è stato in parte emendato dopo aver accolto i commenti da parte degli atenei.
Ecco cosa dice il Documento di accreditamento definitivo approvato il 21 febbraio 2014 riguardo al coordinatore (5.4.2)
La valutazione della qualificazione scientifica del coordinatore , effettuata qualitativamente sulla base di un breve curriculum che dovrà essere inserito nel modulo di proposta del corso. In esso, verrà chiesto di indicare, oltre a un sottoinsieme delle pubblicazioni dell’ultimo quinquennio, altri elementi quali, ad esempio, l’esperienza di coordinamento di gruppi di ricerca e/o di progetti nazionali o internazionali, eventuali riconoscimenti nazionali o internazionali ottenuti e così via.
Sempre secondo lo stesso documento le soglie definite per il coordinatore nel documento di accreditamento sono (5.4.3):
Il coordinatore del collegio dovrà avere un curriculum che ne garantisca la qualificazione scientifica e la capacità organizzativa in campo scientifico
Ecco cosa ha fatto invece ANVUR: Scheda valutazione del coordinatore:
La valutazione della qualificazione scientifica del Coordinatore si basa sull’analisi delle informazioni fornite nella scheda di presentazione del dottorato e sul calcolo dell’indicatore I descritto nel documento ANVUR sull’accreditamento dei dottorati. Tutte le informazioni riguardano gli ultimi cinque anni, vale a dire gli anni a partire dal 2009. Esse riguardano le pubblicazioni (fino a 5), il coordinamento di progetti di ricerca nazionali e internazionali, l’attribuzione di premi scientifici, gli incarichi in società scientifiche nazionali e internazionali, gli incarichi di insegnamento o fellowship in Università estere e la direzione di riviste o collane editoriali
Sulla base dell’analisi delle informazioni fornite, si attribuiscono i seguenti pesi agli indicatori sopra menzionati:
Indicatore I: peso 0,8 se il Coordinatore supera almeno due delle tre mediane, calcolate nella categoria di appartenenza, degli indicatori di cui alle lettere a), b) e c) del comma 2 dell’Allegato A, e alle lettere a) e b) del comma 3 dell’Allegato B del Decreto Ministeriale n. 76 del 7 giugno 2012.
Numero pubblicazioni: peso 0,3 se il Coordinatore risulta autore negli ultimi cinque anni di almeno 2 pubblicazioni in riviste indicizzate ISI o Scopus per i settore bibliometrici, o 2 pubblicazioni ISI/Scopus, ovvero in riviste di fascia A ovvero una pubblicazione in rivista di fascia A/ISI-Scopus e una monografia presso editori scientifici nazionali e internazionali, per i settori non bibliometrici
Coordinamento progetti di ricerca: peso 0,2 se il Coordinatore dichiara il coordinamento nazionale o locale di un progetto nazionale o, nel caso di progetti internazionali, il coordinamento dell’intero progetto o, almeno, il coordinamento del gruppo di ricerca nazionale
Premi: peso 0,2 se il Coordinatore risulta assegnatario di almeno un premio scientifico nazionale o internazionale
Incarichi in società scientifiche: peso 0,1 se il Coordinatore risulta negli ultimi cinque anni Presidente o membro del Direttivo o Fellow di una Società Scientifica nazionale o internazionale
Direzione e coordinamento di Enti di ricerca: peso 0,1, se il Coordinatore risulta aver diretto o coordinato negli ultimi cinque anni un Ente o un Istituto di Ricerca nazionale o internazionale
Incarichi di insegnamento o fellowship: peso 0,2 se il Coordinatore risulta avere avuto negli ultimi cinque anni incarichi formali di insegnamento o ricerca o fellowship presso atenei e centri di ricerca esteri e/o internazionali
Direzione di riviste o collane editoriali: peso 0,2 se il Coordinatore risulta aver Diretto negli ultimi cinque anni Riviste ISI/Scopus o di fascia A o Collane editoriali scientifiche nazionali o internazionali.
La valutazione del Coordinatore risulta positiva se la somma degli indicatori risulta maggiore o uguale al valore di 0,7.
Ma da nessuna parte (se non nel documento provvisorio del dicembre 2013 (superato poi dal documento definitivo di febbraio 2014) ANVUR aveva parlato di soglie da superare per i coordinatori del dottorato.
I coordinatori erano stati scelti sulla base di criteri che dovevano essere totalmente qualitativi.
Ex post Anvur introduce dei criteri quantitativi, peggiorando il clima di incoerenza e confusione entro cui si svolgono le valutazioni.
La domanda che sorge spontanea è: cosa succederà se gli atenei non reagiranno alla lettera di Fantoni? Quale ripercussione avrà sulla valutazione del dottorato?
In un paese normale la risposta sarebbe semplice: nessuna.
Infatti, l’accreditamento è già stato portato a termine. La valutazione positiva del CV del coordinatore era una delle quattro condizioni valutate per decidere il superamento del criterio A4. Basta rileggere i criteri ANVUR per l’accreditamento per rendersi conto che la condizione non era necessaria:
Il criterio A4 si considererà superato positivamente se almeno tre delle condizioni precedenti sono verificate. I criterio A4 verrà considerato non superato se almeno 3 delle condizioni precedenti non sono verificate. Nel caso in cui due delle condizioni precedenti non siano verificate si esaminerà nel dettaglio la proposta in tutti i suoi aspetti, con particolare attenzione alla valutazione approfondita e qualitativa della produzione scientifica nel quinquennio dei componenti del collegio completo.
In particolare, se le altre tre condizioni erano verificate, il CV del coordinatore diventava ininfluente. Nel caso di due condizioni non verificate, diventava decisiva la
valutazione approfondita e qualitativa della produzione scientifica nel quinquennio dei componenti del collegio completo.
Se un dottorato è stato accreditato nonostante un giudizio negativo dell’ANVUR sul CV del coordinatore vuol dire che erano verificate altre tre condizioni oppure, che ne erano verificate solo due ma la produzione scientifica del collegio completo aveva superato la valutazione “approfondita e qualitativa”. Insomma, l’accreditamento, non solo è un capitolo chiuso, ma è un capitolo che aveva già tenuto conto dei CV dei coordinatori, tanto è vero che le loro “bocciature” erano note ben prima che arrivassero le strane “letterine di avvertimento”.
Rimane però un altro capitolo. L’ANVUR, in base ad un’interpretazione quanto meno discutibile del D.M. 45/2013, si attribuisce non solo il compito di valutare i dottorati ai fini del loro finanziamento, ma anche di stilare una classifica. In vista di questa classifica, sembrerebbe giustificato preoccuparsi per una valutazione negativa dei CV dei coordinatore. I dottorati che non costringeranno alle dimissioni i coordinatori bocciati dall’ANVUR potrebbero temere di diventare le maglie nere di questa competizione, con tutte le conseguenze in termini di finanziamento e di immagine.
Ma qui c’è una sorpresa. L’ANVUR ha già reso noti i criteri di valutazione con cui intende valutare i dottorati e li ha sottoposti a consultazione pubblica, tanto è vero che Roars ha proposto anche degli emendamenti specifici (Una risposta all’ANVUR sulla valutazione dei corsi di dottorato). Ed ecco il colpo di scena: nessuno di questi criteri menziona il CV del coordinatore. Insomma, lasciare i coordinatori “bocciati” al loro posto non dovrebbe avere nessuna ripercussione, nemmeno nella futura classifica dei dottorati, sempre che l’ANVUR venga autorizzata a stilarla.
Cosa concludere? Che l’ANVUR sta bluffando. Le “letterine di avvertimento” inviate agli atenei sono del tutto irrituali. L’accreditamento è già concluso e tra i criteri in discussione per la prossima valutazione non c’è traccia dei CV dei coordinatori. L’elasticità etica dell’ANVUR è purtroppo già nota, ma l’invio di obliqui “avvertimenti” per forzare la conversione degli atenei alle bigotte numerologie anvuriane sembra più degno di un film noir che di un’agenzia di valutazione.
La prossima volta manderanno una testa di cavallo mozzata.
E se fosse la testa dell’ordinario che non ha mai scritto una riga in vita sua?
Potrebbe essere. Chiederemo lumi a Moretti che ne aveva parlato nel suo memorabile intervento nel Convegno Roars 2014: https://www.roars.it/lordinario-a-fine-carriera-che-non-ha-mai-scritto-una-riga-in-vita-sua-lintervento-di-mauro-moretti-al-secondo-convegno-roars/
Mi sembra che siano chiarissime le forzature della “Scheda di valutazione del coordinatore”, che è arrivata ex-post ai coordinatori dei dottorati i cui collegi avevano avuto già due ‘rossi’. C’era tempo 15 giorni (a luglio) per precisare il CV del coordinatore e compilare la voce “premi e resp. scientifiche” del sito cineca, tranne poi scoprire che molte delle informazioni immesse non venivano prese in considerazione perché, per esempio, non vale essere stati membri dei comitati scientifici di importanti convegni internazionali (bisogna esserne stati ‘direttori’, figura che non mi sembra molto diffusa…), né essere membri di importanti organismi di associazioni scientifiche, in rappresentanza delle quali si sia operato (vale solo esserne i presidenti), né è ‘attività didattica’ all’estero la partecipazione a commissione di tesi dottorali di altri paesi (o sei stato all’estero per almeno un semestre o non sei ‘internazionale’) e altre amenità di questo tipo che vi risparmio. L’arbitrio ANVUR regna sovrano e la trasparenza di una scheda ex-post è ineffabile, soprattutto quando, non sapendo di dover superare due mediane, si è sottovalutata la precisione nella puntigliosa registrazione di tutti i dati e l’impossibile aderenza dei dati comunicati in fase di accreditamento a una scheda incognita. Risultato? accreditamento negato perchè, “comunque”, restava negativa la valutazione di altre due voci del settore A4…
Il totalitarismo nelle società postmoderne non si manifesta come soppressione fisica del gruppo da colpire, bensì come sottrazione di risorse sotto i più varii pretesti, come carico di lavoro improprio e snaturante, come impossibilità di vivere della propria produzione intellettuale. Tale distruzione implica due complicità: verso il basso quella delle masse, cui si prospetta lo zuccherino di un’istruzione breve, accogliente e subito spendibile; verso l’alto quella degli interni al sistema, che ricevono potere e carriera in cambio di zelante applicazione normativa e castigo dei sottoposti renitenti.
La questione sovrappone problemi di natura diversa, a mio avviso e’ comunque corretto valutare i dottorati e chiudere quelli gestiti da persone che non sono attive, ovviamente il problema sono i criteri.
Ci sono in vita dottorati, soprattutto nelle aree professionali, dove gli studenti non sono avviati alla ricerca ma sono “servi della gleba”, utilizzati come manodopera a basso costo per accrescere i profitti economici della attività professionale del docente/padrone.
Basterebbe chiudere questi dottorati e già sarebbe un bel passo avanti.
Ovviamenti i criteri ANVUR possono intercettare alcune di queste situazioni perché spesso coloro che hanno una attività professionale sbilanciata rispetto a quella di docente universitario non “perdono tempo” a baloccarsi con scemenze come la ricerca.
Il vero problema e’ che si continua a ritenere che pochi indicatori bibliometrici o criteri malamente quantificabili e facilmente aggirabili, come alcuni di quelli esposti, possano realmente consentire valutazioni affidabili.
Ovviamente se ci si limita ad un filtro che taglia in basso, diciamo il peggior 10%, il danno e’ relativo ma se poi da questi criteri si vogliono fare graduatorie puntuali mi pare che il rumore di fondo prevalga, impedendo un qualsiasi calcolo statisticamente sensato.
Buongiorno a tutti,
pur essendo un coordinatore di dottorato, non so nulla della “Scheda valutazione del coordinatore” e dei pesi associati, a cui si allude nel post. Posso chiedere alla redazione dove si trovano queste informazioni ? Grazie.
CG
Si trovano nella procedura dottorati di cineca. Ciascun ateneo ha accesso, ma non necessariamente i coordinatori. Si può chiedere al rettore o all’ufficio che si occupa dei dottorati di ricerca.
Sempre che non si abbia paura della “mano nera”.
In qualità di coordinatore di dottorato, ho potuto vedere la scheda con tutte le voci (alcune delle quali misteriose), pesate con tanto di punteggio, solo dopo avere saputo che il mio dottorato non era passato al vaglio ANVUR e mi si dava la possibilità di integrare le informazioni già inviate con la domanda di accreditamento. E’ certo che se avessi visto la scheda prima mi sarei organizzata meglio, ma ho anche colto subito (come si mette ben in evidenza nell’articolo qui sopra) le regole aggiuntive rispetto al DM che l’ANVUR ha arbitrariamente aggiunto ex-post. Le voci misteriose riguardano in particolare la tipologia delle attività di fellow e fellowship valutabili, secondo una logica che per di più mi risulta del tutto estranea a gran parte dei settori scientifico-disciplinari delle aree non bibliometriche. E ho fatto numerose altre scoperte, registrando l’incapacità di rispondere del cineca e dei consulenti del ministero ecc. a domande evidentemente ‘difficili’, che sono state ignorate o, al più, hanno ricevuto risposte strampalate, come quella sulla ‘direzione’ di convegni oppure di collane; e le collane la cui direzione dà titolo a punti qualità sarebbero solo costituite da riviste e non anche da volumi appatenenti alla stessa ‘collana’, nell’accezione che per ogni editore è più normale… (collane che spesso non hanno un direttore unico, ma un Comitato scientifico. Esserne membri però non conta niente per l’ANVUR). Quando poi ho fatto notare la cosa, mi si è detto che molti editori stanno dotando i volumi delle loro collane anche di ISSN: e così ci si adegua agli astratti criteri ANVUR e diventiamo tutti più tranquilli, con buona pace di chi vorrebbe continuare ad obiettare qualcosa sull’assurdità di tutto ciò.