Pubblichiamo il parere del CUN sul “Regolamento recante criteri e parametri per la valutazione dei Candidati ai fini dell’attribuzione dell’Abilitazione Scientifica Nazionale”. In particolare il parere riguarda: (i) gli indicatori bibliometrici, (ii) gli indicatori non bibliometrici, (iii) la riclassificazione di alcuni settori concorsuali (Storia e Didattica della Matematica, Storia e Didattica della Fisica, Storia della Medicina) nella categoria di quelli non bibliometrici, (iv) gli indicatori di attività scientifica per gli aspiranti commissari, (v) i titoli che i candidati devono necessariamente possedere perché possa essere loro attribuita l’abilitazione, (vi) i criteri di valutazione delle pubblicazioni.
Ministero dell’Istruzione, dell’Università e della Ricerca
Consiglio Universitario Nazionale
Prot. n. 17202 del 2/10/2015
Alla
Sig. Ministra
Sen. Stefania Giannini
Sede
Oggetto: Parere su «Regolamento recante criteri e parametri per la valutazione dei Candidati ai fini dell’attribuzione dell’Abilitazione Scientifica Nazionale per l’accesso alla prima e alla seconda fascia dei professori universitari, nonché le modalità di accertamento della qualificazione dei Commissari, ai sensi dell’articolo 16, comma 3, lett.a), b) e c) della legge 30 dicembre 2010, n. 240 e successive modifiche, e degli articoli 4 e 6, commi 4 e 5, del decreto del Presidente della Repubblica […] 2015 […]», ai sensi dell’art. 16, comma 3, della l. 30 dicembre 2010, n. 240 e successive modifiche.
Adunanza del 30 settembre 2015
Il CONSIGLIO UNIVERSITARIO NAZIONALE
VISTA la legge 30 dicembre 2010, n. 240, come modificata dal d.l. 24 giugno 2014, n. 90, convertito, con modificazioni, dalla legge 11 agosto 2014, n. 114 e, in particolare, il suo art.16;
VISTO lo schema di «Regolamento recante modifiche al DPR 14 settembre 2011, n. 222, concernente il conferimento dell’Abilitazione scientifica nazionale per l’accesso al ruolo dei professori universitari, a norma dell’articolo 16 della legge 30 dicembre 2010, n. 240» approvato dal Consiglio dei Ministri del 6 agosto 2015;
VISTO il Decreto Ministeriale 7 giugno 2012, n.76 recante «Criteri e parametri per la valutazione dei Candidati ai fini dell’attribuzione dell’Abilitazione Scientifica Nazionale alla prima e alla seconda fascia dei professori universitari nonché le modalità di accertamento della qualificazione dei commissari, ai sensi dell’articolo 16, comma 3, lettere a), b) e c) della legge 30 dicembre 2010, n. 240 e degli articoli 4 e 6, commi 4 e 5 del decreto del Presidente della Repubblica 14 settembre 2011, n. 222»;
ESAMINATO lo schema di «Regolamento recante criteri e parametri per la valutazione dei Candidati ai fini dell’attribuzione dell’Abilitazione Scientifica Nazionale alla prima e alla seconda fascia dei professori universitari nonché le modalità di accertamento della qualificazione dei commissari ai sensi dell’articolo 16, comma 3, lettere a), b) e c) della legge 30 dicembre 2010, n.240, e successive modifiche, e degli articoli 4 e 6, commi 4 e 5, del decreto del Presidente della Repubblica […] 2015 […]» trasmesso a questo Consesso, con nota del Capo Gabinetto MIUR, prot.n. 24835 del 4 settembre 2015, per l’acquisizione, a norma dell’art.16, co.3 della l. n.240/2010, del parere di competenza,
CONSIDERATO che il CUN ha più̀ volte ricordato che obiettivo dell’Abilitazione Scientifica Nazionale è individuare i soggetti in possesso di un profilo scientifico adeguato alla partecipazione ai successivi procedimenti di chiamata nelle posizioni di Professore di prima e di seconda fascia
FORMULA IL SEGUENTE PARERE
Lo schema di regolamento merita di essere apprezzato per la volontà che esprime di superare alcune delle principali criticità che hanno interessato l’esperienza delle precedenti procedure per il conferimento dell’Abilitazione Scientifica Nazionale.
Questo condivisibile intento si è, tuttavia, tradotto in un disegno che, nella valutazione di questo Consesso, appare connotato da un’elevata prescrittività delle «regole» che presiedono all’attribuzione dell’Abilitazione Scientifica Nazionale.
La cogenza del disegno è testimoniata, in particolare, dalla disposizione di cui all’art.4, co.4 dello schema di regolamento, ove si prevede che «La Commissione attribuisce l’Abilitazione esclusivamente» ai Candidati che soddisfano le condizioni stabilite dalla norma, fra le quali si segnalano, per la peculiare capacità di vincolare il giudizio delle Commissioni: la valutazione positiva dell’impatto della produzione scientifica di cui al pt. 1 dell’Allegato A, consistente nel possesso, da parte dei Candidati, di parametri superiori ai «valori soglia» per gli indicatori individuati negli Allegati C e D e di almeno tre titoli tra quelli tassativamente elencati nei pt. 2-8 dell’Allegato A.
Conseguenza e, al contempo, premessa concettuale di questo impianto è una significativa contrazione degli spazi rimessi all’autonomia e alla responsabilità delle Commissioni, che si annuncia tanto più accentuata quanto più i «valori-soglia» degli indicatori d’impatto risultassero tali da produrre automatismi valutativi capaci di imporsi, se non sostituirsi, al giudizio delle Commissioni.
A tal proposito, il Consiglio Universitario Nazionale rileva che sebbene i «valori-soglia», come previsto dallo schema di regolamento sulle procedure (art.4 co.2), debbano essere stabiliti con successivo decreto ministeriale, su proposta dell’ANVUR e sentito il CUN, il significato che si vuole attribuire a tali soglie deve essere esplicitato già nel presente decreto.
Il CUN ritiene, infatti, che debbano essere identificati «valori-soglia» fondati sulle consuetudini scientifiche del settore e corrispondenti a livelli di produzione scientifica, sia qualitativi sia quantitativi, che non escludano artificialmente individui validamente attivi nella ricerca o addirittura interi sotto-settori con modalità di pubblicazione diverse dalla media del settore.
L’obiettivo dei «valori-soglia» dev’essere escludere dall’esame delle Commissioni i Candidati che non raggiungono i livelli basilari di attività e produttività scientifica tipici di ciascuna fascia, ricordando però che in nessun caso il mero raggiungimento dei «valori-soglia» può essere considerato criterio sufficiente per l’attribuzione dell’Abilitazione Scientifica Nazionale.
Questo è il presupposto sul quale si fonda il parere qui espresso.
IL CONSIGLIO UNIVERSITARIO NAZIONALE
AL FINE DI
Assicurare ai Commissari una piena capacità e responsabilità valutativa della qualificazione scientifica dei Candidati, per come si declina in relazione alle specificità dei singoli settori concorsuali e, ove necessario e opportuno, dei singoli settori scientifico disciplinari, alle loro consolidate modalità di produzione, espressione, diffusione del sapere nonché di svolgimento delle attività di ricerca;
Assicurare una qualificazione scientifica degli aspiranti Commissari basata su criteri, parametri, indicatori e «valori-soglia» coerenti con quelli dei Candidati e adeguati al ruolo che sono chiamati ad assolvere;
Evitare che il disegno così vincolante poggi su criteri, parametri e su indicatori di dubbia tenuta applicativa,
RITIENE NECESSARIO
Che il decreto in esame riconosca alla procedura maggiore flessibilità, consentendo alle Commissioni di conferire l’Abilitazione Scientifica Nazionale, con giudizio adeguatamente motivato e unanime, anche a quei Candidati che, pur non soddisfacendo le condizioni indicate nell’art.4, co. 4 lett. a), presentino pubblicazioni e titoli scientifici tali da meritare una valutazione positiva. Flessibilità, che appare tanto più opportuna in considerazione del fatto che gli indicatori proposti non tengono in considerazione né l’intera carriera né l’apporto individuale dei Candidati nelle pubblicazioni conteggiate ai fini del loro calcolo.
Che nella definizione del «valore-soglia» di cui all’art. 1, co.1, lett. r) dello schema di regolamento il termine «superato» sia sostituito con «raggiunto», quale modifica che garantisce un’applicazione più equa e ragionevole del criterio quando i «valori- soglia» siano espressi da numeri interi e piccoli.
Che, per una migliore descrizione del profilo scientifico dei Candidati e degli aspiranti Commissari, in tutti i Settori Concorsuali, bibliometrici e non bibliometrici, si passi da due a tre indicatori d’ impatto, prevedendo perciò che si debbano raggiungere due «valori-soglia» su tre.
- I. CON RIFERIMENTO AGLI INDICATORI DI IMPATTO PER LA VALUTAZIONE DELLA PRODUZIONE SCIENTIFICA DEI CANDIDATI, DI CUI AL PT.1 DELL’ALLEGATO A:
- I.1) QUANTO AGLI INDICATORI BIBLIOMETRICI DI CUI ALL’ALLEGATO C:
Il Consiglio Universitario Nazionale osserva, in via preliminare, che gli indicatori bibliometrici possono essere funzionali alla valutazione quando utilizzati all’interno di gruppi disciplinari omogenei per dimensioni, interessi di ricerca, comportamenti editoriali e citazionali.
In particolare rileva che:
- A) la definizione del primo indicatore di cui al pt. 2, lett.a), Allegato C risulta incompleta. Questo Consesso ritiene, infatti, che la definizione di indicatore d’impatto della Rivista scientifica debba essere precisata nel regolamento. Se il riferimento dovesse intendersi all’Impact factor, si rileva altresì che esso introduce, anche all’interno dello stesso settore concorsuale, differenze troppo elevate e non sempre giustificate in quanto spesso determinate soltanto dall’articolazione del settore stesso in domini scientifici di differenti dimensioni e prassi editoriali, rischiando di generare effetti distorsivi nella valutazione dei singoli.
- B) relativamente al secondo indicatore di cui al pt.2, lett. b), Allegato C, appare inadeguato l’arco temporale considerato ai fini del calcolo dell’indice h di Hirsch per l’Abilitazione alla prima fascia.
- C) appare eccessivamente limitante, in relazione a tutti i settori concorsuali cui va ad applicarsi, la scelta, espressa al pt. 2, lett.a) e b), Allegato C, di considerare, agli effetti del primo indicatore d’impatto della produzione scientifica, i soli «articoli» su Riviste scientifiche contenuti nelle banche dati internazionali Scopus e Web of Science in quanto non adeguatamente rappresentativi della pluralità della ricerca.
TUTTO CIÒ PREMESSO, SI CHIEDE:
- A) che vengano prese in considerazione tutte le tipologie di pubblicazione descritte nel bando VQR 2011-2014.
- B) che si espliciti nel testo del decreto che cosa debba intendersi per «peso dell’indicatore di impatto». Questo Consesso ritiene che sia preferibile ancorarlo a una suddivisione delle sedi di pubblicazione in classi di rilevanza, attribuendo loro pesi diversi e crescenti linearmente. Tale classificazione potrebbe essere effettuata dall’ANVUR, sentite le Comunità Scientifiche di riferimento, anche sulla base di percentili di indicatori bibliometrici ove tale classificazione sia ritenuta adeguata.
- C) che sia modificato l’arco temporale di calcolo dell’H index, di cui al pt. 2, lett.b) Allegato C, per le Abilitazioni alla prima fascia, estendendolo a 15 anni per aumentarne la significatività. In questo modo, si otterrebbe anche di rendere più evidente la congruenza dei parametri dei Candidati alla prima fascia con quelli dei Commissari. Il valore su 10 anni può invece essere mantenuto per le Abilitazioni alla seconda fascia.
- D) che sia introdotto un terzo indicatore d’impatto non strettamente correlato ai due precedenti, quale il numero complessivo di contributi in Rivista e contributi in volume purché indicizzati nelle banche dati internazionali, calcolato lungo tutta la carriera. L’introduzione, infatti, di almeno un indicatore che copra tutta la carriera scientifica consentirebbe, da un lato di meglio valutare la maturità scientifica dei Candidati, dall’altro di tenere conto dell’esperienza degli aspiranti Commissari.
- E) che sia previsto il raggiungimento da parte dei Candidati di due valori soglia su tre.
- I.2) QUANTO AGLI INDICATORI NON BIBLIOMETRICI DI CUI ALL’ALLEGATO D:
- A) in via preliminare, non si ritiene accettabile la scelta, espressa al pt.2) lett.a) e b), Allegato D, di considerare, agli effetti degli indicatori di impatto della produzione scientifica, i soli «articoli su Riviste appartenenti alla fascia A» e «libri dotati di ISBN o ISMN», in quanto essi non possiedono la capacità di rappresentare, in alcun modo, la complessità e la varietà dei consolidati generi letterari tramite i quali questi saperi esprimono e documentano la loro attività scientifica;
- B) suscita forti riserve la scelta di individuare nel «numero di articoli su Riviste appartenenti alla fascia A, pubblicati nei 10 anni consecutivi precedenti la data indicata», uno dei due indicatori, fra loro alternativi, il cui superamento, in termini di «valori-soglia», condiziona l’attribuzione dell’ASN (pt.2, lett. a), Allegato D)
Il procedimento che conduce alla classificazione delle Riviste qui considerate soffre infatti di importanti approssimazioni indotte dal suo carattere tuttora sperimentale, dall’assenza di criteri condivisi e consolidati sui quali fondarlo per la stragrande maggioranza di esse, come tale attestata anche in sede giurisprudenziale e di ancor più dubbia tenuta applicativa quando a tale indicatore si conferisca, come avviene anche a questi fini, efficacia retroattiva.
A ciò si aggiunga che tale classificazione non ha sin qui assicurato, né sta assicurando, alcuna correlazione tra la Rivista collocata in fascia A) e le declaratorie dei settori concorsuali, ponendosi per ciò stesso in tensione con il criterio generale enunciato nello stesso art. 4, co.1, lett.a) dello schema di regolamento in esame, della «coerenza» delle pubblicazioni scientifiche con le «tematiche del settore concorsuale o con tematiche interdisciplinari ad esso pertinenti».
La «fragilità» di questo processo si definisce, d’altro canto, anche quando posto a confronto con la soluzione, indicata al pt.4, Allegato D, di considerare, a questo fine, «il significativo impatto della produzione scientifica (delle Riviste), laddove appropriato». Condizione che, ove intendesse rinviare alla presenza delle Riviste in banche dati nazionali e internazionali o alla possibilità di ricorrere all’analisi citazionale, si dimostra tuttora indisponibile, per la stragrande maggioranza di esse. Altrettanto dicasi per il confronto, alternativo, con i risultati della VQR, in merito al quale si osserva che è stato più volte pubblicamente dimostrato che detta correlazione è di valore estremamente modesto oltre che oggettivamente limitato alle sole Riviste i cui contributi siano sottoposti dagli stessi Autori a questi esercizi di valutazione e non sempre pertinenti, per quanto già si rilevava, al settore concorsuale.
- C) appare altrettanto debole e inidoneo a fungere da indicatore di qualità il «numero di Libri dotati di ISBN (o ISMN) pubblicati nei 10 anni consecutivi precedenti la data indicata», di cui al pt.2, lett. b) Allegato D, in quanto «categoria» priva di qualsiasi capacità di identificare una pubblicazione in termini qualitativi e semmai idonea a indurre comportamenti opportunistici, orientando una produzione, priva di caratteri di scientificità, connotata dalla mera forma del volume.
TUTTO CIÒ PREMESSO, SI CHIEDE:
- A) di riferire gli indicatori di impatto dell’attività scientifica prodotta dai settori concorsuali, di cui all’Allegato D, a tutte le tipologie di pubblicazione provviste di carattere di scientificità così come espresso dalla Comunità Scientifica in esito alla Consultazione Pubblica CUN del 2013 e perciò riconosciute ai fini VQR.
- B) di contenere i possibili effetti distorsivi connessi all’indicatore «numero di articoli su Riviste appartenenti alla fascia A», in ragione della sua acclarata instabilità e dubbia significatività qualitativa, restituendogli quella valenza solo accessoria che esso possedeva nelle precedenti esperienze di ASN.
- C) per le necessità sopra indicate, di introdurre un terzo indicatore comprensivo di tutte le tipologie di pubblicazione provviste di carattere di scientificità come espresso sopra, sub A).
- D) di sostituire il riferimento ai «libri dotati di ISBN o ISMN» con la locuzione «monografie scientifiche o prodotti assimilati», come utilizzata nel bando VQR 2011-2014.
- E) che sia previsto, di conseguenza, il raggiungimento da parte dei Candidati di due valori soglia sui tre che sarebbero in tal modo individuati.
- F) di assumere come arco temporale di riferimento per tutti gli indicatori gli ultimi 10 anni precedenti la data di presentazione della domanda per i Candidati alle Abilitazioni di seconda fascia e gli ultimi 15 anni per i Candidati alle Abilitazioni di prima fascia, quale spazio di tempo che, in considerazione delle modalità di pubblicazione proprie dei settori considerati, appare il più adeguato a valutare qualità e continuità della produzione scientifica complessiva.
- I.3) QUANTO AI SETTORI CONCORSUALI ELENCATI NEGLI ALLEGATI C e D:
Si segnala che, all’interno di settori concorsuali classificati come bibliometrici, i SSD MAT/04 (Storia e Didattica della Matematica), FIS/08 (Storia e Didattica della Fisica) e MED/02 (Storia della Medicina) sono costituiti da studiosi che, per l’intrinseca natura della loro ricerca, hanno consuetudini di pubblicazione molto più omogenee a quelle dei settori concorsuali non bibliometrici. Si richiede pertanto che tali SSD siano espressamente assoggettati ai criteri parametri e indicatori stabiliti per i settori concorsuali non bibliometrici, indicandoli fra le eccezioni citate al pt. 1 dell’Allegato C.
- II CON RIFERIMENTO AGLI INDICATORI DI ATTIVITA SCIENTIFICA PER LA VALUTAZIONE DEGLI ASPIRANTI COMMISSARI, DI CUI AL PT.1 DELL’ALLEGATO A:
Si ripropongono, con riferimento alla valutazione degli aspiranti Commissari, i rilievi e le riserve formulate a proposito delle pubblicazioni considerate agli effetti degli indicatori di impatto identificati e che, nel caso, appaiono tanto più pronunciati tenendo conto che i generi indicati nei pt. 1 e 2 dell’Allegato E, del tutto corrispondenti a quelli richiesti per la valutazione dei Candidati, non sono in alcun modo adeguati a rappresentare, per molti settori concorsuali specie delle aree non bibliometriche, i generi letterari che connotano le attività di ricerca svolte dagli studiosi, nei periodi di loro maturità scientifica e accademica.
Alla luce di quanto sopra, per quanto concerne gli indicatori di attività scientifica degli aspiranti Commissari, si ritiene debbano soddisfare i medesimi «valori-soglia» riferiti agli stessi intervalli temporali previsti per i Candidati all’Abilitazione per la prima fascia.
Appare, di conseguenza, opportuno introdurre il terzo indicatore, come in precedenza identificato, anche per l’accertamento della loro qualificazione scientifica.
- III. CON RIFERIMENTO AI TITOLI PER LA VALUTAZIONE DELLA PRODUZIONE SCIENTIFICA DEI CANDIDATI, DI CUI AI PT. 2-8, ALLEGATO A:
Dubbi di legittimità solleva l’art. 4 dello schema di decreto nella parte in cui prevede che la Commissione attribuisca l’Abilitazione esclusivamente ai Candidati che dimostrino il possesso di almeno tre titoli tra quelli elencati nell’Allegato A, ai pt. 2- 8.
Invero, tali disposizioni, anziché prevedere dei parametri e criteri di valutazione, come prescritto dalla legge e dal regolamento governativo sulle Abilitazioni, configurano i suddetti «titoli» come dei veri e propri requisiti, in mancanza dei quali è preclusa l’attribuzione dell’Abilitazione al Candidato. Inoltre, si tratta di «titoli» non sempre ben determinati e definiti e in molti casi non applicabili a specifici settori concorsuali, sicché l’accertamento del relativo possesso in capo ai singoli Candidati non sarebbe agevole da parte delle Commissioni.
Si può quindi facilmente prevedere che, per i motivi su indicati, tali disposizioni potrebbero essere fonte di un considerevole contenzioso se non fossero opportunamente emendati.
TUTTO CIÒ PREMESSO, SI CHIEDE
- A) di conservare ai titoli elencati nei pt. 2-8 dell’Allegato A la valenza di «parametri e criteri di valutazione» anziché elevarli di fatto allo status di requisito rimettendo alla Commissione l’identificazione di altri titoli atti a concorrere alla «definizione del profilo scientifico del candidato».
- B) di lasciare alla Commissione il compito di ponderare il rilievo da attribuire a ciascun parametro selezionato, con riferimento a ciascun settore concorsuale e, in particolare, a ciascuna fascia.
- C) con riferimento ai titoli attualmente riportati nell’Allegato A, ai pt.2-8:
- di sostituire al pt. 6, Allegato A, la qualifica di «internazionali» con «esteri», non ritenendosi si debba dare in alcun modo per assunto che gli Atenei e gli Istituti di ricerca italiani siano, in quanto tali, giudicati privi di una rilevanza internazionale;
- di specificare al medesimo pt.6, Allegato A, che l’attività di insegnamento debba comunque risultare collegata all’attività di ricerca;
- di integrare tutti i titoli e in particolare quelli indicati al pt. 8, Allegato A, con la condizione che essi siano comunque espressione dell’attività di ricerca svolta dal Candidato;
4) di inserire al pt. 8, Allegato A, l’esplicita menzione, nel novero dei titoli valutabili dalla Commissione, dei prodotti della ricerca, accompagnati da adeguata documentazione scritta, come identificati in esito alla Consultazione pubblica CUN 2013.
- IV. CON RIFERIMENTO ALLE DEFINIZIONI DEI CRITERI DI VALUTAZIONE DELLE PUBBLICAZIONI DI CUI ALL’ALLEGATO B:
- A) si propone di espungere dall’Allegato B le definizioni di «pubblicazioni di qualità elevata / non elevata» limitandosi ad indicare nel testo del decreto i criteri che la Commissione dovrà utilizzare per tale valutazione;
- B) si auspica comunque che la dimensione internazionale della produzione scientifica, ovvero «internazionalizzazione», sia declinata quale criterio che deve conoscere applicazioni differenti in relazione alle specificità dei settori concorsuali molti dei quali corrispondenti a saperi che, anche «a livello internazionale», sono inevitabilmente correlati a esperienze nazionali;
- C) si chiede di denominare correttamente le Aree Disciplinari e, in particolare, l’Area 01 come «Scienze Matematiche ed Informatiche».
IL CONSIGLIO UNIVERSITARIO NAZIONALE
RITIENE ALTRESÍ NECESSARIO
1) che, nell’ambito del più generale e attento coordinamento degli atti normativi volti a disciplinare i procedimenti per l’attribuzione delle Abilitazioni Scientifiche Nazionali, sia correttamente individuato il momento di calcolo dei valori degli indicatori per i Candidati riferendolo, come già previsto nel regolamento sulle procedure, all’atto di presentazione della domanda da parte dei Candidati e non alla data indicata nel bando Candidati;
2) che la considerazione dei periodi di congedo, specie parentali e per malattia, sia estesa a tutti i momenti e aspetti rilevanti agli effetti delle procedure per l’attribuzione dell’Abilitazione Scientifica Nazionale;
3) che vengano prese in adeguata considerazione, e in conformità alla normativa vigente in materia, gli aspetti correlati alle disabilità;
4) che si valuti l’opportunità, per una migliore certezza delle «regole», di precisare, anche nell’ambito delle definizioni offerte ai fini del decreto (art.1 dello schema in esame), come debbano intendersi i termini più ambigui che ricorrono nel testo quali, innanzi tutto, quelli riferiti alle tipologie di pubblicazione menzionate e, in particolare, menzionabili, secondo quanto richiesto in questo parere.
Il Presidente
(Prof. Andrea Lenzi)
Mi sembra che stia tornando nel dibattito qualche elemento di ragionevolezza e di visione di insieme. Si può discutere di molti dettagli di questo documento, ma complessivamente emerge il tentativo di ragionare su ASN come un processo. Come ASN 1.0 ha insegnato, fa danni (vedi storia Anvur) procedere con una correzione dopo l’altra senza visione d’insieme.
Forse andrebbe usato il coraggio di andare sino in fondo sulla strada dell’autonomia delle grandi famiglie/comunità scientifiche. Sono personalmente preoccupato di aver commissioni con valutazioni totalmente discrezionali (o, il che è lo stesso, ancorate a principi generalissimi di “maturità scientifica”), ma se i temi in discussione nel documento (soglie, tipologia di prodotti, banche dati) fossero definiti in modo chiaro e trasparente tenendo conto delle specificità delle aree e delle loro prassi di ricerca, ne avremmo un vantaggio. Avremmo differenze (di soglie, di tipologie ecc.) tra aree, ma – come è noto – trattare fattispecie differenti in modi differenti non crea danno, anzi è equità.
Riassumendo: 1) commissioni dedicate a stabilire se i candidati hanno un profilo minimo e non a nominare vincitori; 2) criteri pre-definiti e trasparenti (soglie, definite insieme alle società scientifiche) per tutto quanto è ragionevolmente quantificabile; 3) autonomia delle commissioni per decisioni atipiche rispetto ai criteri (con correttivi come unanimità o maggioranze qualificate).
Si può provare, è una bella sfida di responsabilità per le società scientifiche.
Magari scopriamo che chiudendo Anvur (in attesa di una vera agenzia con effettiva terzietà, così non ci tengono più fuori dalla porta della European Association for Quality Assurance in Higher Education) e lavorando tra CUN e Miur risparmiamo denaro e conflittualità… :-)
“B) che si espliciti nel testo del decreto che cosa debba intendersi per «peso dell’indicatore di impatto»…[OMISSIS] Tale classificazione potrebbe essere effettuata dall’ANVUR, sentite le Comunità Scientifiche di riferimento, anche sulla base di percentili di indicatori bibliometrici ove tale classificazione sia ritenuta adeguata.”
Perfettamente d’accordo. Ma sappiamo tutti che per questo procedimento passerà molto tempo (un anno), non sarebbe più semplice applicare la stessa classificazione decisa dai GEV per la VQR?
Direi che se è per fare presto, si potrebbe anche misurare l’impatto approssimandolo alla statura del ricercatore.
Non che sia molto diverso dall’usare la matrice di corrispondenza tra impact factor della rivista e classe delle citazioni inventata dall’ANVUR per la VQR.
Nella vecchia o nella nuova VQR…? Non mi risulta i nuovi GEV abbiano ancora stabilito alcunché…
Mi pare in sede VQR si vogliano individuare le “eccellenze”, esaltando le differenze tra riviste con alto i.f. e riviste con basso i.f..
Credo invece in questa sede (ASN) i percentili delle fascie delle riviste ed i relativi punteggi dovrebbero essere distribuiti linearmente. Tra l’altro definizioni e calcoli per i quartili sono belle e che fatti (da Q1 a Q4) ed anche utilizzati in diverse sedi, si tratterebbe solo si attribuire un punteggio (tipo: 1, 0.75, 0.5, 0.25).
Come ho scritto in un altro post, la stessa operazione andrebbe però fatta con SJR di Scopus/Elsevier per mantenere la simmetria tra i due database, senza privilegiarne uno a priori. Poi si sceglie il risultato più favorevole al candidato, come negli altri casi (H index, etc).
Ovvio che in questo paese -probabilmnete antropologicamente diverso dal resto del mondo occidentale- non importa nulla di ciò che si discute e su cui si trova consenso altrove.
Placing too much emphasis on poorly-designed indicators – such as journal impact factors – can have negative consequences.
http://blogs.lse.ac.uk/impactofsocialsciences/2015/07/09/metric-tide-is-rising-hefcemetrics-report/
Italian way: un’ala di pipistrello, un po’ di polvere di corno di rinoceronte, un pizzico di mandragora ed ecco fatto!
__________________
IEEE: “Any journal-based metric is not designed to capture qualities of individual papers and must therefore not be used as a proxy for single-article quality or to evaluate individual scientists”
(IEEE statement on correct use of bibliometrics, http://www.ieee.org/publications_standards/publications/pubnews/vol6issue3/vol6_issue3_index.html)
Non bisogna “fare presto”, ma realisticamente una classificazione del genere richiederebbe circa un anno per essere completata.
Andrebbe fatta una seria consultazione dei settori e sotto-gruppi che compongono i settori e comunque andrebbe definito un criterio di massima per fare in modo che le commissioni possano valutare anche le pubblicazioni in sedi non classificate in precedenza.
Personalmente la ritengo una proposta condivisibile e giusta, ma temo che tutto alla fine non produrrà altro che piccole modifiche della classificazione per la VQR, magari con pesi e diversi, ma nel frattempo si sarà perso un altro anno.
L’importante è che facciano un lavoro rigoroso, come prescrive il CUN.
Il parere del CUN è stato molto utile e pertinente.
Avremo di sicuro una versione rinnovata ed efficace della Abilitazione Scientifica Nazionale con molto meno problematiche e ricorsi rispetto alla precedente.
Sono molto soddisfatto del lavoro svolto da ANVUR e CUN.
In effetti CUN ha fatto un buon lavoro di revisione. Il giudizio però bisognerà darlo quando si metteranno d’accordo su un testo.
APPREZZO quasi in toto il lavoro fatto dal CUN.
Purtroppo temo che il CUN non verrà ascoltato e mi auguro di essere in errore.
Faccio notare che questa è la terza volta che il CUN si esprime
con gli stessi concetti quasi usando le stesse frasi.
E, pur avendole avute per iscritto, chi di dovere
NON le ha recepite. Per me NON le ha volute recepire. NON c’è
peggior sordo di chi non vuol sentire.
A titolo di esempio, per i settori bibliometrici è la terza volta che il
CUN dice che: “debbano essere identificati «valori-soglia» fondati sulle consuetudini scientifiche del settore e corrispondenti a livelli di produzione scientifica, sia qualitativi sia quantitativi, che non escludano artificialmente individui validamente attivi nella ricerca o addirittura interi sotto-settori con modalità di pubblicazione diverse dalla media del settore” o frasi quasi analoghe.
All’interno dello stesso settore concorsuale e anche all’interno di SSD i valori soglia dovrebbero cambiare in funzione della ricerca che si fa.
Non sembra che questo sia stato tenuto in conto dall’ANVUR.
Almeno al momento. E’ difficile farlo. Non impossibile! E richiede lavoro
e tanto da parte dell’ANVUR. Mi auguro che sia questo il motivo
per il quale i valori soglia verranno definiti successivamente (richiedono
ulteriore lavoro). Ad esempio seguendo alcuni suggerimenti del CUN.
Valutare i singoli in questo modo porta a storture come da precedente intervento di De Nicolao che cita l’IEEE.
Mettere un unico valore soglia per raggruppamento concorsuale amplificherà queste storture, a meno che
questo valore soglia non si basi su suddivisioni fini del sapere.
Spero che si faccia questo, come suggerito, ma temo che
non lo faranno.
Non sono uno studioso di bibliometria, ma so che è notissimo che le
valutazioni automatiche di buona qualità sono nettamente peggiori delle valutazioni umane di media qualità. Il CUN e ROARS mi sembrano da un punto di vista teorico parecchio superiori a quel che le strutture ufficiali, incluso l’ANVUR, producono (non sono) in questo momento in Italia.