Rassegna TAR: criteri qualitativi e indici bibliometrici nei concorsi universitari

In queste ore scade l’ultima proroga (30 novembre) concessa alle commissioni per la conclusione dei lavori e gran parte dell’accademia italiana attende con il fiato sospeso l’esito delle abilitazioni nazionali. Ma cosa succederà dopo? Uno degli aspetti potenzialmente controversi sarà il modo con cui le commissioni avranno tenuto conto degli indicatori bibliometrici bilanciandone il peso con gli altri criteri qualitativi. Quanti dei  candidati delusi dall’esito imboccheranno la strada del ricorso al TAR? Nonostante la novità delle abilitazioni, i tribunali amministrativi non sono nuovi a pronunciarsi su questi temi in relazione ai concorsi per il reclutamento dei ricercatori universitari. In questo articolo, dopo aver richiamato il, D.M. 89/2009 relativo alle procedure di valutazione comparativa per il reclutamento dei ricercatori universitari, procediamo ad una rassegna delle sentenze di diversi TAR, relative sia a settori bibliometrici che non bibliometrici.

BREVE RASSEGNA DI RECENTI SENTENZE RELATIVE AL D.M. 89/2009

(la redazione ringrazia sentitamente l’amico JUS)

L’adozione di criteri bibliometrici per la valutazione individuale e il reclutamento dei ricercatori universitari ha – come era prevedibile – coinvolto anche la giurisdizione amministrativa. Presentiamo di seguito una breve e non esaustiva rassegna di recenti sentenze dei Tribunali Amministrativi Regionali, chiamati a pronunciarsi sull’argomento.

Di seguito si riporta il testo dell’art. 3 del Decreto MIUR 28 luglio 2009 n. 89, intitolato “Valutazione dei titoli e delle pubblicazioni scientifiche”, relativo alle procedure di valutazione comparativa per il reclutamento dei ricercatori universitari.

Il comma 2 dell’art. 3 codifica i criteri qualitativi ad applicazione discrezionale; il comma 4, invece, gli indici bibliometrici ad applicazione non discrezionale.

Art. 3 – Valutazione delle pubblicazioni scientifiche

1. Le commissioni giudicatrici delle procedure di cui all’articolo 1, nell’effettuare la valutazione comparativa dei candidati, prendono in considerazione esclusivamente pubblicazioni o testi accettati per la pubblicazione secondo le norme vigenti nonché saggi inseriti in opere collettanee e articoli editi su riviste in formato cartaceo o digitale con l’esclusione di note interne o rapporti dipartimentali.
2. Le commissioni giudicatrici di cui al comma 1 effettuano la valutazione comparativa delle pubblicazioni di cui al comma 1 sulla base dei seguenti criteri:
   1. originalità, innovatività e importanza di ciascuna pubblicazione scientifica;
   2. congruenza di ciascuna pubblicazione con il settore scientifico-disciplinare per il quale è bandita la procedura, ovvero con tematiche interdisciplinari ad esso correlate;
   3. rilevanza scientifica della collocazione editoriale di ciascuna pubblicazione e sua diffusione all’interno della comunità scientifica.
   4. determinazione analitica, anche sulla base di criteri riconosciuti nella comunità scientifica di riferimento, dell’apporto individuale del candidato nel caso di partecipazione del medesimo a lavori in collaborazione.
3. Le commissioni giudicatrici di cui al comma 1 devono altresì valutare la consistenza complessiva della produzione scientifica del candidato, l’intensità e la continuità temporale della stessa, fatti salvi i periodi, adeguatamente documentati di allontanamento non volontario dall’attività di ricerca, con particolare riferimento alle funzioni genitoriali.
4. Nell’ambito dei settori scientifico-disciplinari in cui ne è riconosciuto l’uso a livello internazionale le Commissioni nel valutare le pubblicazioni si avvalgono anchedei seguenti indici:
   1. numero totale delle citazioni;
   2. numero medio di citazioni per pubblicazione;
   3. “impact factor” totale;
   4. “impact factor” medio per pubblicazione;
   5. combinazioni dei precedenti parametri atte a valorizzare l’impatto della produzione scientifica del candidato (indice di Hirsch o simili).

Come accade per il dibattito tra i lettori di ROARS, anche la giurisprudenza amministrativa si divide nel momento in cui affronta il rapporto tra i criteri qualitativi e gli indici bibliometrici.

Perciò può essere interessante l’esame della recente giurisprudenza relativa al D.M. 89/2009, dato che proprio questo D.M. ha introdotto esplicitamente un riferimento agli indici bibliometrici.

Le domande più frequentemente poste ai giudici sono le seguenti:

• Le Commissioni sono tenute ad adottare gli indici bibliometrici?
• Se possono evitare di adottarli, devono motivare espressamente sulle ragioni per le quali decidano di non applicarli?
• Qualora le Commissioni adottino indici bibliometrici, questi ultimi prevalgono sui criteri qualitativi o sono recessivi rispetto ad essi?
• O, invece, tra indici bibliometrici e criteri qualitativi vi è una sostanziale equiordinazione che può portare a sostanziali “compensazioni” tra i medesimi?
• In generale, tra “quantità” e “qualità” della produzione scientifica dei candidati, quale versante occorre privilegiare nella valutazione?

Le sentenze rispondono in maniera diversa a questi quesiti.

La breve rassegna che segue riguarda S.S.D. differenti, bibliometrici e non bibliometrici.

T.A.R. Campania-Salerno Sez. I, 14 marzo 2012, n. 496 (concorso per ricercatore universitario nel S.S.D. M-EDF/01 – Metodi e didattiche delle attività motorie).

Link al testo integrale dal sito della giustizia amministrativa

http://www.giustizia-amministrativa.it/DocumentiGA/Salerno/Sezione%201/2011/201100887/Provvedimenti/201200496_01.XML

“Il Collegio condivide, su questo punto, l’orientamento espresso dalla più recente giurisprudenza amministrativa secondo cui, in merito alla valutazione delle pubblicazioni scientifiche, la Commissione d’esame, pur non essendo vincolata a decidere in stretta osservanza degli indici di cui all’art. 3 del D.M. n. 89 del 2009 (numero totale di citazioni, impact factor totale e medio per pubblicazione, indice di Hirsch o simili), deve comunque prenderli in considerazione e motivare le proprie determinazioni conclusive anche con riguardo ad essi, chiarendo le ragioni di un’eventuale pretermissione di tali parametri valutativi i quali, grazie al loro tendenziale carattere oggettivo ed algoritmico, premiano la neutralità del giudizio (cfr., T.A.R. Reggio Calabria, sez. I, 11 agosto 2011, n. 653). In conclusione, il metodo seguito dalla Commissione nella valutazione comparativa tra le due candidate appare irragionevole e non coerente, poiché ha omesso completamente di apprezzare il peso specifico delle pubblicazioni della controinteressata anche con riferimento all’impact factor, elemento tipicamente applicabile e generalmente accettato nella comunità scientifica con riferimento al profilo disciplinare d’interesse”.

T.A.R. Sicilia-Catania, Sez. III, 21 marzo 2012, n. 723 (concorso per ricercatore universitario nel S.S.D. MAT/07 – Fisica matematica).

Link al testo integrale dal sito della giustizia amministrativa

http://www.giustizia-amministrativa.it/DocumentiGA/Catania/Sezione%203/2011/201101080/Provvedimenti/201200723_01.XML

“Con i primi due motivi, che il Collegio ritiene debbano essere trattati congiuntamente, parte ricorrente ha sostanzialmente censurato la violazione e la mancata applicazione dell’art. 3, comma 4, del D.M. 28 luglio 2009, n. 89 … la Commissione, diversamente da quanto asseritamente previsto da dette norme, non si sarebbe avvalsa, in sede di delibazione del “valore” (sotto il profilo oggettivo e non discrezionale) delle pubblicazioni dei candidati, anche degli indici di valutazione ivi indicati, tra i quali il numero totale delle citazioni, il numero medio di citazioni per pubblicazione, il cosiddetto “impact factor” totale e medio per pubblicazione, e, infine, le combinazioni dei precedenti parametri atti a valorizzare il reale impatto della produzione scientifica dei candidato (indice di Hirsch e simili). La tesi non può essere condivisa […] Dal senso reso palese dalle parole utilizzate dalla norma, emerge che la valutazione comparativa va effettuata, per un verso, ai sensi dell’art. 2, sui titoli, considerando specificamente la significatività che essi assumono in ordine alla qualità e quantità dell’attività di ricerca svolta dal singolo candidato; per un altro, e ciò è quanto particolarmente rileva nel caso in esame, ai sensi del successivo art. 3, sulle pubblicazioni scientifiche, con riferimento, soprattutto, alla loro originalità, innovatività e importanza, alla loro congruenza con il settore scientifico-disciplinare per il quale è bandita la procedura, alla rilevanza scientifica della loro collocazione editoriale e della loro diffusione all’interno della comunità scientifica e, infine, alla determinazione analitica, anche sulla base di criteri riconosciuti nella comunità scientifica di riferimento, dell’apporto individuale del candidato nel caso di partecipazione del medesimo a lavori in collaborazione. I criteri in questione, ad avviso del Collegio, costituiscono le diverse “angolature” della medesima valutazione che la Commissione deve effettuare sulle pubblicazioni scientifiche e, come tali, non vanno considerati come sistemi alternativi di giudizio, ma procedura unica da seguire per giungere al risultato comparativo complessivo finale. In questo contesto, precisa il medesimo articolo 3 del D.M. in esame, ed esclusivamente nell’ambito dei settori scientifico-disciplinari in cui ne è riconosciuto l’uso a livello internazionale, le Commissioni, nel valutare le pubblicazioni, si avvalgono «anche» degli indici, la cui asserita carenza è oggetto della censura principale di parte ricorrente. Ne deriva che per gli indici determinati dal numero totale delle citazioni e medio per pubblicazione, dall’impact factor totale e medio per pubblicazione, dall’indice Hirsch o simili, in assenza del presupposto del loro riconoscimento in ambito internazionale nel settore scientifico-disciplinare da valutare, non vi è alcun obbligo di un loro utilizzo per le Commissioni, che, quindi, come nel caso in esame, possono discrezionalmente prevedere di avvalersene in maniera eventuale e/o subordinata ai criteri principali espressi dal comma 2 della norma. Il controinteressato, peraltro, sul punto ha sostenuto, senza che la circostanza sia stata contestata neanche in sede di replica da parte ricorrente, che nel settore scientifico-disciplinare MAT/07, oggetto del concorso de quo, l’uso degli indici di cui al citato art. 3, comma 4, del D.M. n. 89 del 2009, non sia riconosciuto a livello internazionale. La mancata contestazione già esimerebbe da una più approfondita valutazione. Ritiene, però, il Collegio comunque condivisibile la ricostruzione operata dal controinteressato nella specifica materia oggetto del concorso. A prescindere dalla circostanza se, come da quest’ultimo sostenuto, per la classe (MAT/07), che rientra nella Macro-Area 01 (Matematica e Informatica), l’uso a livello internazionale degli indici di cui al citato art. 3, comma 4, del D.M. n. 89 del 2009 vada rintracciato nel “Documento di lavoro” prot. n. 2447, datato 28.1.2009, reso nell’Adunanza del 16-18 dicembre 2008, dal Consiglio Universitario Nazionale (C.U.N.), ossia dall’Organo che, in virtù dell’art. 1, comma 7, del D.L. n. 180 del 2008, convertito nella L. n. 1 del 2009, ha dovuto rendere il parere prima dell’adozione del D.M. 28 luglio 2009, n. 89, è certo che da detto documento, appunto successivo a detto ultimo atto normativo, emerge che gli indici in questione, nella materia oggetto del concorso, non forniscono alcuna obiettività nella valutazione. Ed invero, secondo detto autorevole giudizio, per la sotto Area Matematica, «le citazioni, diversamente da altre Aree disciplinari, appaiono lentamente e permangono per lungo tempo … ; … la qualità e la notorietà internazionale dei risultati sono solo parzialmente correlabili con il prestigio della sede in cui sono pubblicati e con il numero di citazioni; l’impact factor della rivista non è un indicatore significativo della qualità del risultato pubblicato; il cosiddetto “h index” assume in genere valori molto piccoli, anche per eminenti matematici, risulta quindi essere poco discriminante e poco attendibile; i massimi organismi internazionali per la ricerca matematica hanno recentemente preso posizioni ufficiali per mettere in guardia dall’uso indiscriminato di indicatori bibliometrici per la valutazione di individui, progetti di ricerca e riviste, anche a causa delle distorsioni che tale uso potrebbe indurre nel comportamento dei ricercatori». […] Ad abundantiam, sorreggono le riferite conclusioni i seguenti arresti giurisprudenziali:

a) nei concorsi a posti di insegnante universitario l’impact factor, consistendo nel numero di citazioni che una determinata pubblicazione ha avuto su riviste in un determinato arco temporale, non è criterio che possa essere utilizzato per misurare l’originalità scientifica della suddetta pubblicazione, che deve intendersi rimessa alla valutazione della Commissione giudicatrice (cfr. Cons. di Stato, Sez. VI sent. n. 1970 del 7 aprile 2010; n. 487 del 28 gennaio 2009 n. 487; n. 1063 del 2 marzo 2007);

b) la determinazione dell’impact factor delle pubblicazioni scientifiche presentate da un candidato nei concorsi a professore universitario non è una semplice operazione aritmetica, perché presuppone un momento di discrezionalità nell’ambito del quale la Commissione seleziona, fra le pubblicazioni presentate da un candidato, quelle ritenute congrue con il settore scientifico disciplinare e valuta la tipologia dei lavori pubblicati (cfr. Cons. di Stato, Sez. VI, sent. 487 del 28 gennaio 2009);

c) nei concorsi de quibus, il criterio di valutazione del c.d. impact factor non è l’unico cui deve attenersi la Commissione giudicatrice e soprattutto non può esprimere o condizionare in maniera determinante il giudizio finale sulla maturità scientifica dei candidati, che la Commissione stessa deve formulare anche sulla base degli altri criteri selettivi, verificando peraltro la pertinenza dei lavori presentati alla tematica concorsuale (Cons. di Stato, n. 487/2009 cit.)”.

T.A.R. Sicilia-Catania, Sez. III, 5 aprile 2012, n. 936 (concorso per ricercatore universitario nel S.S.D. AGR/13 – Chimica agraria).

Link al testo integrale dal sito della giustizia amministrativa

http://www.giustizia-amministrativa.it/DocumentiGA/Catania/Sezione%203/2011/201100352/Provvedimenti/201200936_01.XML

“La giurisprudenza ha da tempo chiarito (cfr. ex multis, Cons. di Stato, Sez. VI, 7 marzo 2007, n. 1055) come i restanti parametri di uso internazionale per la valutazione delle pubblicazioni (“impact factor”, “indice di Hirsch o simili”, ecc.), non possono ritenersi determinanti; tanto più che oggi, per i concorsi a ricercatore, l’art. 3, comma 4, del D.M. n. 89 del 2009 si limita a disporre che le commissioni, nel valutare le pubblicazioni nell’ambito dei settori scientifico-disciplinari in cui ne è riconosciuto l’uso a livello internazionale, «si avvalgono anche dei seguenti indici» (laddove l’uso dell’avverbio «anche» denota chiaramente la natura complementare degli indici indicati dalla norma)”.

T.A.R. Lombardia-Milano Sez. IV, 24 aprile 2012, n. 1209 (concorso per ricercatore universitario nel S.S.D. IUS/18 – Diritto romano e diritti dell’antichità).

Link al testo integrale dal sito della giustizia amministrativa

http://www.giustizia-amministrativa.it/DocumentiGA/Milano/Sezione%204/2011/201100804/Provvedimenti/201201209_01.XML

“La ricorrente in sostanza afferma che la Commissione non avrebbe sufficientemente considerato l’elemento quantitativo, laddove invece l’art. 3 del D.M. in parola le impone di «valutare la consistenza complessiva della produzione scientifica del candidato, l’intensità e la continuità temporale della stessa». Tali doglianze non paiono fondate in quanto la norma, laddove fa riferimento alla «consistenza» della produzione scientifica pare attribuire alla Commissione la possibilità di un giudizio che non è solo prettamente quantitativo e temporale, ma anche riferito alla capacità di estendere l’attività di ricerca e di mantenere una buona qualità, piuttosto che moltiplicare i titoli attraverso la rielaborazione di scritti già pubblicati o di fossilizzarsi solo in un ristretto ambito di ricerca”. 

T.A.R. Lombardia-Milano Sez. IV, 11 luglio 2012, n. 1944 (concorso per ricercatore universitario nel S.S.D. MED/28 – Malattie odontostomatologiche)

Link al testo integrale dal sito della giustizia amministrativa

http://www.giustizia-amministrativa.it/DocumentiGA/Milano/Sezione%204/2012/201200084/Provvedimenti/201201944_01.XML

“[…] è stato emanato il D.M. 28 luglio 2009 n. 89, il cui art. 3, nei commi 2 e 3, ha dettato criteri in materia di valutazione delle pubblicazioni scientifiche, in parte confermando, ed in parte innovando, quelli di cui al predetto art. 4 c. 2 D.P.R. n. 117 del 2000. Il successivo comma 4 ha invece introdotto ex novo una previsione radicalmente innovativa rispetto alla disciplina previgente […] ritiene il Collegio come la previsione di cui al citato art. 3 comma 4 D.M. n. 89 del 2009 sia di assoluto rilievo, per la sua innovatività, rispetto alla disciplina previgente. In primo luogo, essa costituisce diretta attuazione della volontà del legislatore, che era intervenuto in via d’urgenza, onde prevedere che «nelle procedure di valutazione comparativa per il reclutamento dei ricercatori bandite successivamente alla data di entrata in vigore del presente decreto», venissero utilizzati i detti parametri «riconosciuti anche in ambito internazionale» (art. 1 c. 7 D.L. n. 180 del 2008), per l’appunto individuati nel visto art. 3 c. 4 del D.M. n. 89 del 2009. Il tenore di tale ultima disposizione si differenzia inoltre significativamente rispetto alle previgenti disposizioni di cui all’art. 2 c. 8 D.P.R. n. 390 del 1998 e dell’art. 4 c. 3 D.P.R. n. 117 del 2000. Le norme antecedenti prevedevano infatti che solo «ove possibile», la Commissione facesse riferimento «a parametri riconosciuti in ambito scientifico internazionale». L’art. 3 c. 4 del D.M. n. 89 del 2009 invece, da un lato, impone di utilizzare tali parametri, qualora ne sia riconosciuto l’uso a livello internazionale, e soprattutto li individua espressamente […] il Collegio non può che prendere atto che nessuno dei cinque indici contemplati del più volte citato art. 3 c. 4 D.M. n. 89 del 2009 è stato preso in considerazione dalla Commissione, non risultando alcun riferimento ai medesimi in nessun giudizio, né individuale né collettivo, ciò che comporta la violazione della predetta disposizione […] Non sono pertinenti neppure gli ulteriori argomenti della resistente e del controinteressato, nei quali si sostiene che le valutazioni “qualitative” sulle pubblicazioni debbano prevalere su quelle “quantitative”, risultanti dall’applicazioni dei predetti indici. Il Collegio non è infatti in questa sede chiamato a pronunciarsi sulla legittimità della scelta operata dalla Commissione in favore delle pubblicazioni del controinteressato, motivata dal loro merito intrinseco, in danno di quelle della ricorrente, che risulterebbero invece premiate dall’applicazione degli indici “quantitativi” menzionati dal citato art. 3 c. 4 D.M. n. 89 del 2009. Ciò di cui si duole, giustamente, la ricorrente, è invece la mancata applicazione della detta norma, che ha reso di per sé illegittima la comparazione tra le pubblicazioni, a prescindere dal loro rilievo qualitativo […] Né in contrario possono assumere rilievo le diffuse critiche mosse dalla difesa della resistente agli indici bibliometrici di che trattasi, attesa la chiara opzione in tal senso operata dal legislatore, … va pertanto respinta l’ulteriore pretesa di considerare i detti indici quali parametri “ancillari”, rispetto a quelli enunciati nel comma 2 del medesimo art. D.M. n. 89 del 2009. Si è infatti mostrato come, mentre in precedenza, il ricorso ai detti parametri fosse da effettuarsi “ove possibile”, il D.M. n. 89 del 2009 abbia eliminato tale facoltà, con ciò rendendo di fatto obbligatorio il riferimento a tali indici, in tutti quei casi in cui ne è riconosciuto l’uso a livello internazionale. Ad abundantiam, anche aderendo alla prospettazione offerta, e pertanto sminuendo il rilievo degli indici bibliometrici rispetto ai parametri di cui al comma 2, ciò non giustificherebbe ugualmente la loro mancata considerazione da parte della Commissione, che potrebbe, eventualmente, privilegiare la “qualità” di pubblicazioni scarsamente considerate dai detti indici, ma sempre previa loro considerazione, ciò che è invece mancato nella fattispecie, in qualsivoglia forma, anche sintetica. Per tutto quanto sopra evidenziato non assume pertanto rilievo il fatto che i giudizi espressi dalla Commissione, riferiti agli elementi di cui al comma 2 del citato art. 3 D.M. n. 89 del 2009, siano risultati superiori a quelli assegnati alla ricorrente, dato che, ciò che si censura con il presente motivo, è il mancato utilizzo dei parametri di cui al successivo comma 4. Una volta che la Commissione avesse valutato le pubblicazioni della ricorrente, applicando gli indici bibliometrici, avrebbe poi potuto certamente contemperare tali giudizi con quelli di cui al precedente comma 2, che invece nella fattispecie de quo sono risultati gli unici ad essere formulati”. 

T.A.R. Lombardia-Milano, Sez. IV, 25 luglio 2012, n. 2077 (concorso per ricercatore universitario nel S.S.D. INFO/01 – Informatica)

Link al testo integrale dal sito della giustizia amministrativa

http://www.giustizia-amministrativa.it/DocumentiGA/Milano/Sezione%204/2011/201100348/Provvedimenti/201202077_01.XML

“Dall’esame dei verbali relativi alla valutazione delle pubblicazioni dei candidati emerge che la Commissione ha dato rilievo non assoluto agli indici bibliometrici, tenendo conto anche di aspetti ulteriori, legati alla qualità delle pubblicazioni e all’impatto dell’opera del singolo autore sulle pubblicazioni di tipo collettaneo. Del resto, affidare la valutazione ad un mero computo aritmetico di dati afferenti al numero di pubblicazioni o citazioni ricevute non fornirebbe alcuna effettiva garanzia in ordine alla correttezza della valutazione stessa, atteso che un soggetto potrebbe aver pubblicato un numero elevato di saggi, senza alcun apporto originale al sapere scientifico, oppure potrebbe essere stato citato in numerosi scritti soltanto per aver sostenuto delle tesi del tutto sconclusionate. Il tutto senza considerare che nessun sistema classificatorio è in grado di ricomprendere tutte le pubblicazioni scientifiche e soprattutto non garantisce la storicizzazione della verifica, atteso che alcune banche dati (ad esempio, dell’indice Publish or Perish) non sono in grado di cristallizzare temporalmente i dati, facendo riferimento, ad esempio, alla data di scadenza del termine per presentare le domande di partecipazione al concorso”.

T.A.R. Lazio-Roma, Sez. III, 27 luglio 2012, n. 6996 (concorso per ricercatore universitario nel S.S.D. ING-INF/03 – Telecomunicazioni)

Link al testo integrale dal sito della giustizia amministrativa

http://www.giustizia-amministrativa.it/DocumentiGA/Roma/Sezione%203/2012/201200497/Provvedimenti/201206996_01.XML

“L’«indice di impatto», secondo la giurisprudenza, quindi, deve essere considerato un elemento di giudizio sulla qualità complessiva della rivista più che sulla originalità scientifica dei singoli articoli che in essa vengono pubblicati, che invece devono essere valutati anche sotto gli ulteriori profili previsti dall’art 4 D.P.R. n. 117 del 2000 cit., al fine di evidenziare la complessiva maturità scientifica del candidato. Ciò perché articoli pubblicati su riviste ad alto fattore di impatto possono, comunque, risultare non particolarmente originali ai fini della specifica procedura concorsuale in atto sulla complessiva maturità scientifica dei candidati, secondo la valutazione discrezionale lasciata alla Commissione. Tale indice costituisce, in sostanza, solo uno fra i tanti elementi di valutazione che la Commissione prende in considerazione per esprimere il suo giudizio nei confronti dei candidati e deve essere esclusa qualsiasi relazione automatica diretta tra l’impact factor e l’esito del concorso (Cons. Stato, Sez. VI, 28.1.09 , n. 487) […] Il criterio prevalente è dunque quello dell’originalità e innovatività (Cons. Stato, Sez. VI, 18.8.10, n. 5885) e ogni ulteriore prospettazione del ricorrente in ordine al maggior valore “ponderale” del proprio “curriculum” in ragione del mero aspetto quantitativo appare foriera di un inserimento di valutazioni di merito che sono precluse nella presente sede e non corrispondono comunque alla “ratio” del ricordato art. 4, comma 2, D.P.R. n. 117 del 2000, tendente invece a privilegiare l’elemento qualitativo, individuabile come tale solo discrezionalmente dalla Commissione. Tali conclusioni sono state fatte proprie anche di recente dal Consiglio di Stato, per il quale in materia di concorsi a posti di professori universitari di ruolo e di ricercatori, l’art. 4, comma 2, D.P.R. n. 117 del 2000, deve essere inteso come un elenco di criteri di valutazione delle pubblicazioni scientifiche e dei “curricula”, posti in ordine decrescente di importanza; pertanto, una volta valutati, da parte della commissione, l’«originalità e innovatività» dell’opera (lett. a), l’«apporto individuale del candidato» (lett. b), la «congruenza con le discipline ricomprese nel settore scientifico-disciplinare» (lett. c), può essere assorbita la valutazione della diffusione dell’opera (lett. d), siccome ininfluente a modificare il giudizio già espresso in base ai criteri delle precedenti lett. a), b) e c), tenendo presente che la diffusione dell’opera nell’ambito della comunità scientifica, il grado di tale diffusione, il livello di apprezzamento espresso dalla detta comunità sull’opera sono elementi che, se esistenti, contribuiscono all’assegnazione di un punteggio aggiuntivo, ma la loro insussistenza non impedisce la valutazione dell’opera alla luce degli altri precedenti e prioritari criteri. (Cons. Stato, Sez. VI, 24.11.11, n. 6209). Né può trovare rilevanza nella presente fattispecie quanto osservato dal difensore del ricorrente, nella discussione orale, in relazione alla novità introdotta dal decreto MIUR 7.6.12, n. 76 in merito ai criteri di valutazione nei concorsi per professore universitario di prima e seconda fascia, che tenderebbero a privilegiare criteri oggettivi più che valutazioni meramente discrezionali delle Commissioni di concorso, dato che la vertenza in esame, su ricercatori, si è svolta con le regole di cui ai su richiamati testi normativi e comunque l’effettiva applicazione dei nuovi è ancora tutta da verificare e valutare. Alla luce di quanto premesso, deve quindi verificarsi l’operato della Commissione di cui alla presente procedura”.

T.A.R. Lombardia-Milano, Sez. IV, 14 settembre 2012, n. 2332 (concorso per ricercatore universitario nel S.S.D. SECS-S/04 – Demografia).

Link al testo integrale dal sito della giustizia amministrativa

http://www.giustizia-amministrativa.it/DocumentiGA/Milano/Sezione%204/2011/201102693/Provvedimenti/201202332_01.XML

“La valutazione della Commissione non appare irragionevole e certamente non può essere infirmata dalla prevalenza quantitativa delle pubblicazioni e dei titoli del ricorrente, atteso che la preminenza della controinteressata è stata determinata da fattori qualitativi che la Commissione, formata da esperti del settore, ha ritenuto di rinvenire nella produzione scientifica e nell’attività di quest’ultima, pur nella consapevolezza della sua limitatezza rispetto a quella di altri candidati, come l’odierno ricorrente”.

T.A.R. Lombardia-Milano Sez. IV, 19 settembre 2012, n. 2357 (concorso per ricercatore universitario nel S.S.D. L-ANT/02 – Storia Greca)

Link al testo integrale dal sito della giustizia amministrativa

http://www.giustizia-amministrativa.it/DocumentiGA/Milano/Sezione%204/2011/201102562/Provvedimenti/201202357_01.XML

“L’art. 3, comma 4, del D.M. n. 89 del 2009, come riprodotto anche dall’art. 9 del Bando di concorso, stabilisce che «nell’ambito dei settori scientifico – disciplinari in cui ne è riconosciuto l’uso a livello internazionale le Commissioni nel valutare le pubblicazioni si avvalgono anche dei seguenti indici:

• numero totale delle citazioni;
• numero medio di citazioni per pubblicazione;
• impact factor totale;
• impact factor medio per pubblicazione;
• combinazioni dei precedenti parametri atte a valorizzare l’impatto della produzione scientifica del candidato (indice di Hirsch o simili)».

Dall’esame dei giudizi collegiali e individuali espressi con riferimento ai candidati alla procedura comparativa emerge con evidenza la mancata utilizzazione dei predetti parametri nello svolgimento dell’attività di valutazione dei predetti candidati. […] Naturalmente la necessità impiegare tali indici non vuol significare che agli stessi debba essere assegnato un valore assoluto, ma soltanto che gli stessi debbano essere presi in considerazione e, al limite, ciò deve indurre la Commissione giudicatrice a chiarire le ragioni della loro inattendibilità o della prevalenza di altri criteri più qualificanti e obiettivi (cfr., per la non assolutezza di tali indici, T.A.R. Lombardia, Milano, IV, 25 luglio 2012, n. 2077). Di conseguenza, alla mancata utilizzazione di tali criteri nello svolgimento della procedura comparativa segue l’illegittimità della valutazione compiuta nei confronti dei vari candidati (T.A.R. Lombardia, Milano, IV, 7 settembre 2012, n. 2269)”.

T.A.R. Veneto, Sez. I, 31 ottobre 2012, n. 1315 (concorso per ricercatore universitario nel S.S.D. L-ANT/03, Storia Romana).

Link al testo integrale dal sito della giustizia amministrativa

http://www.giustizia-amministrativa.it/DocumentiGA/Venezia/Sezione%201/2011/201101111/Provvedimenti/201201315_01.XML

“Nei concorsi per docente universitario quel che effettivamente rileva ai fini della valutazione dei candidati è la qualità e non la quantità della produzione scientifica o dei titoli posseduti dagli stessi e a tale criterio si è attenuta la Commissione giudicatrice”.

T.A.R. Sicilia-Palermo, Sez. II, 21 novembre 2012, n. 2402 (concorso per ricercatore universitario nel S.S.D. ICAR/12 – Tecnologia dell’Architettura).

Link al testo integrale dal sito della giustizia amministrativa

http://www.giustizia-amministrativa.it/DocumentiGA/Palermo/Sezione%202/2012/201200644/Provvedimenti/201202402_01.XML

“ … la procedura concorsuale di che trattasi rientra, ratione temporis, nell’ambito della nuova disciplina legislativa e regolamentare di cui al D.L. n. 180 del 2008, come convertito in L. 9 gennaio 2009, n. 1, e il D.M. 28 luglio 2009  prot. 89/2009 mercé la quale oggi costituisce invero un obbligo – e non già più una mera possibilità – che le Commissioni di concorso, nel valutare le pubblicazioni, siano tenute a tener conto anche degli indici relativi al c.d. “impact factor totale” e “impact factor medio” per pubblicazione nonché delle combinazioni di tutti i parametri previsti nello stesso art. 3, comma 4, D.M. n. 89 del 2009 cit., atte a valorizzare l’impatto della produzione scientifica del candidato (indice di Hirsch o simili) […] la Commissione, pur avendo riportato la suddetta prescrizione tra i criteri di massima, ne ha in concreto omesso l’applicazione. Ed invero, dai verbali non risulta che la pubblicazione della controinteressata, richiamata e contestata in questa sede dal ricorrente, sia stata valutata avvalendosi anche dei predetti indici, che non sono nemmeno citati. Come precisato dalla recente giurisprudenza amministrativa, già pronunciatasi su questione analoga ed in relazione all’applicazione delle nuove disposizioni normative sopra richiamata, ciò determina la sicura illegittimità delle valutazioni in questione, giacché la Commissione, deve sicuramente – per espressa prescrizione normativa – prenderne in considerazione le risultanze e motivare la sua determinazione finale anche alla luce di esse, spiegando chiaramente le ragioni dell’eventuale pretermissione di tali risultanze “oggettive” (T.A.R. Reggio Calabria sez. I, 11 agosto 2011, n. 653). Anche nella presente controversia, dunque, risulta violata la ratio di massima trasparenza che sta alla base delle espresse e vincolanti prescrizioni del D.M. n. 89 del 2009 per le valutazione delle pubblicazioni”.

T.A.R. Emilia Romagna, Sez. I, 26 novembre 2012, n. 725 (concorso per ricercatore universitario nel S.S.D. IUS/15 – Diritto processuale civile).

Link al testo integrale dal sito della giustizia amministrativa

http://www.giustizia-amministrativa.it/DocumentiGA/Bologna/Sezione%201/2012/201200469/Provvedimenti/201200725_01.XML

“La Commissione esaminatrice si è limitata, nell’assunzione dei criteri di massima, a disporre la non utilizzazione degli indici bibliometrici di cui all’art. 3, 4° c. del D.M. 89/2009 dichiarandone il non uso nel settore scientifico disciplinare IUS 15 – diritto processuale civile – ai fini della valutazione delle pubblicazioni prodotte. In proposito l’Avvocatura dello Stato ha sottolineato come nel caso in esame non vi fosse alcuna necessità di una specifica motivazione non sussistendo dubbi sul contenuto delle osservazioni operate dall’ANVUR – Agenzia Nazionale di Valutazione del sistema Universitario e della Ricerca – circa l’assenza, nell’attuale contesto scientifico, delle condizioni indispensabili per applicare gli indicatori di tipo bibliometrico. Ora le conclusioni dell’Avvocatura dello Stato non sembrano del tutto condivisibili alla stregua delle più recenti analisi compiute dall’Agenzia sopra citata in data 20 febbraio 2012 per le quali anche nelle materie giuridiche oltre alla “ peer review” cioè la revisione paritaria diretta a verificare, ai fini del giudizio sulla qualità della ricerca, l’idoneità dell’opera ad essere inserita tra le pubblicazioni scientifiche, deve essere comunque applicata la valutazione bibliometrica non in alternativa, ma in aggiunta al metodo ordinario quale strumento di correlazione tra i due diversi sistemi di valutazione. Si tratta di parametri di giudizio connotati da una ampia oggettività i quali non si sostituiscono alle tradizionali valutazioni, ma le sorreggono e ne verificano la reale attendibilità. Ne discende che l’omissione da parte della Commissione esaminatrice, di qualsiasi elemento di giudizio derivante dai citati indicatori e di qualsiasi specifica giustificazione al riguardo si risolve in una parziale violazione della disposizione ministeriale suindicata e dunque in un evidente difetto di motivazione della determinazione recante i criteri di massima della valutazione comparativa in esame con effetti vizianti l’intera procedura concorsuale […] ponendo a raffronto le griglie di valutazione delle pubblicazioni presentate dai concorrenti in questione e riportate nei verbali delle operazioni concorsuali emerge, già con riguardo alla congruenza delle opere prodotte, il dato inequivocabile di 30 lavori per la ricorrente contro appena 16 del controinteressato, il che denota una maggiore consistenza ed ampiezza della produzione scientifica della prima rispetto al secondo nel settore scientifico disciplinare di riferimento […] con riguardo al giudizio di originalità, innovatività ed importanza delle pubblicazioni, risalta anche qui il dato numerico, poiché a fronte di sole 9 opere qualificate come “buone” a favore del controinteressato figurano 13 opere per la ricorrente, definite come “discrete” cioè abbastanza buone e 12 come “sufficienti”, dato dal quale si ricava una valutazione quanto meno di un certo sostanziale equilibrio, in tale ambito valutativo, tra le posizioni dei due candidati”.

Relativamente a quest’ultima controversia, è di pochi giorni fa la pronunzia del Consiglio di Stato (sez. VI) che riformando la sentenza di primo grado ha respinto il ricorso impugnato. Ne riportiamo gli estratti più significativi:

2. Con la sentenza n. 725 del 2012 il Tar per l’Emilia Romagna accoglieva il ricorso presentato dalla dottoressa V., sul presupposto che la Commissione esaminatrice aveva, senza una adeguata motivazione, illegittimamente omesso di prendere in considerazione, nel valutare le pubblicazioni dei candidati, i c.d. indici bibliometrici di cui all’art. 3, comma 4 del D.M. n. 89 del 2009 e, inoltre, in base al fatto che il “giudizio sulla produzione complessiva” della dottoressa Villecco risultava illogico in quanto “carente e disancorato dai dati reali” riferibili all’ampiezza, alla diffusione e rilevanza nonché all’originalità, innovatività e importanza della produzione scientifica dell’appellata. … Osserva il Collegio che l’art. 3, comma 4 del D.M. n. 89 del 2009 appena citato dispone che “nei settori scientifico-disciplinari in cui ne è riconosciuto l’uso a livello internazionale le Commissioni nel valutare le pubblicazioni si avvalgono anche” degli indici bibliometrici, puntualmente elencati nel prosieguo dell’articolo. Orbene, alla luce del tenore letterale della norma, risulta che l’art. 3, comma 4, del decreto ministeriale succitato deve ritenersi violato solamente quando sia comprovato il fatto che, nello specifico settore scientifico-disciplinare, sia riconosciuto l’uso “a livello internazionale” di detti indici. La commissione esaminatrice ha stabilito, come risulta dal verbale n. 1 del 24 novembre 2011, di non avvalersi degli indici bibliometrici ai fini della valutazione delle pubblicazioni, in quanto non in uso nel settore scientifico disciplinare IUS 15. Tale affermazione non risulta smentita nella sentenza del giudice di primo grado, mentre risulta dalla documentazione in atti la fondatezza di tale assunto. Infatti, dal Documento dell’ANVUR (Agenzia Nazionale di Valutazione del sistema Universitario e della Ricerca) del 20 febbraio 2012 (paragrafo 2, avvertenza metodologica) risulta che “non vi sono attualmente le condizioni indispensabili per applicare gli indicatori di tipo bibliometrico: non vi sono infatti né banche dati affidabili (tali non sono, per l’area giuridica, quelle di ISI e Scopus) né criteri e metodologie condivisi dalla comunità scientifica”. Analoga considerazione si rinviene nei “criteri per la valutazione dei prodotti di ricerca” approvati dall’ANVUR in data 9 gennaio 2012 così come modificati il 20 febbraio 2012, dai quali si evince (paragrafo 5, Peer review e indicatori di tipo bibliometrico) che “non vi è neppure una metodologia condivisa a livello internazionale per l’area giuridica” (area nella quale è ricompreso il settore IUS/15), confermando come la condizione di cui all’art. 3, comma 4 del D.M. n. 89 del 2009 non risulti, al momento, soddisfatta. Da quanto precede deriva l’inutilizzabilità a livello scientifico degli indici bibliometrici. Ne consegue, contrariamente a quanto rilevato dal giudice di primo grado e sostenuto dall’appellata, che detti indici non possono essere utilizzati neanche “in aggiunta al metodo ordinario”, stante la loro inutilizzabilità a livello scientifico. Quanto appena rilevato trova indiretta conferma nel D.M. n. 76 del 2012. Detto decreto, sebbene non applicabile al caso di specie sia ratione temporis (in quanto successivo all’epoca dei fatti) sia ratione materiae (in quanto disciplinante la valutazione dei professori universitari), contiene una chiara indicazione in merito all’applicabilità degli indici di cui all’art. 3, comma 4 del D.M. n. 89 del 2009. L’allegato B del predetto D.M. n. 76 del 2012, infatti, ricomprende il settore scientifico disciplinare IUS/15 tra i settori “cui si applicano gli indicatori di attività scientifica non bibliometrici”, confermando come non vi siano, al momento, le condizioni per applicare i predetti indici al settore scientifico – disciplinare di cui trattasi. In conclusione, il Collegio ritiene che gli atti emessi dalla Commissione esaminatrice non si sono posti in contrasto con quanto previsto dall’art. 3, comma 4 del D.M. n. 89 del 2009 e risultano del tutto conformi a quanto stabilito, in materia di valutazione delle pubblicazioni scientifiche, dalla restante parte dell’art. 3 del medesimo decreto ministeriale. … Il Collegio rileva come non sia riscontrabile, nel caso in esame, il difetto di motivazione lamentato dall’odierna appellata e ritenuto sussistente dal giudice di prime cure. In ragione di quanto emerso al precedente punto 7.1., infatti, la motivazione addotta dalla Commissione esaminatrice con riferimento al mancato uso nel settore scientifico – disciplinare IUS/15 degli indicatori bibliometrici risulta adeguata in relazione a quanto disposto dal più volte citato art. 3, comma 4 del D.M. n. 89 del 2009. Da ciò deriva l’ulteriore conseguenza che la determinazione della commissione esaminatrice con cui sono stati esclusi i criteri sopracitati, da quelli utilizzati per effettuare la valutazione comparativa, risultava, relativamente a detto profilo, giustificata.

T.A.R. Toscana, Sez. I, 4 dicembre 2012, n. 292 (concorso per ricercatore universitario nel S.S.D. BIO/10 – Biochimica).

Link al testo integrale dal sito della giustizia amministrativa

http://www.giustizia-amministrativa.it/DocumentiGA/Firenze/Sezione%201/2012/201200292/Provvedimenti/201201926_01.XML

la dottoressa L. G., premesso di aver partecipato alla procedura comparativa indetta dall’Università degli Studi di Pisa per la copertura di un posto di ricercatore presso la Facoltà di Farmacia, settore disciplinare BIO/10 “Biochimica”, proponeva impugnazione avverso il decreto del 21 novembre 2011, in epigrafe, mediante il quale vincitrice della selezione era stata dichiarata la dottoressa E. Da P.

…

Nella specie, la commissione giudicatrice, pur avendo espressamente richiamato nel corso della prima riunione i criteri sopra indicati, non ne avrebbe fatto applicazione, tale conclusione desumendosi dalla circostanza che nei successivi verbali non vi sarebbe traccia dei calcoli matematici occorrenti per determinare il valore di parametri quali l’impact factor, il numero delle citazioni e l’intensità della ricerca. La tesi è smentita dal verbale n. 5 del 16 dicembre 2011, contenente la valutazione conclusiva della commissione favorevole alla dottoressa Da P. ed al quale sono allegati i giudizi individuali su ciascun candidato: sia per la ricorrente, che per la controinteressata, la commissione dà atto che le rispettive pubblicazioni risultano recensite “ISI”, vale a dire Institute of Scientific Information, ente notoriamente conosciuto e riconosciuto dalla comunità scientifica internazionale e titolare della banca dati che fornisce l’impact factor, indice bibliometrico che viene pubblicato annualmente nel Journal Citation Reports e che misura il numero medio di citazioni ricevute in un particolare anno da articoli pubblicati in una rivista scientifica, per rappresentare il livello di diffusione della rivista stessa. Deve dunque presumersi che, per ricavare l’impact factor e il numero delle citazioni riferibili alle pubblicazioni dei candidati, la commissione non abbia fatto altro che consultare la banca dati in questione, senza la necessità di effettuare alcun calcolo algebrico, ovvero di applicare formule matematiche, per poi esprimere il proprio giudizio sui dati così ricavati (al riguardo, è appena il caso di accennare che la stessa ricorrente riconosce come “il numero delle citazioni e l’impact factor sono dati oggettivi ricavabili da sorgenti obiettive e pubbliche (ad esempio ISI Web Knowledge 5.5))”. Non è peraltro superfluo precisare che il criterio dell’impact factor non indica la qualità scientifica delle pubblicazioni, perché, lo si è detto, esso fornisce un parametro di valutazione delle riviste il cui valore prescinde dalla qualità, novità ed importanza scientifica del lavoro pubblicato. Ed è per questo che non si tratta dell’unico o del principale criterio di valutazione, ma di un criterio sussidiario, dovendo le pubblicazioni scientifiche dei candidati essere giudicate in ragione della loro qualità intrinseca, e non soltanto della rilevanza scientifica della loro collocazione editoriale o della loro diffusione all’interno della comunità scientifica (giurisprudenza costante, per tutte cfr. Cons. Stato, sez. VI, 4 giugno 2010, n. 3561).

…

Venendo ai presunti errori della commissione nell’attribuzione dei giudizi, ai fini della enucleazione del contributo individuale dei candidati a opere collettanee la commissione risulta essersi vincolata ad una serie di criteri alternativi e/o concorrenti fra loro equiordinati, come si evince chiaramente dal tenore letterale del verbale n. 1 (“sia in base ad eventuali dichiarazioni fornite dai coautori, sia in base alla posizione dei nomi degli autori e/o tenendo presente la coerenza con le tematiche e le metodologie generalmente presenti nell’attività scientifica del candidato”). Al contrario di quanto sostenuto dalla ricorrente, non soltanto il criterio del “primo nome” non ha valore preferenziale a fini valutativi, ma neppure è finalizzato a stabilire il numero di lavori in cui il nome di ciascun candidato compaia per primo, quanto a isolare dai lavori presentati il contributo individuale, per poi porre a confronto le rispettive produzioni scientifiche nel loro complesso. Si vuol dire che il criterio in questione non ha carattere quantitativo, ma strumentale, essendo unicamente volto ad apprezzare la consistenza e la qualità della partecipazione dei candidati ai lavori collettivi, consistenza e qualità che costituiscono – esse sì – il vero oggetto della valutazione comparativa; la preminenza del contributo del candidato rispetto a quello degli altri coautori nell’opera collettanea non equivale, del resto, a preminenza qualitativa del contributo stesso rispetto alla produzione scientifica degli altri concorrenti, né la ricorrente lamenta che il suo contributo alle pubblicazioni sia stato sottostimato sul piano qualitativo perché individuato, al pari di quanto avvenuto per la controinteressata, in relazione alle tematiche trattate ed alle metodologie utilizzate, piuttosto che in base al criterio del “primo nome” (che peraltro la commissione risulta aver adoperato come criterio concorrente)

…

Non irragionevole, e pertanto insindacabile, è poi la scelta della commissione di valorizzare, con riferimento al parametro “intensità” della produzione scientifica, la consistenza dei risultati raggiunti dalla dottoressa Da P. in pochi anni di attività, in linea con quella conseguita dalla ricorrente, ma in un lasso di tempo ben maggiore (i coefficienti di intensità, indicati dalla stessa ricorrente, sono 3,3 per la dottoressa G. e 3,0 per la Da P.). Circa il parametro della “diffusione”, ribadito che i valori totali degli indici bibliometrici hanno condotto ad una valutazione migliore per la ricorrente (“ottimo” contro il “buono” della Da P.), i valori medi – dati dal rapporto tra impact factor totale e numero di pubblicazioni – non possono che andare a vantaggio della controinteressata, titolare di un impact factor totale comunque elevato su un numero relativamente ridotto di pubblicazioni: secondo i dati allegati dalla stessa ricorrente, alle pubblicazioni della dottoressa Da P. può infatti riconoscersi un impact factor totale di 69,08, che rapportato al numero di pubblicazioni (ventuno) dà un indice medio pari a 3,29, mentre per la G. l’indice medio, anche applicando i valori più elevati fra quelli proposti (impact factor pari a 175,65, per sessantasei pubblicazioni), risulta pari a 2,67.

…

Il Tribunale Amministrativo Regionale per la Toscana (Sezione Prima), definitivamente pronunciando, respinge il ricorso.