La valutazione dei ricercatori CNR nel bando n 364.172 per dirigenti di ricerca

Il documento riporta l’analisi dei criteri adottati e dei punteggi attribuiti dalle commissioni nell’ultimo concorso del  CNR,   per complessivi ottanta posti per il profilo professionale di Dirigente di Ricerca   agli oltre 800 candidati . Le commissioni hanno elaborato criteri contorti e a volte sbagliati e in contraddizione l’uno con gli altri. Ed hanno utilizzato i parametri bibliometrici in maniera completamente opposta a quella adottata in tutte le valutazione delle pubblicazioni scientifiche del mondo, senza alcun controllo da parte dell’amministrazione.

1. Introduzione

Il  02/10/2013 Il CNR indiceva una selezione per titoli ai sensi dell’art. 15 comma 6 del CCNL 2002 – 2005 sottoscritto in data 7 aprile 2006, per complessivi ottanta posti per il profilo professionale di Dirigente di Ricerca– I livello – da assegnare al personale dipendente del CNR. Bando n 364.172, ¹

Alla selezione erano ammessi i dipendenti con contratto di lavoro a tempo indeterminato alla data del 1° gennaio 2010, in servizio alla data di presentazione della domanda e inquadrati al 31 dicembre 2009 nel profilo professionale di Primo Ricercatore -II livello

Gli ottanta posti erano distribuiti in 7  macroaree come di seguito specificato:

1. Scienze Biomediche (SBM);  posti n. 14
2. Scienze Fisiche e Tecnologie della Materia (SFTM); posti n.8
3. Scienze del Sistema Terra e Tecnologie per l’Ambiente (STA); posti n.15
4. Scienze Chimiche e Tecnologie dei Materiali (SCTM); posti n.14
5. Ingegneria, ICT e Tecnologie per l’Energia e i Trasporti (IITET); posti n.15
6. Scienze Bio-Agroalimentari (SBA); posti n.7
7. Scienze Umane e Sociali, Patrimonio Culturale (SU). posti n.7

Il bando consentiva ai ricercatori aventi diritto la presentazione di massimo due domande di partecipazione alla  selezione,  ciascuna in due distinte macroaree

Successivamente all’emanazione del bando come previsto dal bando il Presidente del CNR  nominava 7 commissioni, composte quasi esclusivamente da professori universitari una per ciascuna macro area.

Oltre 800 domande venivano sottomesse. Solo a giugno 2017 tutte le Commissioni completavano la valutazione delle domande.

2. Processo di valutazione:

Il bando unico, assegna alle commissioni 100 punti distribuiti in tre fattispecie, A, B e C.

• Fattispecie A: Curriculum (punti 45). La fattispecie A è suddivisa in due sotto-fattispecie : Ruoli ricoperti, attività svolte, incarichi (punti 40) e A2. Riconoscimenti scientifici, premi (punti 5);
• Fattispecie B: Elenco prodotti (punti 25);
• Fattispecie C: Prodotti scelti (punti 30).

Ogni commissione nella prima riunione stabiliva i criteri di valutazione e la distribuzione dei punteggi  disponibili nelle singole fattispecie previste dall’art. 5 del bando, nonché i punteggi  assegnabili ai singoli titoli valutabili².

2.1 Fattispecie A

2.1.1 Sotto- fattispecie A1 (ruoli ricoperti, attività svolte, incarichi)

Il bando per la Sotto-fattispecie A1 (ruoli ricoperti, attività svolte, incarichi) prevede 7 CATEGORIE di attività, A1.I ÷ A1.VII  riportate in tabella 1. In tabella 2 sono riportati  i punteggi massimi assegnati dalle diverse commissioni a ciascuna di queste categorie. Si nota subito che le commissioni hanno distribuito i 40 punti fra le categorie in maniera completamente diversa.

Con gli esempi che seguono vediamo in dettaglio i criteri adottati dalle commissioni e la loro applicazione per alcune categorie.

CATEGORIA A1.I – Responsabilità di Progetto etc. : Per questa categoria il punteggio massimo varia  da  12 punti  (STA)  a 25 punti  (SBM)  (Tabella 2). Non si capisce il perché di queste differenze! Si potrebbe giustificare questa diversità se fosse più difficile ottenere il coordinamento di un progetto nel campo biomedico rispetto a quello delle altre macroaree. Ma almeno per i progetti dei programmi Europei, i bandi sono gli stessi e così pure le percentuali di successo nei diversi ambiti. Sono anche uguali le modalità di sottomissione della proposte e di rendicontazione scientifica ed economica del progetto approvato.

Il bando riporta che nella valutazione dei titoli della categoria A1.I la Commissione dovrà considerare la natura, la durata dell’incarico e l’entità delle risorse attribuite al progetto.

Ecco come hanno interpretato il bando le varie commissioni riguardo natura, durata ed entità delle risorse:

Natura dei progetti :   Per quanto riguarda la natura dei progetti la maggior parte delle commissione divide i progetti in internazionali, nazionali, regionali e locali. Alcune commissioni considerano anche la natura giuridica dell’ente finanziatore – pubblico, non pubblico (contratti industriali: attività conto terzi, commesse industriali, prestazioni di ricerca, etc).

1. a) Progetti internazionali: Un singolo progetto internazionale per STA e SU può valere max 4 punti, per SCTM 4,5 punti, per STA 5 punti, per SBM 10 punti, per IITET fino a 18 punti.
   Un esempio reale può dare un’idea di cosa abbia prodotto l’applicazione di questi criteri: Un progetto europeo è presentato dal candidato responsabile in due macroaree (SCTM ed IITEC). Il progetto è valutato 4,5 punti dalla commissione SCTM e addirittura 14,40 punti dalla commissione IITET (il candidato è vincitore per IITEC, da notare che per ambedue le commissioni il progetto è ritenuto completamente attinente).
2. b) Contratti industriali: Un contratto industriale (incluso conto terzi) per le commissioni IITET e SFTM è equiparato ai progetti regionali locali con punteggio pari ad 1/5 di un progetto internazionale, mentre per la commissione SCTM può riceve un punteggio anche superiore a quello di progetto internazionale con finanziamenti fino a 10 volte maggiori. In Tabella 3 sono riportati gli incredibili criteri stabiliti dalla commissione SCTM per tener conto della natura dei progetti.

Un esempio reale può dare un’idea dei risultati dell’applicazione di questi criteri: Per due macroaree, SCTM ed IITET, un candidato  presenta 36 contratti industriali, la maggior parte locali e di poche migliaia di euro: riceve dalla commissione SCTM 16,7 punti, mentre dalla commissione IITET 5,17 punti. (Il candidato è vincitore per SCTM – da notare anche questa volta  che per ambedue le commissioni i titoli sono ritenuti completamente attinenti).

1. c) Progetti ordinari CNR: I progetti di ricerca ordinari CNR sono titoli da valutare per tutte le commissioni eccetto per le commissioni SFTM ed IITET. Non si comprende perché essere responsabile di progetto ordinario, proprio del nostro ente, sia un titolo da valutare solo per alcune commissioni, quando l’attività svolta, incluse le modalità di presentazione dei preventivi e consuntivi è naturalmente identica.

Durata dell’attività: Malgrado sia indicata chiaramente nel bando, la durata dei progetti sembra che non sia un fattore da tenere in considerazione per SBM, mentre è un fattore predominante per STA, SCTM ed IITET. Per SCTM progetti di durata minore di 1 mese o iniziati a dicembre 2009 è come se non esistessero, mentre per SBM, progetti anche solo approvati entro dicembre 2009, ma iniziati nel 2010,  ricevono 10 punti!

Entità delle risorse: A parità di finanziamento, il fattore moltiplicativo per l’entità delle risorse è lo stesso per progetti di qualsiasi natura per IITET e SBM, mentre stranamente varia a secondo della natura del progetto per SCTM, come se i soldi avessero un diverso valore a secondo dell’ente finanziatore, contrariamente al detto pecunia non olet. Contrariamente a qualsiasi logica, per SCTM, più la natura del contratto scende di livello, più il fattore moltiplicativo aumenta (vedi tabella 3)

CATEGORIA A.1.II – Partecipazione a Progetti, etc:  La commissione SU prevede addirittura 8 punti per questa categoria, arrivando quasi ad equiparare la partecipazione a unità operativa di progetto internazionale/nazionale con la responsabilità di tutta l’unità. Per esempio per la responsabilità di unità operativa progetto internazionale vengono attribuiti 3 punti, solo 0,5 punti in più della partecipazione alla stessa unità operativa, anche senza alcun ruolo (2,5 punti); mi spiego meglio: coloro che partecipano a un progetto, anche solo per rendicontare i mesi /uomo previsti ricevono punti 2,5. Per SU vince lo spirito olimpico di de Coubertin: L’importante è partecipare!

CATEGORIA A.1.III – Direzione d’Istituto e di Struttura di pari livello, etc. Per questa categoria il punteggio massimo varia da 5 (SFTM) a 12 (SBA) punti, nonostante i compiti di direttore di istituto siano gli stessi per tutti gli istituti CNR. O forse quelli afferenti al dipartimento SBA sono più gravosi/importanti degli altri?

Nell’ambito di questa categoria sono da segnalare anche i criteri adottati ed i punteggi attribuiti per il ruolo di Responsabile di Commesse e Moduli CNR, completamente differente a seconda delle commissioni. La responsabilità di Commesse CNR vale massimo 2,5 punti per IITET, 2 punti per SCTM, 0,5 per SFTM e solo 0,1 per SBM,  mentre quella di Modulo vale 1 punto per SCTM, 0 punti (Non Valutabile) per SFTM e IITET. Per SU sia la responsabilità di Commessa che di Modulo vale 0,1 punti. Perché queste differenze, essendo il bando unico ed essendo il compito di responsabile di Moduli e Commesse CNR lo stesso in tutto il CNR?

CATEGORIA A.1.IV – Attività Didattica, di Diffusione scientifica e di Formazione, etc. Anche per questa categoria non si comprende perché il punteggio massimo attribuibile/attribuito varia così tanto a seconda delle macroaree. Per la commissione SBM si possono attribuire fino a 5 punti, mentre per la commissione STA a questa categoria spettano massimo 2 punti.
Nell’ambito di questa categoria da segnalare i criteri adottati per valutare l’attività di formazione dei giovani alla ricerca, prevista dal bando;  in particolare i titoli di Tutor/responsabile di  Borse di Studio ed Assegni di Ricerca CNR, sono considerati da valutare per le commissioni SCTM e STA, ma non per le commissioni SFTM e IITET. Non è chiaro perché l’attività di formazione prevista al CNR ³ per alcune commissioni è giudicata non valutabile (NV – non presente in nessuna fattispecie del bando). Mentre è sempre valutabile per tutte le commissioni l’attività di formazione che ha legame con l’Università (tutoraggio di studenti con borse di studio di dottorato).  La formazione prevista al CNR è forse di serie B?

CATEGORIA A1.V – Partecipazione a Commissioni, Commissioni di valutazione (referaggio), etc.

Nell’ambito di questa categoria  sono da segnalare i criteri completamente diversi l’uno dall’altro per le stessa attività adottati per valutare la partecipazione a commissioni di valutazione e a gruppi di lavoro, per esempio:

Membro commissione valutazione progetti internazionali: Tutte le commissioni valutano con alti punteggi questa attività, eccetto la commissione SCTM che la considera, almeno per alcuni candidati, non valutabile (NV, titolo non presente in nessuna fattispecie del bando).
Un esempio reale può dare idea dei risultati di questo criterio. Per le macroaree SCTM e IITEC, un candidato presenta 9 partecipazioni a commissioni di valutazioni progetti Europei. La commissione SCTM giudica questi titoli NV,  mentre gli stessi titoli presentati ad IITEC vengono valutati con ben 2,7 punti.

Referaggio di articoli: Essere Reviewer di articoli è un’attività da valutare per le commissioni IITEC, SBM e SU mentre per le altre commissioni no.

Partecipazioni a commissioni di concorso per il reclutamento di personale: Essere membro di queste commissioni è un’attività da valutare per le commissioni IITEC, STA e SU, ma non per le altre commissioni. Gruppi di lavoro: Membro del consiglio scientifico di istituto del CNR. Per le commissioni SCTM e STA è un titolo da valutare, mentre per SFTM ed IITEC è NV.

Essendo il bando unico è mai possibile che uno stesso titolo sia giudicato NV,  non valutabile perché non presente in nessuna fattispecie del bando, da  una commissione, mentre è valutato da un’altra che quindi lo ritiene presente nelle fattispecie del bando?

2.1.2  Sotto-fattispecie A2 Riconoscimenti scientifici, premi

Anche per la sotto-fattispecie A2 Riconoscimenti scientifici, premi la valutazione varia a seconda delle commissioni, come per esempio:

• Premio tesi di laurea viene valutata per SCTM, ma non per IITET;
• Visiting Professor è un titolo da valutare come riconoscimenti scientifico per la commissione SCTM, ma non per le altre commissioni;
• Programme Chair di conferenze internazionali è per la commissione SBA un titolo da non valutare, ma per le altre commissioni arriva a valere anche 2 punti (0,5 per STA, 1 per SBM e SFI ed IITET e 2 punti per SCTM). Sembra proprio che i convegni organizzati nella macroarea SCTM siano più importanti di quelli organizzati nelle altre macroaree. Potere della Chimica!

2.2  Fattispecie B e C

Si ricorda che per i prodotti, il bando, unico per tutte le macroaree, assegna alle commissioni 55 punti distribuiti in 2 fattispecie: B – Elenco prodotti (punti 25) e C – 10 prodotti scelti (punti 30).

Per ambedue le fattispecie (B e C) il bando prevede  6 Categorie di prodotti  riportate in tabella 4.

2.2.1 Uso parametri bibliometrici:

Per la valutazione dei prodotti  il bando cita i seguenti parametri bibliometrici: Impact Factor, Quartile SCImago, H-index, Numero di citazioni e Ruolo del candidato.

I parametri bibliometrici sono strumenti utilizzati sempre più frequentemente nella valutazione  della produttività dei ricercatori per assegnare attribuire posizioni,  incarichi promozioni ed  premi. Tuttavia, è estensivamente riportato che questi parametri  se non correttamente compresi e utilizzati  possono portare ad interpretazioni errate e/o essere soggetti a manipolazioni. I parametri bibliometrici, infatti, non sono neutri e nelle mani di chi sa già dove vuole arrivare […] possono essere strumenti micidiali³

1999. a) Impact Factor (IF) e Quartile SCImago: L’IF e il Quartile SCImago sono due diversi parametri bibliometrici utilizzati per valutare l’impatto delle riviste scientifiche. L’IF è stato introdotto nel 1955, mentre il Quartile nel 1999. I due parametri si basano su due diverse banche dati: (ISI-Web of Science e SCOPUS rispettivamente) e sono calcolati in maniera differente. Per l’IF esiste una formula che mette in relazione le citazioni agli articoli pubblicati nei due anni precedenti con il numero totale di articoli pubblicati in quel periodo. SCImago mette in fila le riviste secondo il numero di citazioni e definisce i quartili. Rispetto a questi due parametri il bando riporta che:
2000. I prodotti da inserire nelle categorie B1/C1 e B2/C2 sono gli articoli pubblicati su riviste ISI e non ISI rispettivamente “con l’indice di classificazione SCImago (SJR: Subject category – Quartile), per l’anno di pubblicazione dell’articolo, ove esistente“. Da sottolineare che nel bando il Quartile è solo per l’anno di pubblicazione dell’articolo.
2001. Il candidato “deve indicare per gli articoli delle categorie B1/C1 l’IF della rivista per l’anno di pubblicazione del prodotto o alla data di invio della domanda (fonte Google Scholar o ISI-Web of Science)“.

Poiché prima del 1999 la classificazione SCImago non era stata ancora introdotta e poiché il bando non richiede di indicare il Quartile ad altra data, rispetto a quella della pubblicazione (come fatto per l’Impact Factor), è chiaro che il Quartile SCImago non è un parametro idoneo per valutare gli articoli delle categorie B1/C1 e B2/C2 pubblicati prima del 1999. Ed è altrettanto chiaro che il Quartile SCImago non può essere utilizzato, in questo concorso, neanche per gli articoli pubblicati dal 1999 in poi, perché il suo utilizzo creerebbe situazioni di non omogeneità con la valutazione degli articoli pubblicati prima del 1999 da un gran numero di candidati.

Ed invece, contrariamente a qualsiasi logica, la maggior parte delle commissioni introduce il Quartile SCImago per la valutazione dei prodotti, anche con diverse modalità, in particolare:
– La IITET utilizza addirittura sempre e solo il Quartile SCImago per gli articoli delle categorie B1/C1 e B2/C2 pubblicati sia prima del 1999 che dopo;

– Le commissioni  SBA e STA utilizzano lo stesso approccio della commissione IITET, ma solo per gli articoli della categoria B1/C1;

– Le commissioni SCTM e SBM utilizzano ambedue i parametri, IF e quartile SCImago, per gli articoli della categoria B1/C1;

– Le commissioni SFTM e SU utilizzano giustamente solo l’IF per la valutazione dei prodotti per la categoria B1/C1.

La commissione IITET arriva addirittura a penalizzare gli incolpevoli candidati, che non hanno indicato il Quartile per le pubblicazioni antecedenti il 1999, rispetto a chi invece ha indicato per queste pubblicazioni un Quartile inventato.

Un esempio reale, fra tantissimi, può aiutare a capire i risultati del criterio adottato dalla commissione IITET: due candidati alla macroarea IITET presentano lo stesso articolo ISI, (del 1993) e dichiarano lo stesso ruolo (coautore). Un candidato indica anche un Quartile di fantasia; l’altro giustamente non riporta alcun Quartile (per il 1993 il Quartile non esisteva e quindi non poteva essere indicato). Sulla base della formula matematica elaborata da IITET (basata solo sul Quartile e numero di citazioni), il candidato che ha indicato il Quartile di fantasia ottiene 0,88 punti, quello che onestamente non ha indicato il Quartile ottiene 0,55 punti.

Ma anche l’utilizzo di ambedue i parametri, come fatto dalla commissione SCTM e SBM, porta ad una valutazione falsata: La commissione SCTM utilizza per la categoria B1/C1 l’Impact Factor fino al 1998 ed il Quartile dal 1999 in poi. Anche questo criterio, che all’apparenza sembrerebbe più corretto, produce valutazioni completamente scorrette e non omogenee dei prodotti sia dello stesso candidato, sia di candidati diversi.

Un esempio reale, fra tanti, può aiutare a capire i risultati del criterio adottato dalla commissione SCTM: un candidato pubblica con lo stesso ruolo (corresponding author) a dicembre 1998 e a gennaio 1999 due articoli sulla stessa rivista ISI (Journal of Polymer Science, IF = 2,2; I due articoli hanno lo stesso numero di citazioni/anno). Sulla base della formula matematica elaborata da SCTM, (basata solo su numero di citazioni/anno, ruolo del candidato e IF fino al 1998 e Quartile dal 1999 in poi) l’articolo pubblicato a gennaio 1999 riceve dalla commissione SCTM un punteggio del 20% più alto dell’articolo pubblicato a dicembre 1998.

Per articoli pubblicati su altre riviste, la differenza fra il  punteggio attribuito agli articoli pubblicati prima del 1999 e quelli pubblicati dal 1999 in poi, può essere anche più penalizzante (fino al 50%). Mai succede il contrario, essendo la classificazione SCImago generalmente più generosa di quella ISI per la macroarea SCTM.

Il criterio adottato dalla commissione SCTM crea, come si è già accennato, anche una disomogenietà di valutazione fra candidati. Infatti alcuni candidati più giovani, avendo la (quasi) totalità dei prodotti ISI pubblicati dopo il 1999, sono valutati esclusivamente con il Quartile SCImago, mentre i candidati più anziani, che presentano molte pubblicazioni antecedenti il 1999, sono valutati con due differenti criteri, e quindi una parte della loro produzione, quella precedente al 1999 riceve una pesante penalizzazione, che il bando non prevede.

Ricordiamo che stiamo parlando di in un concorso per l’avanzamento di carriera, dove contano solo i titoli e che inoltre il criterio adottato da SCTM, basato anche sul numero di citazione/anno, elimina la potenziale penalizzazione inversa; penalizzazione che avrebbero potuto subire le pubblicazioni (più recenti, quindi con meno citazioni) dei candidati più giovani, rispetto a quelle (più datate, quindi con più citazioni) dei candidati più anziani.

b) H-Index (Indice di Hirsch): L’H-Index è un parametro bibliometrico che quantifica la prolificità e l’impatto scientifico di un autore. Il bando riporta che il candidato è tenuto ad indicare l’H-Index alla data della domanda (fonte Google Scholar o ISI – Web of Science), “come ulteriore elemento di valutazione relativo alla valenza ed impatto a livello internazionale del candidato“.

Ecco come le varie commissioni hanno interpretato il bando per quanto riguarda l’H-Index:
– La commissione SBM stabilisce un bonus pari al 10% del punteggio per i candidati con un H-Index uguale o superiore a 30 per la fattispecie B. Nessun bonus per la fattispecie C.
– La commissione SCTM stabilisce una penalità da applicare alla fattispecie C per candidati con H-Index minore di 15. Penalità che aumenta al diminuire dell’H-Index
– La commissione STA prevede un punteggio ulteriore, per le fattispecie B e C, da assegnare (a discrezione della commissione) anche in base all’H-Index del candidato; Ma, poiché questo punteggio ulteriore (anche 4 punti) viene assegnato anche a candidati (vincitori) con H-Index = 15-17 molto basso per la macroarea, non è certamente l’H-Index il fattore che ha determinato l’assegnazione di questo premio.

– Le commissioni IITET e SU citano che si terrà conto dell’H-Index per le Fattispecie B e C: questo impegno non si concretizza assolutamente nel punteggio. Sono risultati vincitori addirittura candidati con H-Index 10/11 (IITET) e H-Index 5 (SU). Per IITET inoltre il punteggio assegnato ai prodotti B1/C1 e B2/C2, per la quasi totalità dei candidati, è esclusivamente il risultato di un formula matematica basata solo sui Quartili e sul numero di citazione e non sull’H-Index.
– Le commissioni SFTM e SBA citano che si terrà conto dell’H-Index del candidato per la fattispecie C1 (prodotti scelti/articoli ISI), ma non ci sono informazioni su come si sia concretizzato l’impegno formalizzato.

Perché queste grandi differenze non solo nei punteggi, ma anche nelle modalità dell’uso di questo parametro (bonus/penalità/punteggio ulteriore, fattispecie coinvolta, o addirittura completa ininfluenza)? Il bando non era unico?

c) Numero di citazioni: Il bando riporta che “il candidato per ciascuno dei lavori deve indicare dove possibile il numero di citazioni alla data di invio della domanda (fonte Google Scholar o ISI -Web of Science)” per i prodotti di ambedue le fattispecie B e C.  Anche in questo caso ogni commissione tiene conto di questo parametro bibliometrico in modo inispiegabilmente diverso, sebbene il bando sia unico.

Dai verbali risulta che:
– La commissione SBM non considera proprio il numero di citazioni nella valutazione delle pubblicazioni;

– La commissione SFTM non considera in maniera specifica il numero di citazioni: nei verbali si riporta solo che si valuterà l’impatto sulla comunità scientifica;

– Le commissioni SBA e STA citano che si terrà conto del numero di citazioni, ma subito dopo i verbali riportano che il punteggio viene calcolato utilizzando solo il Quartile SCImago;

– La commissione SU riporta che si terrà conto del numero di citazioni, ma non si capisce come questo impegno si concretizza;

– La commissione IITET elabora una formula che tiene conto del numero totale di citazioni dalla data della pubblicazione alla data della presentazione della domanda;

– La commissione SCTM elabora una formula che  tiene conto del rapporto fra il numero totale di citazioni diviso il numero di anni intercorso dalla data della pubblicazione alla data di presentazione della domanda.

d) Ruolo del candidato: Il bando riporta che “per ciascuno dei lavori il candidato deve indicare, il ruolo svolto dal candidato prescindendo dall’ordine alfabetico: autore principale, primo autore, ultimo autore e/o “corresponding author“, coautore alla pari“.

Tutte le commissioni (eccetto IITET e in alcuni casi SCTM) stabiliscono che al ruolo di corresponding author/autore principale di un articolo va riconosciuto un punteggio più alto (del 10 fino al 50%) rispetto al ruolo di coautore per ambedue le fattispecie.

Solo per IITET invece essere corresponding author/autore pricipale o coautore della pubblicazione porta allo stesso punteggio! Benché nel verbale sia riportato che la commissione prende atto che il bando ha previsto che i candidati indicassero il ruolo svolto, la commissione IITET non stabilisce alcun criterio che tenga conto del ruolo del candidato.

Forse è solo una coincidenza, ma la maggior parte dei candidati vincitori nella macroarea IITET presentano, sia nella fattispecie B che nella fattispecie C, numerosi prodotti dove il loro ruolo è di semplice coautore.

E’ interessante analizzare il comportamento contraddittorio della commissione SCTM. Per questa commissione il ruolo del candidato, mentre è tenuto in considerazione per tutti i prodotti delle categorie B1/C1 e B2/C2, all’improvviso non viene più considerato, proprio quando si tratta di assegnare punteggio extra ad uno dei 10 prodotti scelti, che secondo il bando può essere assegnato “per un solo prodotto fra quelli scelti dal candidato, ….fornendo motivazioni…laddove trattasi di prodotto eccezionale per originalità, impatto scientifico ed importanza del ruolo svolto dal candidato“. Quattro candidati in difformità con il bando ricevono questo premio (fino a 3,3 punti!), (che permette loro di vincere facile), senza alcuna espressa motivazione, per articoli di scarso impatto (anche solo 2 citazioni/anno) di cui sono semplici coautori.

2.2.2 Valutazione  Fattispecie B  (Elenco Prodotti-punti 25)

Le modalità di distribuzione del punteggio fra le 6 categorie della fattispecie B varia grandemente secondo la commissione:

• Le SU e SFTM non stabiliscono massimali per nessuna categoria. Per queste commissioni tutta la produzione scientifica viene valutata fino al limite imposto dal bando (25 punti);
• La SBA stabilisce, invece, massimali per tutte le categorie, distribuendo i 25 punti fra le 6 categorie di prodotti;
• Le altre commissioni stabiliscono dei massimali solo per alcune categorie: la commissione SCTM stabilisce massimali per la Categoria B3 (libri, etc), B5 (Composizioni, etc) e B6 (relazioni tecniche, etc.); le commissioni SBM e IITET stabiliscono massimali solo per la categoria B4 (Brevetti) e B6 (Relazioni tecniche, etc.) rispettivamente; infine la  (STA) lascia senza massimale solo la Categoria B1 (art. ISI).

Ad una analisi superficiale queste differenze sembrerebbero solo bizzarre e capricciose, ma analizzando più attentamente i massimali riservati alla categoria, e confrontandoli con il punteggio riservato ai prodotti della categoria stessa, le motivazioni diventano evidenti. Specialmente quando le commissioni, in maniera contraddittoria, stabiliscono un basso massimale per la categoria e, allo stesso tempo, un alto punteggio al singolo prodotto della categoria. Le commissioni ritengono, quindi, di particolare valore i prodotti della categoria, attribuendo a ciascuno di essi un alto punteggio, ma, con il basso massimale, stabiliscono che solo pochissimi di questi prodotti possono contribuire al punteggio finale! E questo è il caso delle commissioni STA e SBM e SCTM. Le commissione STA e SBM per la Categoria B2 (articoli Non ISI) stabiliscono bassi massimali (1 e 2 punti rispettivamente) ed alto punteggio per ciascun prodotto (0,1 punto per ambedue le commissioni): quindi per i candidati STA bastano 10 articoli NON ISI per saturare la categoria, tutta la restante produzione scientifica in quella categoria è carta straccia.
La commissione SCTM impone un massimale di 3 punti alla Categoria B3 (Libri/capitoli di libri etc) e stabilisce per alcuni prodotti della categoria un punteggio altissimo, 1,5 punto per libro e 0,5 punto per capitolo di libro/monografia (punteggio superiore del 30% a quello assegnato agli articoli ISI, 0,35 punti). Quindi per i candidati SCTM bastano solo 2 libri o 6 capitoli di libri per saturare la categoria. Tutta la rimanente produzione nella categoria, inclusa altri libri e capitoli di libri, viene anche qui cestinata.

Un esempio reale può dare la dimensione delle conseguenze di questi criteri: al concorso SCTM un candidato inserisce alla Categoria B3 ventuno (21) capitoli di libri/monografie + decine di atti di congresso con ISBN. La commissione sembra apprezzare queste pubblicazioni attribuendo 12,4 punti. A questo punto interviene il basso massimale imposto (3 punti) e per magia 15 capitoli di libri e tutti gli atti di convegno è come se non fossero mai stati pubblicati! Altri candidati presentano pochissini prodotti in questa categoria e tutta la loro produzione è utile per il punteggio finale. Molti candidati vincitori per STA, SBM, e SCTM hanno tratto vantaggio da questo meccanismo, che ha contemporaneamente premiato alcuni e punito altri.

Ma alcune commissioni si sono distinte anche per altre assurdità nella valutazione dei nostri prodotti. Vediamo in dettaglio le più eclatanti:

• Valutazioni articoli ISI e articoli Non ISI: La commissione IITET assegna ai prodotti ISI e non ISI, lo stesso valore: per questa commissione un articolo pubblicato su Nature vale lo stesso di un articolo pubblicato su una rivista italiana on line! Nessun’altra commissione arriva a tanto! Infatti per gli articoli non ISI, tutte le altre commissioni, assegnano a ciascun prodotto un punteggio più basso, anche di 40 volte, di quello assegnato agli articoli ISI;
• Valutazione relazioni tecniche (Categoria B6): Mentre le commissioni SFTM e SBA non valutano le relazioni tecniche, ritenendole di scarsa rilevanza per una posizione di Dirigente di Ricerca, è sorprendente la valutazione delle relazioni tecniche da parte della commissione SCTM. Questa commissione attribuisce 0,1 punto a ogni relazione presentata, anche per esempio a relazioni per il rinnovo della borsa di studio del candidato, quando non era neanche dipendente. Per la stessa commissione un articolo pubblicato su una rivista censita da SCImago (non ISI) vale 0,02 punti, 5 volte in meno della relazione per il rinnovo della borsa di studio. Alchimia della Chimica!

2.2.3 Fattispecie C (Prodotti Scelti – punti 30)

Per l’attribuzione del punteggio ai prodotti scelti (Fattispecie C), oltre all’uso stravagante e a volte  sbagliato dei parametri bibliometrici per gli articoli ISI e non ISI, già visto nei  precedenti paragrafi, ogni commissione considera valutabili o meno categorie diverse:

• Le commissioni SBM e SBA prendono in considerazioni solo i prodotti alle categorie C1(Art. ISI), C2 (Art. Non ISI) , C4 (Brevetti), tutte le altre pubblicazioni sono considerate non rilevanti;
• La commissione STA prende praticamente in considerazione solo gli articoli delle categorie C1 e C2;
• Le commissioni SFTM , STCM e IITET prendono in considerazione tutte le categorie: SFTM indica che analizzerà anche nel merito tutti i prodotti. Come abbia fatto a fare ciò resta un mistero, considerato il tempo a disposizione durante le riunioni collegiali, per ciascun prodotto (circa un minuto, forse solo il tempo di leggere il titolo e di segnare il punteggio sulla scheda). Neanche Mennea (Bolt per i più giovani)!
• La commissione IITET, anche per i prodotti della fattispecie C, valuta gli articoli ISI e non ISI alla stessa maniera, usando una formula matematica basata solo sul quartile e numero di citazioni. Questa formula è applicata a tutti i prodotti dei candidati vincitori e della quasi totalità dei candidati. Ma non di tutti i candidati. Infatti a comando la formula viene ritenuta inadeguata per la valutazione. La commissione IITET dovrebbe far pace con se stessa: non può stabilire una formula per la valutazione, e nello stesso tempo ritenerla inadeguata per la valutazione! Non si capisce perchè la commissione non abbia elaborato una formula valida sempre e per tutti i candidati.

Bisogna anche sottolineare in questa Fattispecie l’attribuzione di punti extra a prodotti di scarso impatto scientifico (basso IF e numero di citazioni) con ruolo marginale del candidato (coautore) e che le Commissioni non hanno mai motivato, in completa difformità dal bando! ( cifr. Bando: La Commissione, per un solo prodotto fra quelli scelti dal candidato, può derogare dal limite massimo di 3 punti sino al massimo di 6 punti, laddove trattasi di prodotto eccezionale per originalità, impatto scientifico ed importanza del ruolo svolto dal candidato, fornendo motivazioni….).

2.3 Verifica dei CV dei Candidati

Ma oltre ai criteri e alla loro applicazione, c’è un altro punto  da sottolineare: la verifica dei CV dei candidati (vincitori). A chi spetta questa verifica? Alla Commissione? All’Amministrazione?
Questo è un punto particolarmente delicato, perché chiama in causa non solo le Commissioni e l’Amministrazione, ma direttamente quei candidati (e purtroppo non sono pochi), che non hanno compilato la domanda con oculatezza e onestà e sono stati scorretti nei confronti dell’Ente e dei loro stessi colleghi. Il bando riporta che le dichiarazioni mendaci  o la falsità degli atti, richiamate dall’art. 76 del D.P.R.  445/2000, sono punite ai sensi del codice penale e delle leggi speciali in materia. Il  CNR effettua il controllo sulla veridicità delle dichiarazioni sostitutive , ai sensi dell’art.  71 e per gli effetti degli artt. 75 e 76 del D.P.R. 445 del 28/12/2000 e successive modifiche e integrazioni.

In più macroaree, infatti, ci sono casi, dove le dichiarazioni dei candidati su ruoli svolti e titoli posseduti non riflettono i ruoli effettivamente svolti e i titoli effettivamente posseduti. E grazie a titoli presenti solo nel CV, ma mai posseduti, e alla superficialità della valutazione fatta dalle commissioni, questi candidati hanno scavalcato in graduatoria chi invece ha compilato la domanda con correttezza.

Le Commissioni, così come confermato in alcune relazioni sottomesse al TAR, hanno sempre attribuito i punteggi sulla base delle dichiarazioni riportate nel CV, dichiarando che non era loro compito verificare le dichiarazioni dei candidati. Certamente in alcuni casi, nell’attribuire il punteggio, le Commissioni sono state ingannate dalle dichiarazioni non corrispondenti alla realtà, ma in altri casi l’errata valutazione è da attribuire anche alla superficialità nella valutazione. Infatti, spesso le Commissioni hanno giudicato il titolo/prodotto basandosi sul primo rigo della descrizione, dove era indicato il ruolo, e non da tutta la descrizione del titolo, da dove a volte era possibile risalire al ruolo effettivamente svolto, completamente diverso da quello dichiarato al primo rigo, (tipo: responsabile di progetto primo rigo- partecipante progetto nella descrizione dell’attività; oppure Programme Chair di Convegno invece di Moderatore di sessione, etc. ).

Se anche si ammette la buona fede, non solo resta il fatto singolare e preoccupante che un candidato a Dirigente di Ricerca possa avere difficoltà nel compilare correttamente una banale domanda di partecipazione a una selezione pubblica e addirittura arriva a confondere il ruolo di responsabile con quello di partecipante al progetto o il ruolo di programme chair con quello di moderatore di una sessione, ma resta principalmente il fatto che il punteggio assegnato è illegittimo e deve essere detratto. Ma anche ammettere la buona fede spesso è molto difficile: come per esempio per alcune macroaree, dove candidati all’epoca ancora borsisti/dottorandi hanno dichiarato di essere coordinatori/principal investigator di progetti europei, mentre i veri coordinatori erano altri come facilmente verificabile dal sito Cordis e dagli stessi CV dei candidati disponibili in rete.
In alcuni casi l’amministrazione è stata informata di queste errate valutazioni con richieste di verifica. L’amministrazione pur ammettendo in alcuni casi una discrasia tra quanto dichiarato e quanto effettivamente è, non ha adottato le doverose correzioni in autotutela, con la  decurtazione degli indebiti punteggi assegnati. L’amministrazione quindi ha fatto  salva la posizione di questi candidati e incredibilmente non ha salvaguardato le posizioni di quanti hanno compilato la domanda con assoluta onestà.

3 Conclusioni

A inizio 2018 stiamo ancora parlando di concorsi annualità 2009 banditi nel 2013. Solo al CNR e in Italia!

Dall’analisi si possono trarre le seguenti conclusioni:

1. Essendo il bando unico, i criteri stabiliti ed i punteggi attribuiti dalle 7 commissioni per le stessi ruoli svolti e gli stessi titoli posseduti sono molto diversi: queste diversità non sembrano giustificabili con le specificità delle macroaree.  In particolare da segnalare un numero considerevole di  titoli valutabili per alcune commissioni sono risultati NV (Non valutabili perchè non presenti in nessuna fattispecie del bando) per altre commissioni, (come membro di consiglio scientifico di istituto CNR, tutore di personale in formazione, responsabile di Moduli e Commesse CNR, Membro di commissioni valutazione progetti, Referee di articoli, Programme chair, etc, tutti titoli considerati valutabili da alcune commissioni e non da altre). Non si capisce come questi titoli sono presenti nelle fattispecie del bando quando giudica una commissione mentre scompaiono dal bando quando giudica un’altra commissione.
2. I criteri adottati dalle 7 commissioni sono a volte in contraddizione gli uni con gli altri per la stessa macroarea o per macroaree diverse,  in difformità con il bando o addirittura errati.
3. Le commissioni stabiliscono criteri totalmente diversi per quanto riguarda, ad esempio la valutazione o meno di responsabilità di progetti mancanti dell’indicazione dell’ammontare del finanziamento o della durata dell’attività, o di titoli inseriti in categorie diverse da quelle previste, che vengono materialmente spostati nella categoria giusta da SFTM, ma non valutati da tutte le altre. Modalità di valutazione  che nulla hanno a che vedere con la specificità della macroarea.
4. Se non fosse purtroppo tutto vero, non si immaginerebbe mai che la maggior parte delle commissioni, composte nella quasi totalità da professori universitari, potessero arrivare a tener conto dei parametri bibliometrici in maniera completamente opposta a quella adottata in tutte le valutazione delle pubblicazioni scientifiche del mondo.
5. Sembra che vi sia stata una mancanza di controllo, di coordinamento e di verifica da parte dell’amministrazione e dell’ufficio proposto (Ufficio Concorsi e Borse di Studio),  che non sembra abbia fornito linee guida. L’amministrazione ha permesso a ciascuna commissione di agire in modo indipendente, di arrivare addirittura a non rispettare il bando, di stabilire criteri sbagliati e di assegnare punteggi superiori agli stessi limiti imposti: Inoltre l’amministrazione non ha  uniformato  la valutazione e ha lasciato  alla singola commissione di decidere addirittura sulle modalità di valutazione, (vedi punto 3).
6. Non è ammissibile che candidati che hanno dichiarato ruoli non svolti e titoli non posseduti (in buona o cattiva fede) siano adesso Dirigenti di Ricerca CNR, perché non è prevista di norma al CNR la verifica dei curricula presentati.
7. Noi che lavoriamo nel campo della ricerca scientifica abbiamo imparato che No experiment is ever a complete failure, as it can always serve as a negative example (a patto di non perseverare negli errori), quindi cerchiamo di utilizzare l’insegnamento che ci viene da questa Complete Failure per aprire una discussione e mettere a punto strategie condivise da sottoporre ai vertici dell’Ente per il diritto ad una valutazione giusta e trasparente dei nostri CV. Queste strategie potrebbero contribuire ad evitare il ripetersi di valutazione assurde, come quelle sperimentate in questi ultimi concorsi da parte di commissioni, che hanno quasi sempre dimostrato, nella più benevola delle ipotesi, di non essere all’altezza del compito assegnato. Come già le prime pronunce del TAR stanno mettendo in luce, con sentenze che accogliendo totalmente o parzialmente i ricorsi presentati giudicano negativamente il lavoro delle commissioni. Bandi chiari, criteri giusti ed equi, valutazioni trasparenti e senza discriminazioni, verifica dei CV prima della nomina dei vincitori, sono un diritto di ogni ricercatore e farebbero anche diminuire a livelli fisiologici il numero particolarmente alto di ricorsi, gravosi, sotto tutti i punti di vista, sia per i ricercatori che per l’amministrazione.

Riferimenti

1.http://www.urp.cnr.it/copertine/formazione/form_concorsi/concorsi2013/364-172art15_bando_access.pdf

2. https://ilnostrocnr.it/2017/09/04/concorso-dirigente-di-ricerca-criteri-stabiliti/ –

3.https://www.cineca.it/sites/default/files/Modulo%2520II-PaolaGalimberti.pdf

1.http://www.urp.cnr.it/copertine/formazione/form_concorsi/concorsi2013/364-172art15_bando_access.pdf

2. https://ilnostrocnr.it/2017/09/04/concorso-dirigente-di-ricerca-criteri-stabiliti/ –

3.https://www.cineca.it/sites/default/files/Modulo%2520II-PaolaGalimberti.pdf