Segnaliamo il documento CRUI sui progetti PRIN/FIRB.

 

 

Premessa

Il Gruppo di Lavoro “Valutazione della Ricerca”, recentemente formato nell’ambito della Commissione Ricerca della CRUI, si è organizzato in sottogruppi per meglio affrontare i differenti aspetti della problematica della “valutazione”, che tanto stanno impegnando le Università in questo momento storico. Uno di questi sottogruppi si è incaricato di studiare ex-post il processo di valutazione PRIN/FIRB, ed in particolare la “prima fase” (la selezione da parte degli Atenei dei progetti da sottoporre al MIUR per la valutazione finale).

Il presente documento riporta una analisi preliminare, che è stata condivisa con tutte le Università, mettendo in evidenza problematiche e criticità riscontrate da chi, negli Atenei, ha gestito la prima fase di valutazione. Il documento vuole anche formulare dei suggerimenti sulla seconda fase di valutazione e suggerire alcune ipotesi su una eventuale riproposizione dei bandi PRIN e FIRB nei prossimi anni.

Il documento è stato condiviso con gli Atenei italiani associati alla CRUI, che hanno evidenziato ulteriori aspetti, per i quali sono previsti approfondimenti nei prossimi mesi da parte del Gruppo di lavoro.

Introduzione

Le Università, rendendosi conto della dimensione del problema collegato alla valutazione di un grande numero di progetti in un arco limitato di tempo, hanno compreso le motivazioni dello sforzo richiesto dal Ministero, in un momento di oggettiva difficoltà per il Paese, per fare affluire rapidamente ai ricercatori i finanziamenti ministeriali per la ricerca.

In ogni caso, esse auspicano che non si ripeta in futuro un meccanismo a due fasi, a meno di introdurre significativi cambiamenti sia nel modo in cui i progetti di ricerca PRIN/FIRB saranno presentati che nelle procedure di valutazione.

In questa ottica le università auspicano una profonda revisione dei criteri che regolano la progettazione del bando e l’attribuzione dei finanziamenti. Sarebbero anche ipotizzabili meccanismi di maggiore responsabilizzazione, che potrebbero contemplare modalità di gestione autonoma di risorse per la ricerca di base da parte di ciascun Ateneo. Per l’immediato, essendo la procedura ormai conclusa, si formulano alcune osservazioni che vogliono essere suggerimento per un futuro sostanziale cambiamento. Molti Atenei hanno evidenziato serie criticità relative alla fase di preselezione. In particolare due sono state le criticità principali:

 

Tempi troppo stretti

Il tempo avuto a disposizione non ha permesso l’istituzione di sessioni comuni di verifica dei report dei revisori, e il sistema informativo (per chi lo ha utilizzato) ha presentato molte criticità che hanno ulteriormente rallentato il processo. In estrema sintesi si sono verificati i seguenti problemi

– Richieste troppo gravose ai revisori con progetti a volte di diverse decine quando non centinaia di pagine. Sarebbe stata necessaria l’elaborazione di schede di progetto più sintetiche;

– Poca chiarezza nel carico di lavoro atteso dai revisori;

– Comunicazioni spesso viste come SPAM dai revisori;

– Impossibilità di contattare simultaneamente più di due revisori (questo solo per chi ha adottato la procedura CINECA).

 

Eterogeneità delle procedure

Per quanto riguarda la seconda fase, si osserva che essendo stata lasciata alle singole Università la scelta della procedure con cui operare la preselezione, si è realizzato – come era facilmente prevedibile – un comportamento eterogeneo dei diversi Atenei, che ha generato la netta frattura tra le due fasi.

Ogni Ateneo ha infatti utilizzato procedure differenti, sia nella fase di revisione (revisori nazionali vs internazionali, scelta casuale oppure mirata dei revisori, uso più o meno stretto delle parole chiave, dei SSD, dei panel ERC) che nella fase di comunicazione dei risultati (es. alcuni Atenei hanno diffuso tutti i dati, altri solo i giudizi).

Ipotesi e proposte per PROSSIMI bandi PRIN e FIRB

1. Si auspica che venga abolito il ricorso alle “quote” assegnate a ciascuna università e che la valutazione sia basata esclusivamente sulla qualità dei progetti, senza che intervengano altre considerazioni. Trattandosi di un argomento delicato, sarebbero necessari approfondimenti nelle sedi opportune.

 

2. Il cofinanziamento dovrebbe essere eliminato per i FIRB.

 

3. I progetti (PRIN e FIRB) dovrebbero essere compilati solo in lingua Inglese, per le discipline che usano principalmente questa lingua a livello internazionale.

 

4. I Progetti PRIN, anche se basati su un network, dovrebbero consistere di un unico file del tipo “Modello A” per:

 

a. rendere più facilmente leggibile il progetto. Per l’indicazione del ruolo dei partner sarebbe sufficiente una scheda in cui si indichino competenze e funzionalità nel team del tipo di quella che viene utilizzata nei progetti Cooperation del Settimo Programma Quadro dell’UE a due fasi (semplice tabella);

b. renderne così possibile un’efficace valutazione anche da parte di valutatori stranieri che sono poco abituati alla lettura di progetti presentati in maniera così macchinosa.

 

5. Il tempo a disposizione per la costruzione dei progetti e della presentazione delle domande dovrebbe essere notevolmente superiore a quello concesso nel caso attuale.

 

6. Si dovrebbero utilizzare (a meno di specifiche e motivate criticità in alcune aree) esclusivamente revisori stranieri o comunque di livello internazionale, evitando possibili conflitti di interesse e, data la estrema eterogeneità dei progetti presentati, ponendo particolare attenzione alle necessarie competenze dei referees (con validazione, bibliometrica ove presente, da parte di autorevoli società scientifiche, se assente).

 

7. La banca dati dei revisori dovrebbe essere aggiornata, tenendo anche in considerazione quelle già esistenti a livello europeo (es. esperti valutatori 7° PQ1), sia in quantità (pochi i nomi degli stranieri presenti), sia in qualità (verifica della validità scientifica dei revisori), sia in termini di informazione contenuta (migliore gestione delle parole chiave) e validata sulla base del superamento di soglie minime di attività, ove possibile mutuando criteri nazionali (es. ANVUR) per evitare ulteriori aggravi di lavoro.

 

Rispetto a questo punto, si sottolinea che gli Atenei e la CRUI si impegnano sin da ora ad una fattiva collaborazione per la costruzione e l’aggiornamento di una banca dati di revisori internazionali,

8. È fondamentale che le valutazioni siano utilizzate da un panel in una study section ai fini della costruzione di una graduatoria finale. Questo procedura sarebbe effettivamente comparativa e ridurrebbe le disparità nei parametri di giudizio tra revisori. Le study section in presenza, utilizzate con successo in diversi paesi alla fine del processo di revisione, devono diventare il controllo di qualità finale. Le study section, come elemento terminale del processo di selezione, dovrebbero essere previste obbligatoriamente e opportunamente regolate. A tale scopo il CINECA potrebbe sviluppare gli adeguati strumenti a supporto dei lavori preparatori per il loro svolgimento.

 

30 ottobre 2012

*******************

Il documento orginale può essere scaricato qui: CRUI-Documento FIRB_PRIN_30ottobre

Send to Kindle

7 Commenti

  1. Proporrei anche di utilizzare più Comitati di Selezione rappresentativi dei diversi “macrosettori” (omogenei per fini e per metodo) contenuti all’interno di ciascun settore ERC in modo da evitare di penalizzare progetti meritevoli in discipine meno “nobili”.

    Trovo inoltre estremamente sbagliato considerare il FIRB alla stregua di un ERC Starting Grant all’italiana: la maggior parte dei ricercatori italiani (soprattutto nelle discipline scientifiche/sperimentali) non potranno mai essere logisticamente indipendenti dall’ordinario di riferimento e il FIRB rappresenta un bottino talmente importante da trasformarsi in un boomerang per chi cerca indipendenza e meritocrazia. Utilizzando dei criteri piú restrittivi (NO pubblicazione con il PhD supervisor, NO progetti multipartners ma limitate possibilità di ricorrere a contractors etc) e diminuendo notevolmente il finanziamento max, sarebbe sicuramente possibile finanziare l’indipendenza di molti piú giovani con minori tentazioni da parte di chi non si sa accontentare di pochi spiccioli.

    • Caro Paolo,
      Perfetta sintonia … sarà lo stesso nome … stesso pensiero.
      Purtroppo il PRIN appena uscito va in senso contrario … pochi … pochissimi gruppi finanziati … lor signori finzieranno le loro eccellenze, vere o presunte.
      Oggi l’unevirsità italiano ha subito un colpo mortale! Son dei maramaldi!

  2. Attenti! La CRUI è un mostro a due teste. E’ stata una dei principali sostenitori della riforma Gelmini e degli interessi corporativi dei rettori. In realtà è ancora sostanzialmente un’organizzazione privata. Il lupo perde il pelo ma non ilvizio, e penso bisogna restare molto diffidenti…

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.