Una delle novità più significative del bando VQR 2011-2014 rispetto al bando 2004-2010 riguarda i livelli di qualità in cui devono essere collocate le pubblicazioni scientifiche.

In particolare, secondo il bando VQR 2004-2010 i livelli di qualità erano:

Eccellente (peso 1): pubblicazioni che si collocano nel 20% superiore della “scala di valore condivisa dalla comunità scientifica internazionale”

Buono (peso 0,8): pubblicazioni che si collocano nel segmento 20-40%

Accettabile (peso 0,5): pubblicazioni che si collocano nel segmento 40-50%

Limitato (peso 0): pubblicazioni che si collocano nel 50% inferiore

Non valutabile (peso -1): pubblicazioni appartenenti a tipologie escluse dall’esercizio di valutazione

Per ciascun prodotto mancante rispetto al numero di pubblicazioni atteso era assegnato un peso negativo (- 0,5).

Secondo il bando VQR 2011-2014, le pubblicazioni saranno attribuite ai seguenti livelli:

Eccellente (peso 1): pubblicazioni che si collocano nel primo 10% della distribuzione della produzione scientifica internazionale dell’area cui appartengono

Elevato (peso 0,7): pubblicazioni che si collocano nel segmento 10-30% della distribuzione della produzione scientifica internazionale dell’area cui appartengono

Discreto (peso 0,4): pubblicazioni che si collocano nel segmento 30-50% della distribuzione della produzione scientifica internazionale dell’area cui appartengono

Accettabile (peso 0,1): pubblicazioni che si collocano nel segmento 50-80% della distribuzione della produzione scientifica internazionale dell’area cui appartengono

Limitato (peso 0): pubblicazioni che si collocano nel segmento 80%-100% della distribuzione della produzione scientifica internazionale dell’area cui appartengono

Non valutabile (peso 0): pubblicazioni appartenenti a tipologie escluse dall’esercizio di valutazione; sono incluse in questa categoria anche le pubblicazioni mancanti rispetto al numero atteso

La novità più vistosa introdotta dal nuovo bando riguarda le pubblicazioni mancanti rispetto al numero atteso. Infatti, mentre secondo il vecchio bando VQR ai prodotti mancanti era assegnato un peso negativo (- 0,5), nel nuovo bando essi sono equiparati ai prodotti limitati (peso 0). In questo modo, un ricercatore completamente inattivo è completamente equiparato a un ricercatore che presenti due prodotti limitati.

Innanzitutto, e piuttosto evidentemente, questo invita alla cautela nel momento in cui si vogliano comparare i risultati dei due esercizi di valutazione.

Si deve notare, infatti, che la presenza di ricercatori inattivi non è omogeneamente distribuita a livello nazionale, come è evidente se si esaminano i rapporti di area relativi alla VQR 2004-2010.

Ad esempio, nell’area 12 (Scienze giuridiche), anche restando solo alle grandi strutture, i prodotti penalizzati (costituiti quasi interamente dai prodotti mancanti) variavano dall’1,89 % di Firenze al 20,57 % di Napoli Federico II. Nell’area 6 (Scienze mediche), sempre fra le grandi strutture, si variava dal 5,64% di Padova al 23,34 % di Catania. Ma anche in un’area decisamente più “compatta” come la 10 (Scienze dell’antichità, filologico-letterarie e storico-artistiche), e ancora restando alle grandi strutture, si passa dallo 0,96% di Salerno al 9,74 % di Napoli Federico II.

Si deve dunque sottolineare che i risultati del nuovo esercizio di valutazione dipenderanno anche dal cambiamento delle regole del gioco (ad esempio, un Dipartimento che aveva e continua ad avere uno specifico problema legato al numero particolarmente alto di ricercatori inattivi potrebbe migliorare i propri risultati, rispetto agli altri Dipartimenti dell’area, semplicemente perché il peso negativo dei prodotti mancanti è stato azzerato).

Al di là dei problemi di comparabilità con la valutazione 2004-2010, considerare la situazione di un ricercatore che presenta due prodotti limitati completamente identica a quella di un ricercatore completamente inattivo (entrambi contribuiscono con 0 alla valutazione del proprio Dipartimento) pone evidenti problemi di ragionevolezza.

Si noti che lo stesso bando considera una serie di pubblicazioni non valutabili ai fini della VQR (manuali e testi meramente didattici; recensioni di un singolo lavoro, prive di analisi critica della letteratura sull’argomento; brevi voci enciclopediche o di dizionario senza carattere di originalità; brevi note a sentenza di tipo redazionale senza carattere di originalità o meramente ricognitive; brevi schede di catalogo prive di contributi scientifici autonomi). Le pubblicazioni considerate come limitate sono dunque, per quanto modeste, autentiche pubblicazioni scientifiche, che nel nuovo esercizio VQR sono considerate completamente irrilevanti.

Una delle spiegazioni ipotizzate da alcuni per la novità introdotta dal nuovo bando è l’esigenza di non premiare possibili comportamenti strategici, consistenti, in sostanza, nell’aggiungere a qualche prodotto la firma dei ricercatori inattivi, senza alcun loro reale coinvolgimento.

Ora, se questa è stata davvero una delle ragioni per l’equiparazione dei prodotti limitati a quelli mancanti, si deve notare innanzitutto che si tratta di una reazione di limitata efficacia. Soprattutto nelle comunità scientifiche in cui le firme sotto i prodotti della ricerca sono numerose, infatti, non c’è alcuna particolare ragione per pensare che i prodotti “regalati” ai ricercatori inattivi debbano essere necessariamente prodotti limitati.

D’altra parte, insieme ai comportamenti strategici “viziosi”, la novità introdotta dal bando VQR 2011-2014 ha neutralizzato anche i comportamenti strategici “virtuosi”: cioè, semplicemente, la spinta su qualche ricercatore inattivo a tornare a scrivere, producendo magari, almeno in una fase iniziale, prodotti modesti. In questo modo si vanifica anche uno sforzo onesto di migliorarsi, sulla base dell’aspettativa di una certa continuità nelle regole utilizzate per la valutazione.

Le novità introdotte dal nuovo bando sono ancora più evidenti se si prendono in considerazione anche i pesi attribuiti alle pubblicazioni dei livelli di merito più elevati.

Equipariamo, per il momento, per semplicità, i “vecchi” prodotti eccellenti ai “nuovi” prodotti eccellenti; i “vecchi” prodotti buoni ai “nuovi” prodotti di livello elevato; i “vecchi” prodotti accettabili ai “nuovi” prodotti discreti.

Ebbene, nella VQR 2004-2010 la differenza tra un prodotto eccellente (peso 1) e un prodotto buono (peso 0,8) era di 0,2; la differenza tra un prodotto accettabile (peso 0,5) e un prodotto mancante (peso – 0,5) era di 1.

Nella VQR 2011-2014 la differenza tra un prodotto eccellente (peso 1) e un prodotto di livello elevato (peso 0,7) è di 0,3; la differenza tra un prodotto discreto (peso 0,4) e un prodotto mancante (peso 0) è di 0,4.

Secondo il nuovo bando VQR, dunque, presentare un prodotto eccellente in luogo di un prodotto elevato è quasi altrettanto premiante che presentare un prodotto discreto invece che non presentare un prodotto. La differenza rispetto al bando VQR 2004-2010 è evidente.

In realtà, se si prendono alla lettera le indicazioni fornite dal bando (il che, nelle aree non bibliometriche, non potrà avvenire che in modo approssimativo), la differenza è ancora maggiore. Infatti un “nuovo” prodotto di livello elevato avrebbe ben potuto, nella valutazione 2004-2010, essere considerato come eccellente (laddove si collocasse nel segmento 10-20% della produzione scientifica); e d’altronde un “nuovo” prodotto discreto avrebbe ben potuto, nella valutazione 2004-2010, essere considerato come buono (laddove si collocasse nel segmento 30-40% della produzione scientifica). Dunque sarebbe più preciso affermare che, dati due prodotti che oggi siano considerati come rispettivamente eccellente e di livello elevato (differenza 0,3), nella valutazione 2004-2010 la differenza sarebbe stata variabile tra 0 e 0,2; e dato un prodotto che oggi sia considerato discreto, la differenza rispetto a un prodotto mancante (che oggi è 0,4) nella valutazione 2004-2010 sarebbe stata variabile tra 1 e 1,3.

scale-310471_640Restando pure alla comparazione semplificata tra i due bandi, la differenza è notevole. Dato un set di 10 prodotti della ricerca attesi, presentare 5 prodotti buoni e 5 prodotti accettabili era, nella valutazione 2004-2010, perfettamente equivalente a presentare 5 prodotti eccellenti e 4 prodotti accettabili, con un prodotto mancante. Nella valutazione 2011-2014, invece, presentare 5 prodotti eccellenti e 4 prodotti discreti, con un prodotto mancante (totale 6,6), è nettamente preferibile a presentare 5 prodotti di livello elevato e 5 prodotti di livello discreto (totale 5,5).

Le conseguenze a livello di Dipartimento sono evidenti. Nella valutazione 2011-2014, se un Dipartimento presentasse metà dei prodotti attesi eccellenti, con metà dei prodotti mancanti (media 0,5), farebbe meglio di un Dipartimento che presentasse un terzo di prodotti di livello elevato, un terzo di prodotti discreti, un terzo di prodotti accettabili, senza alcun prodotto mancante (media 0,4). Confrontando due situazioni almeno rudimentalmente corrispondenti nella valutazione 2004-2010, il risultato è opposto: un Dipartimento che avesse presentato metà dei prodotti attesi eccellenti, con metà dei prodotti mancanti (media 0,25), avrebbe fatto peggio di un Dipartimento che avesse presentato un terzo di prodotti buoni, un terzo di prodotti accettabili, un terzo di prodotti limitati, senza alcun prodotto mancante (media 0,43).

Dovrebbe essere ormai evidente come il bando VQR 2011-2014, con una svolta radicale rispetto a quello 2004-2010, sia ispirato ad un approccio che considera molto più importanti le eccellenze rispetto ad una comunità scientifica che sia tutta produttiva, su livelli discreti o accettabili.

Questo approccio ha difensori espliciti, e non è questa la sede per discuterne i meriti e i difetti. Mi limito ad evidenziare i rischi legati alla acritica estensione di un modello, che può avere una ragion d’essere in certi contesti, a contesti completamente diversi. Può darsi, infatti, che nell’ambito di alcune aree scientifiche la presenza di un certo numero di ricercatori di punta possa portare lustro ed importanti finanziamenti ad un Dipartimento, e facilitare, nel tempo, la formazione di gruppi di ricerca di elevato livello; e può darsi che in quegli stessi contesti i ricercatori inattivi possano essere relegati a svolgere una didattica di base che con la ricerca ha assai poco a che fare. Il calcolo dei costi e dei benefici è però radicalmente diverso quando si pensa di esportare lo stesso modello in aree scientifiche (come buona parte delle aree umanistiche) in cui ricerca e didattica sono più strettamente intrecciate, e in cui d’altra parte, per la natura individuale della ricerca, l’effetto di traino della presenza di alcuni ricercatori di punta è inevitabilmente più limitato.

Se comunque questo è il (discutibile) approccio indubbiamente sotteso alle modifiche introdotte nella valutazione dei prodotti della ricerca, rispetto alle aree non bibliometriche è difficile non sottolineare il rischio di effetti distorsivi.

L’onestà intellettuale impone, infatti, di riconoscere che nelle aree non bibliometriche la classificazione di un prodotto come eccellente piuttosto che di livello elevato, o come discreto piuttosto che come accettabile, lascia margini di discrezionalità così ampi da rendere, nella gran parte dei casi, sostanzialmente impossibile una previsione. Proprio per questo mantenere una prima importante distinzione tra i ricercatori inattivi e chi comunque ha prodotti scientifici da sottoporre alla valutazione avrebbe consentito di ottenere risultati più agganciati ad elementi oggettivi e maggiormente prevedibili.

Naturalmente si potrà obiettare che gli effetti distorsivi saranno neutralizzati dai grandi numeri.

Tuttavia, innanzitutto si deve notare che, se questo può essere vero a livello degli Atenei (dove si confrontano migliaia di prodotti), è assai meno vero a livello dei Dipartimenti (e dunque su insiemi di prodotti che possono anche essere inferiori a cento); e la VQR produrrà una valutazione di merito anche dei singoli Dipartimenti.

In secondo luogo, non si deve necessariamente pensare che le distorsioni saranno distribuite in modo casuale, sulla base dei gusti personali o addirittura dell’umore dei revisori. Il mondo della ricerca (soprattutto, anche se non esclusivamente, nelle aree non bibliometriche) è fatto anche di approcci eterodossi, di sotto-comunità scientifiche che hanno abitudini di pubblicazione significativamente diverse da quelle prevalenti nel loro settore; di riviste rispettabili che sono state escluse dalla fascia A tra molte polemiche. In questo contesto mantenere una importante differenza tra chi è inattivo e chi comunque ha una produzione scientifica avrebbe certamente aumentato la corrispondenza della valutazione a elementi oggettivi e dunque la credibilità per l’intera comunità scientifica dei suoi risultati.

Send to Kindle

10 Commenti

  1. D’accordo su quasi tutto.
    Ma non mi stancherei di ripetere che si mettono a punto ora le regole per ‘valutare’ quello che è stato prodotto anni fa. Come se oggi stabilissimo le regole per decidere a chi assegnare lo scudetto, p. es., 2011/12. A me viene da sorridere, diciamo così: ai miei tempi non si faceva così nemmeno per i giochini per strada con il gessetto o con le biglie.
    In secondo luogo, non sono sicuro di preferire all’inattivo che non produce perchè non ha nulla di nuovo da dire l’attivo che produce solo per non sentirsi dire che è inattivo. Il primo almeno non riempie il mondo di lavori che non interesseranno a nessuno. Preferisco, inoltre, l’inattivo che è un buon docente al falso attivo che non è nemmeno quello. Preferisco, infine, quello che produce un solo lavoro di valore e poi più nulla a quello che produce con regolarità lavori pensati solo in funzione della ‘valutazione’.
    E’ tutto da dimostrare che le ‘valutazioni’ migliorino la qualità. Sicuramente aumentano la quantità, appunto inducendo qualche inattivo ad attivarsi, ma il risultato mi sembra negativo per il motivo detto poco sopra. Pagherei per non dover leggere quello che viene prodotto solo in funzione della ‘valutazione’.

    • Parole sante.

      E pochi (pochissimi!) si chiedono dove, in questo miserabile giochino a punti, siano finiti i veri scopi della scienza e il senso fondamentale della cultura.

      La VQR non mi renderà mai più bravo, più prolifico, più “utile alla collettività” di quello che – per natura e formazione – attualmente sono.

  2. Perché questa svolta sui silenti?
    Ipotesi A: necessità di non premiare possibili comportamenti strategici come riportato e commentato nel post.
    Ipotesi B: la penalizzazione può cancellare l’impatto delle eccellenze tanto da essere controproducente ai fini di un “approccio che considera molto più importanti le eccellenze rispetto ad una comunità scientifica che sia tutta produttiva, su livelli discreti o accettabili”.
    .
    Se anche solo una delle ipotesi è corretta, la svolta sui silenti è solo una questione di effetti non considerati nel primo bando. Anvur si è accorta di non aver riflettuto abbastanza e adesso rifinisce il bando in modo più coerente con i propri obietti.
    .
    Semplici errori?
    .
    Nel mezzo c’è stato un esercizio di valutazione con il suo bagaglio di risultati. E gli aggiustamenti potrebbero essere basati sui risultati. Se i risultati non sono quelli desiderati, si corregge. Emergono ulteriori ipotesi, che variano nel loro contenuto di malafede.
    Ipotesi C: i silenti sono pochi e la penalizzazione non serve a distanziare a sufficienza i punteggi. Questo in realtà non giustifica l’eliminazione della penalizzazione ma sancisce semplicemente la sua inefficacia.
    Ipotesi D: la distribuzione dei silenti si concentra solo in alcune aree e pertanto la penalizzazione ha un ingiustificato effetto asimmetrico. Può essere una differenza di impatto dei silenti sui grandi atenei vs piccoli atenei. Può essere una differenza di impatto dei silenti tra aree disciplinari.
    Ipotesi E: la penalizzazione ha colpito qualcuno che non doveva essere colpito.

  3. Ho un dubbio su Orcid. Nel mio ateneo abbiamo un database che negli anni è è passato da U-Gov a Iris, dove inseriamo tutte le nostre pubblicazioni col rischio che i vari coautori inseriscano lo stesso lavoro, che a volte è intercettato come doppione e a volte no.
    Ora ci hanno chiesto di “agganciare” (in italiano sarebbe “collegare”) Iris a Orcid, però le pubblicazioni vanno ancora inserite in Iris.
    Ora, mentre il passaggio da Google Scholar, passando per l’esportazione verso BibTex, a Orcid è indolore, mentre da Iris no (anzi, poiché a Iris mancsao due campi di Orcid, il passaggio proprio non si riesce a fare).
    C’è qualcuno, tra i lettori di Roars, che sa dove si vuole andare a parare?
    Insomma, io credevo che dopo la faticata fatta per prendere l’abilitazione, dedicando tutta l’estate 2012 a sistemare U-gov, ora bastasse solo aggiornare il proprio database, invece pare che ogni 2-3 anni si debba rimettere mano a tutto.
    Grazie.

    • Credo si confondano due piani. Uno e’ il passaggio da U Gov a Iris che ha coinvolto tutti gli atenei. Non sono d’accordo sul fatto che gli inserimenti doppi a volte vengano individuati e a volte no.
      Altro tema e’ invece quello di orcid. L’aggancio iris orcid serve in primo luogo a dire alla mia anagrafe locale, a loginmiur e all’hub italiano che io sono quella persona che ha quell’identificativo. Le pubblicazioni si continuano ad inserire in iris e potranno essere trasferite e orcid più avanti. Il collegamento fra iris e orcid e’anche il primo passo verso l’anagrafe nazionale. Non mi risulta che GS abbia metadati più ricchi di iris o che sia maggiormente interoperabile con orcid. Anzi e’ uno dei soggetti che ad ora non ha concluso alcun accordo con orcid.

    • Grazie per la risposta.

      Da iris riesco ad esportare facilmente come da GS, però, mentre il file esportato da GS poi viene digerito da Orcid senza nessuna lamentela, i file esportati da Iris non li vuole. Sempre passando da BibTex. Puoi fare una prova e farmi sapere? te sarei grato.

      cfr. queste immagini:

      [IMG]https://dl.dropboxusercontent.com/u/905880/iris.png[/IMG]

      [IMG]https://dl.dropboxusercontent.com/u/905880/orcid.png[/IMG]

  4. Ho letto l’articolo con interesse e attenzione (e qua finisce il tono sostenuto; però è sincero). Raga’, come direbbe Crozza, qui le cose si mettono molto male. Mancavano soltanto i disguidi che segnala B. Cenci Goga. C’è anzitutto una cosa di base, che non riesco a capire perché succeda (formula retorica per: immagino di capire perché succede). Là dove era possibile una ragionevole standardizzazione, non è stata – non dico imposta dittatorialmente, ma implementata per facilitare la vita di tutti. Nossignori, viva la cosiddetta autonomia dove è irrilevante oppure quando serve per far tornare i conti locali, l’inventiva creativa del nulla, come ad esempio la modulistica (per rimborsi, missioni ecc.), oppure il funzionamento delle varie banche dati da collegare a quella del Cineca. Ci tormentano da anni con programmi sempre diversi ed incompatibili, di cui non riusciamo a cogliere l’aspetto finale perché non siamo all’altro capo del canale di trasmissione. Così coll’Orcid. Io me lo son procurato, tentando come con un gioco elettronico, sembrava che ci fossi riuscita, l’Iris lo ha riconosciuto, ma più in là … chissà cosa succede … Mica ho il tempo per trasformarmi in orcidista professionista, vorrei sperare che funzioni e basta. Da noi come altrove. Sorvolo sugli aspetti deprimenti dell’Iris, che è certe volte un lento mezzo di tortura. Qui sta la spiegazione, per me: stancare, far perdere tempo, umiliare con ritrovati digitali eternocangianti, i cui ideatori non si preoccupano minimamente dell’utenza, dell’utilizzatore finale, per dirla con un’espressione storica. Anzi, l’utente (noi, docenti universitari) deve essere soltanto una vittima eternamente perdente e mortificata. Il potere si esercita anche così. Non per niente Renzi ci ha fatto la lezioncina sulla ‘buona università’ con lavagna e gessetto, come nelle elementari d’antan. Mi pare che questo dettaglio sia stato ingoiato con troppa leggerezza, per cui si sono scatenati nella finanziaria col sostegno incondizionato all’Anvur, donde scaturiscono anche i criteri cambiati della Vqr.

    VQR. Sì, credo fermamente che i conti sono stati rifatti a tavolino, a vantaggio di coloro che erano svantaggiati dai calcoli della precedente. Questi sono giochetti indegni che vanno respinti. La cosa è troppo tecnica per esporla dettagliatamente al pubblico, ma qualcuno che trovasse una buona analogia comprensibile a tutti magari la potrebbe spiegare anche a un lettore medio. Qual è la differenza qualitativa, ad es. e nel nostro caso, tra 0+0+10=10 e 1+2+3+4=10. E quanto è più facile gestire il primo calcolo che non il secondo.

    • Confermo che l’importazione del bibtex da IRIS dà errore.
      Credo si possa sistemare facilmente, anche perché fra qualche tempo dovremmo poter inviare direttamente da IRIS senza passare da export import.
      Credo che però per chi lavora nell’ambito delle scienze dure forse possa essere meglio importare da Scopus o WOS o, come annunciato di recente, da Crossref. Come del resto hai già fatto.

  5. Non funziona a dovere nemmeno l’esportazione e successiva importazione da e per EndNote…

    Speravo di poter esportare tutte la mia library da IRIS, sistemarmela off line a con comodo con EndNote e importare tutti file puliti in IRIS. Niente da fare.

    Paola, tu che mi sembri informata (ps, che ne sai che ho importato da Scopus…?) potresti dirmi come mai Iris è così bacato e quanto ci costa?

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.