Argomenti / Valutazione / VQR

Tu chiamala, se vuoi, valutazione

VQR: il GEV13, la bibliometria e la storia del pensiero economico


L’uso di classifiche delle riviste secondo l’ANVUR ha un intento dichiaratamente pedagogico: spingere i ricercatori a pubblicare sulle “riviste più selettive del proprio settore”.[i]  Nel caso del GEV13 l’adozione di classifiche può determinare “effetti pedagogici” disastrosi per la storia del pensiero economico (History of Economic Thought: HET).

1. Cosa è la storia del pensiero economico? La HET è una disciplina di nicchia, ma con una lunga tradizione: è considerata un campo di ricerca autonomo dall’European Research Council all’interno delle Social Sciences and Humanities (SH1_14 History of economics and economic thought). L’American Economic Association nel più utilizzato sistema di classificazione dei subject di area la considera in una categoria separata (B1:HET through 1925; B2: HET since 1925; B3: HET individuals).

2. Cosa fanno gli storici del pensiero economico? Scrivono articoli su riviste internazionali e nazionali, e scrivono libri e parti di libri in inglese o altre lingue nazionali. Quanto pesano nel complesso della produzione scientifica mondiale di economia? Relativamente poco, si tratta di una piccola comunità specialistica. In Italia qualcuno ha parlato anche a proposito degli storici di “riserva indiana”.

Per avere una idea della dimensione della produzione scientifica mondiale, nella Figura 1 è riportata la quota percentuale di articoli di storia del pensiero economico presenti nel database EconLit sul totale degli articoli di economia. Gli articoli di HET rappresentavano nel 2000 il 2,34% della produzione mondiale di articoli di economia; una quota progressivamente assottigliatasi negli anni successivi, fino a raggiungere l’1,6% del 2011. Stiamo parlando complessivamente di 500-600 articoli l’anno nel periodo 2000-2010.

Figura 1. Articoli di economia (scala di sinistra) ed articoli di storia del pensiero economico (scala di destra) nel database Econlit

 

 

 

 

 

 

 

 

 

Questi dati sottostimano il peso complessivo del lavoro svolto dagli storici del pensiero. A differenza di quanto accade nell’economia molti studiosi di HET continuano a ritenere i libri lo strumento più adatto alla comunicazione scientifica. Quanto pesano i libri sul totale della produzione scientifica? Per avere una idea si può ricorrere ad una tecnica di stima bibliometrica: si prendono i riferimenti bibliografici delle riviste di storia del pensiero economico e si misura la quota dei libri sul totale dei riferimenti. Si tratta di un lavoro lungo e noioso: per avere una prima approssimazione ho calcolato su dati WoS la quota delle citazioni a libri/capitoli di libri sul totale delle citazioni contenute negli articoli della più nota rivista di settore History of Political Economy (HOPE) nel corso del 2010: circa il 55% delle citazioni è rivolta a libri/capitoli di libri. (Tra parentesi: questo significa che secondo la classificazione di H. Moed il grado di copertura del database per il settore è molto limitato).

3. Quali sono le riviste che pubblicano articoli di storia del pensiero economico? Grosso modo fino agli anni Ottanta del secolo scorso gli articoli di storia del pensiero economico hanno trovato posto nelle riviste di economia. Adesso le maggiori riviste di economia non pubblicano più articoli di storia. Qualche sporadica apparizione avviene sul Journal of Economic Perspectives in una rubrica chiamata Retrospectives. E diversi articoli classificati come storia del pensiero economico in EconLit su riviste di economia, altro non sono che Obituaries (B320). Le riviste specializzate in HET presenti nel database EconLit si contano sulle dita di due mani.

Ed infatti i 669 articoli di HET pubblicati nel 2009[ii] sono dispersi in ben 212 riviste. Le 20 riviste che ospitano il maggior numero di articoli sono elencate nella tabella 1 e coprono circa il 45% del totale degli articoli pubblicati. Nell’elenco ci sono due presenze, per così dire, casuali: i 17 articoli pubblicati sul Games and Economic Behaviour sono dedicati alla memoria di David Gale (B320: Obituaries); dei 10 articoli del Journal of Economic Behavior and Organization 7 provengono da un fascicolo monografico dedicato a Darwin e al darwinismo sociale.

Tabella 1. Le riviste che ospitano il maggior numero di articoli di HET (2009)

 

4. Che c’entra tutto questo con la valutazione? C’entra parecchio. Ecco perché. Un onesto studioso di storia del pensiero economico che voglia pubblicare un articolo ha un numero tutto sommato limitato di riviste cui può sottoporlo. Ma soprattutto le riviste cui può avere accesso con il suo onesto lavoro hanno indicatori bibliometrici assai modesti, rispetto a quelli delle riviste di economia. La rivista a più elevato Impact Factor cui può accedere è il Cambridge Journal of Economics (rank 67/307).  Se decide di inviarlo a HOPE l’Impact Factor è non solo più basso, ma la rivista è classificata da WoS tra quelle di History e non di Economics. Scelta alternativa European Journal of the History of Economic Thought: impact factor ancora più basso con un ranking modesto (248/305) tra le riviste di economia. Se anziché l’IF prendiamo un altro degli indicatori bibliometrici riportati nella Tabella 1, per esempio l’IF5Y, o l’h-index calcolato su Scopus, il risultato non cambia di molto. Se prendiamo la classificazione più nota tra gli economisti (italiani), la cosiddetta classifica dei ciprioti (Kalaitzidakis et al.), riportata nell’ultima colonna, le cose vanno ancora peggio.

Perché accade tutto questo? Forse stiamo paragonando giganti della scienza (economisti che scrivono sulle migliori riviste) con nani (storici del pensiero che scrivono su riviste modeste)? Direi proprio di no.

Molto più semplicemente stiamo paragonando la lunghezza delle alici (adulte) con quella dei tonni (adulti). L’alice più grande sarà sempre più piccola del più piccolo dei tonni. Per capirsi: tra HOPE e American Economic Review c’è una differenza simile a quella che passa tra il Journal of the History of Biology e Cell. Questa è una delle ragioni per cui il ranking delle riviste di economia sviluppato in molti anni dal CNRS prevede una classifica specifica per le riviste di storia del pensiero economico. Secondo la classificazione delle riviste del CNRS francese (penultima colonna) uno storico del pensiero economico non può fare di meglio che pubblicare su HOPE.

5. Spero che a nessuno venga in mente di obiettare: ma le riviste degli storici sono meno citate e quindi di qualità inferiore. C’è una valanga di letteratura internazionale che spiega che le citazioni non misurano la qualità, ma l’impatto (diffusione) della ricerca; e che le citazioni dipendono dalle regole di comunicazione adottate all’interno di una comunità scientifica oltreché dalla sua dimensione[mi permetto di rimandare alla rassegna contenuta qui]. Dal punto di vista della comunicazione la comunità degli storici del pensiero è molto diversa da quella degli economisti.

Gli articoli di storia del pensiero economico sono citati sporadicamente. La rivista HOPE ha pubblicato 1.849 articoli nel periodo 1985-2012. Hanno ricevuto complessivamente 2.933 citazioni, cioè 1,59 citazioni in media per articolo. 1.054 articoli (57%) non sono mai stati citati; solo 165 (8,9%) hanno ricevuto più di 5 citazioni. L’articolo più citato ha ricevuto ben 34 citazioni [Fonte WoS interrogato l’11/04/2012].

Nello stesso periodo l’American Economic Review ha pubblicato 5.124 articoli per un totale di 195.348 citazioni, cioè numero medio di citazioni per paper di 38,12. 523 (10,2%) non sono mai stati citati; 1.648 (32,2%) hanno ricevuto più di 5 citazioni. L’articolo più citato sull’American Economic Review è stato citato 2.438 volte.

Tabella 2. HOPE e AER. Un confronto bibliometrico

 

Nella storia del pensiero economico si cita anche in modo diverso. Per avere un’idea 1985-2012 considero di nuovo dati bibliometrici calcolati per la rivista HOPE nel 2010. Come abbiamo detto si citano più spesso libri/saggi su libri (55%) che articoli (45%), e si citano prodotti “vecchi”: delle 508 citazioni complessive contenute nei 62 articoli oltre la metà si riferiscono a articoli/libri pubblicati prima del 1975; l’età media dell’articolo/libro citato è 45 anni. Solo 27 citazioni (cioè appena il 5,3%) si riferiscono ad articoli pubblicati nel quinquennio 2006-2010.

6. Due mondi diversi? Dal punto di vista bibliometrico storia del pensiero economico e economia sono due mondi completamente diversi. Se nella prossima VQR verranno applicati gli stessi parametri bibliometrici, questo farà sì che tutti gli articoli di storia del pensiero economico saranno classificati come contributi di valore al massimo accettabile (C) o molto più probabilmente limitato (D). Gli “effetti pedagogici” saranno disastrosi per la storia del pensiero economico perché la ricerca in questo campo sarà completamente disincentivata. Perché un ricercatore dovrebbe decidere di dedicare i suoi sforzi a ricerche di valore limitato? Perché i giovani dovrebbero essere indirizzati in questa direzione? Perché una struttura dovrebbe desiderare di avere tra i suoi membri ricercatori che si occupano di ricerche di interesse limitato?

Il GEV13 deciderà di adottare una classificazione unica per le riviste di economia senza fare distinzioni per l’HET? E’ probabile che decida di farlo, perché in Italia la discussione sulla storia del pensiero economico ha ormai assunto la forma di una guerra tra bande accademiche; ed è probabile che prevalga l’intento pedagogico. Se lo farà, citando al contrario, almeno “non chiamiamola valutazione”.


[i] L’intento pedagogico lo si trova a p. 2 della risposta a ROARS. Ma è compito di un  organo tecnico di valutazione assumersi “compiti pedagogici” nei confronti della comunità accademica? Io credo fermamente di no.

[ii] I dati del 2010 non sono utilizzabili perché la classificazione per Subject degli articoli non è evidentemente ancora completa, in particolare nessuno degli articoli del Journal of the History of Economic Thought è classificato.

 

Dichiarazione relativa al conflitto di interessi. L’autore di questo post si occupa di storia del pensiero economico ed è membro della Storep (Associazione per la Storia dell’Economia Politica); l’autore di questo post è inquadrato in SECS-P01 (Economia politica) e non in SECS-P04 (storia del pensiero economico (SECS-P04).

Tags: , , , , , , , , , , , , ,

14 Comments

  1. carlodippoliti says:

    Caro Alberto,

    mi permetto un commento: secondo me la soluzione non é valutare separatamente ogni sotto-branca delle discipline, come sembra suggerisci, cosa che temo porterebbe a una confusione e complessità inaudita.

    Ci sono invece due punti da chiarire:
    1. come dici, gli indici bibliometrici non hanno niente a che vedere con la qualità della ricerca. Misurano la visibilità, che é solo uno dei parametri cui siamo interessati.
    2. volendo parlare di visibilità, le diverse branche di ogni disciplina andrebbero confrontate al loro interno, ovvero si puó usare gli indici bibliometrici per confrontare la visibilità di due lavori di storia del pensiero economico, o di due lavori di economia matematica, ma non per confrontare uno di storia del pensiero economico e uno di economia matematica.

    La soluzione al secondo problema, secondo me, é l’uso di indici normalizzati per le sotto-discipline: calcolando ad esempio il numero di citazioni ricevute, rispetto ai colleghi che si occupano dello stesso argomento, possiamo valutare quanto visibile uno storico é, tra i suoi colleghi, e magari paragonarlo a quanto visibile é un economista matematico, rispetto ai suoi colleghi, senza bisogno di classifiche separate.
    Seguendo la tua metafora, possiamo calcolare quanto é grande ogni tonno rispetto agli altri tonni, e confrontarlo con quanto é grande ogni sardina rispetto alle altre sardine.

    Anche questa soluzione, come la tua, temo verrebbe accusata di cercare dei “trucchi contabili” per tutelare delle riserve indiane, o peggio delle baroníe locali. Parte di questa accusa peraltro é fondata, sicuramente alcuni tenterebbero di creare norme a loro vantaggio. Il punto é chiarire che anche le norme attuali sono giá a vantaggio di qualcuno, e discutere su criteri non voglio dire neutrali (non ne esistono) ma che in maniera trasparente avvantaggino i rami di ricerca che vogliamo politicamente sostenere. Uso il termine “politicamente” in senso alto, mi spiace se in italiano questa parola non lo sia piú: la ricerca deve tentare di migliorare la vita delle persone, stiamo parlando dell’uso di fondi pubblici, non di guerre ideologiche tra bande di economisti.

    Anche la soluzione della standardizzazione, però, non risolve il primo problema: qui stiamo valutando la visibilità, non la qualità. Per parlare di qualità di un lavoro, un punto che sembra ormai io sia rimasto l’unico a sostenerlo, occorre leggerlo. Anzi, forse non é nemmeno sufficiente: i lavori di altissima qualitá magari si scoprono solo dopo anni, e a volte capiamo che lo sono solo dall’impatto che hanno sulla societá, e non strettamente nella loro disciplina.

    Ormai produciamo troppi lavori, e non si farebbe in tempo a leggerli tutti? Amen. Valutiamo un campione, valutiamo solo “l’eccellenza”, oppure riconosciamo che la maggior parte delle cose che scriviamo é piú o meno allo stesso livello, cioé di bassa qualitá, e solo un paio di volte nella vita (se ci va bene, ai piú bravi e fortunati) scriviamo cose davvero di alta qualitá.
    La mania di fare ranking di riviste sta portando molti, e vuole spingere tutti, a scrivere cose sempre piú visibili e sempre piú “piccole” (non solo di dimensioni, perché un articolo é piú breve di un libro, ma proprio piccole qualitativamente). Sta scoraggiando il tipo di ricerche che durano anni, e che solo a volte producono risultati di alta qualitá ma che, quando lo fanno, sono le ricerche che davvero valeva la pena di finanziare.

    Quindi, nel tuo intervento, manca secondo me il riferimento alla qualitá: la storia del pensiero non va “difesa” perché é “diversa”, ma va finanziata perché é utile, perché ci ricorda di tante buone idee che come economisti ci stiamo dimenticando, e perché spesso ce ne fa venire di nuove. Sempre secondo la tua metafora, insomma, il punto é spiegare che il tonno e la sardina non solo sono diversi di dimensioni, ma “politicamente” ci servono tutte e due.

    Carlo D’Ippoliti

    • Rispondo per il momento solo parzialmente al tuo commento. All’ultima parte. Vero. Nel mio post ho volutamente eluso la domanda chiave: a che serve la storia del pensiero economico (cui segue: e perché dovremmo finanziarla)?
      Cito da questa intervista ad Amartya Sen:
      The history of economic thought has been woefully neglected by the profession in the last decades. This has been one of the major mistakes of the profession. One of the earliest reminders that we are going in the wrong direction has come from Kenneth Arrow about 30 years ago when he said: These days, I get surprised when I find the students don’t seem to know any economics that was written 25 or 30 years ago.
      [...] I don’t think that there is any conflict between mathematical reasoning and being interested in the history of thought. Many of our early thinkers were quite mathematical. The connection between mathematics and economics is very strong, and there is no reason to be ashamed of it. What is to be avoided is to be concentrated only on mathematical economics. We must not neglect the insights that come from parts of the subject where mathematics is not sensible to use and different kinds of reasoning are useful. I don’t think the conflict is between mathematics and other kinds of methods. The conflict is between taking an integrated, broad, comprehensive view as opposed to a narrow view whether it is mathematical or anti-mathematical.

    • carlodippoliti says:

      Ovviamente su questo punto siamo totalmente d’accordo (e ci mancherebbe!).

    • Francesco Sylos Labini says:

      Scusate se mi intrometto ma come non ricordare il fondamentale articolo di Donald Gillies THE USE OF MATHEMATICS IN PHYSICS AND ECONOMICS: A COMPARISON in cui conclude “This supports my conjecture that the use of mathematics in mainstream (or neoclassical) economics has not produced any precise explanations or successful predictions. This, I would claim, is the main difference between neoclassical economics and physics, where both precise explanations and successful predictions have often been obtained by the use of mathematics.” Aggiungo che anche gli astrologi usano una matematica alquanto sofisticata (infatti?)

    • Il mio post è tarato sulla situazione attuale. La VQR va fatta. Lo ha deciso l’ex-ministro. La farà l’ANVUR avvalendosi dei GEV (tutti già nominati) che hanno deciso i criteri di valutazione (già fatto o quasi). Tra i criteri di valutazione si è deciso in Area13 di fare ricorso alla classifica di riviste.
      Si poteva fare altrimenti, molto molto meglio, e risparmiando risorse.
      Si poteva adottare il modello RAE/REF e valutare la qualità nell’unico modo in cui lo si può fare, cioè leggendo. [Ho scritto così tante volte sulla differenza tra qualità, impatto, importanza, impatto socio-economico della ricerca che ormai mi annoio solo a pensare di dover riprendere il tema].
      Si poteva adottare un modello bibliometrico puro adottando tutte le normalizzazione del caso (modello CWTS ; o ERA 2012).
      Si poteva addirittura adottare il modello ERA 2010: poco accurato, ma assai poco costoso.
      Non lo si è fatto perché abbiamo sviluppato il modello italiano.
      Adesso ci ritroviamo a discutere, in particolare in Area13, di liste di riviste che ancora non ci sono e chissà come saranno fatte. Probabilmente il risultato di un mix di politica accademica e presunta obiettività bibliometrica. Ho già avuto modo di sostenere qualche mese fa che se proprio si dovevano usare classifiche di riviste nel VQR (non solo in area13), sarebbe stato meglio importarne qualcuna già fatta da altri, piuttosto che costruirne di fatte in casa. Per questo ricordavo il modello francese. Che non mi esalta, ma che trovo più ragionevole delle liste che le società scientifiche (non solo di area 13) hanno inviato ai vari GEV sperando in qualche autorevole intercessione.

      Nel mio post volevo semplicemente rendere evidente che gli “intenti pedagogici” possono portare alla scomparsa della storia del pensiero economico. E volevo sottolineare che se questo avverrà sarà il risultato non di una valutazione condotta al meglio della tecnologia valutativa esistente, bensì di scelte pedagogiche adottate dal GEV. O per usare una tua espressione: di scelte politiche travestite da scelte tecniche.

    • carlodippoliti says:

      … e infatti cosí avevo inteso il tuo post. la mia non era una critica (a parte nel dire che metodologicamente preferisco le normalizzazioni alle classifiche separate, ma é veramente un dettaglio), la mia era un complemento.
      poiché io credo fermamente che il modo di valutare l’economia influenza la direzione dell’economia (ho scritto due cose anch’io su questo) e poiché l’economia non é una scienza neutra, occorreva chiarire bene, come fai alla fine di questo commento (e come senza successo tentavo di fare io, ma da un commento non ci si puó aspettare la stessa chiarezza di un post ragionato), che il problema non é di “non confrontare i tonni con le anguille”, come se fosse una difesa di interessi di parte, o della diversità in sé, in quanto tale.
      secondo me il problema é che c’é una scelta politica che viene fatta passare per tecnica (come ormai avviene in molti campi). e la risposta non può che essere la politicizzazione del discorso. davvero vogliamo che la valutazione dica che solo i Bocconiani (passati presenti e futuri) o solo i neoclassici piú anti-keynesiani fanno buona ricerca?
      se é cosí ce lo dicano, ma chiariscano che é una scelta politica, non tecnica.

  2. Ritorno a postare perché finalmente si parla di un problema molto concreto per i (non pochi) ricercatori di area 13 che si occupano di questioni storico/filosofiche. Credo anche che alcune ansie riguardo agli approcci eterodossi (che come sapete ritengo essere un falso problema) in realtà derivino da questioni vere e importanti come quella analizzata molto bene da Baccini. Vorrei qui solo aggiungere un po’ di prospettiva storica e internazionale, che aiuti a capire come il problema non sia stato “creato” ma soltanto portato alla luce dalle procedure di valutazione del GEV13. Il problema riguarda lo status disciplinare della storia del pensiero economico (SPE) e la sua collocazione all’interno delle humanities and social sciences.
    Come mostra Baccini, la SPE è da tempo in declino all’interno delle discipline economiche (anche se non in declino di per se’, anzi…). Questo accade anche in paesi dove non esistono meccanismi nazionali di valutazione della ricerca. Il trend non è sorprendente, e replica quanto è già avvenuto nella storia della scienza in generale, a partire dagli anni ’60. Semplificando, prima di allora la storia della scienza veniva fatta principalmente dagli scienziati stessi; dopo la “rivoluzione Kuhniana”, essa è diventata una disciplina specialistica a se’ stante, più vicina alle discipline storico-umanistiche (per metodo e formazione) che alle scienze stesse (anche se spesso chi la pratica ha anche una laurea scientifica). Questo ha portato a una profonda mutazione (non necessariamente positiva, se pensiamo per esempio che molta storia della scienza contemporanea non è più interessante per gli scienziati stessi) e probabilmente irreversibile. Ma allo stesso tempo ha salvato la disciplina, grazie anche a istituzioni (come Caltech, MIT, Imperial College) che hanno preservato l’insegnamento storico e umanistico all’interno delle facoltà scientifiche.
    Da almeno vent’anni gli storici dell’economia si trovano di fronte a un simile dilemma – dentro o fuori dall’economia? Le strategie possibili si dividono approssimativamente in due categorie:
    1) La maggioranza dei ricercatori, almeno per ora (in Italia e nel mondo), ha preferito restare fedele alla disciplina scientifica “madre” (l’economia) nonostante questo si riveli ogni giorno più difficile e costoso, in termini di fondi, carriera ecc.
    2) L’alternativa è muoversi nella direzione della vera interdisciplinarità. Alcuni ricercatori (cito per esempio Phil Mirowski, Philippe Fontaine, Bob Leonard, Mary Morgan) hanno provato a farlo, con un certo successo, pubblicando su riviste di primo piano di storia, sociologia, e filosofia della scienza.
    Non ho certo in tasca la soluzione a questo problema epocale. Mi sembra però che il problema esista e resti tale con o senza l’Anvur. Il GEV13 e la bibliometria potranno forse accelerare processi in corso e portare a soluzioni più rapide (troppo rapide?) rispetto a quello che sarebbe accaduto senza la valutazione della ricerca. Una di queste è l’estinzione della SPE, una soluzione che nessuno si augura. Ma per scongiurare la peggiore delle ipotesi dobbiamo prendere il problema per le corna, ovvero chiederci che cosa voglia dire fare SPE oggi, che cosa vorrà dire fare SPE domani, e ancora più a monte che cosa voglia dire fare interdisciplinarità. (Vedi per esempio http://journals.cambridge.org/action/displayIssue?iid=1855868)
    Il mio punto di vista è che l’interdisciplinarità sopravvive nel lungo periodo solo se non si ritira nel suo orticello inventandosi micro-discipline e criteri di valutazione ad hoc. Sopravvive solo se riesce a parlare alle discipline madri, accettandone gli standard e cercando di soddisfarli, ovvero facendo ricerca di alto livello sia dal punto di vista storico (o, nel mio caso, filosofico) che economico. I nostri esempi devono essere gli Amartya Sen e i Daniel Kahneman, per fare esempi concreti, non i post-keynesiani di Cambridge. Le regole dell’Anvur lo permettono: oggi possiamo presentare lavori diversi a GEV diversi – possiamo chiedere di essere valutati dagli storici della scienza per un articolo su Isis, e dagli economisti per un articolo sul Journal of Economic Literature. Utilizziamo queste possibilità, invece di trincerarci. Mi rendo conto che questa strategia rende l’interdisciplinarità una cosa molto difficile — ma anche viva, utile e, soprattutto, vincente.

    • Sono contento che Guala torni a frequentare Roars :-). Sono in sintonia con la parte metodologica del commento. Concordo che il problema della storia del pensiero si ponga indipendentemente dall’ANVUR. E’ certo che ogni esercizio di valutazione rende il problema più stringente ed urgente.
      Di conseguenza: concordo con Guala che l’interdisciplinarietà sia difficile, viva e utile. Avrei qualche riserva al momento sul fatto che sia vincente, specialmente in Italia.

      Sull’interdisciplinarieta. C’è una discreta letteratura che mostra che gli esercizi di valutazione tendono a penalizzarla. Questo avviene quando la valutazione è condotta con peer review. Rafols, Leydesdorff et al mostrano che l’uso dei ranking di riviste determina un bias sistematico a favore della ricerca monodisciplinare (ed offrono una discreta rassegna della letteratura).
      I criteri di valutazione di ANVUR riusciranno a superare questi problemi? Ne dubito fortemente, visto che non riescono a risolverne di ben più semplici. Ma se per caso -non certo per disegno- riusciranno a farlo, beh non avrò nessun problema a riconoscere che la mia previsione è errata.

      Dire che gli storici del pensiero sono delle alici e non dei tonni non significa rivendicare un orticello disciplinare. Tutt’altro. Significa solo dire che, se si vuole usare la bibliometria secondo standard scientifici, c’è un problema di confontabilità che allo stato è difficilmente risolvibile . Visto che si è deciso di usare la rozza approssimazione delle classifiche delle riviste, a mio parere l’unica soluzione possibile è costruire classifiche per sottogruppi disciplinari . Con i pericoli che questo comporta: ogni piccolo gruppo, al limite ogni singolo ricercatore, rivendicherà il proprio orticello disciplinare. Si tratta di problemi noti, per cui sono state proposte e sperimentate molte soluzione diverse. Purtroppo la VQR è caratterizzata da una spiccata tendenza al fai-da-te che crea o acuisce i problemi anziché risolverli.

      Infine: io sono molto felice di discutere con Guala o con qualsiasi altro mio pari su quale debba essere il modello di scienza e di scienziato cui ispirarci. Sono anche dell’idea che il governo possa in qualche misura intervenire nell’indirizzare la ricerca (io sono per l’assai limitatamente attuato attraverso l’individuazione di linee di ricerca di rilevante interesse sociale cui attribuire priorità -non esclusività- di finanziamento). Sono disponibile a discutere con Guala o con chiunque altro mio pari sull’inutilità della storia del pensiero economico e dell’approccio post keynesiano di Cambridge.
      Quello che invece ritengo inaccettabile è che gli intenti pedagogici siano definiti da istituzioni (ANVUR) che non dovrebbero averne; che si nascondano dietro all’apparente neutralità della “valutazione” scelte di politica della ricerca attuate da istituzioni (ANVUR) che non hanno nessun titolo per definire la politica della ricerca italiana.

    • Dubito anch’io che le procedure scelte dall’Anvur risolveranno il problema della SPE; anzi, credo che i ricercatori di area SPE saranno parecchio penalizzati. Ma questo dipende da DUE fattori: 1) l’uso della bibliometria nel GEV13, che necessariamente produrrà una “fotografia” dell’importanza relativa di SPE all’interno della disciplina (che è oggettivamente scarsa); e (2) la strategia dei ricercatori di SPE che da anni coltivano un’interdisciplinarità da riserva indiana, invece di aprirsi ad altre discipline a un’audience più ampia. Il problema è che oggi la maggior parte dei ricercatori SPE non ha alternative al GEV13, mentre le regole dell’Anvur permetterebbero di spaziare fra i nuclei di valutazione. Bisognava pensarci prima: giocare in difesa all’interno di una disciplina dove si è scarsamente considerati, nel lungo periodo non porta a nulla di buono. Facciamo tesoro di questa lezione, soprattutto quando aiutiamo i giovani a scegliere metodi e programmi di ricerca.

  3. Premetto che condivido gran parte delle analisi di Baccini e che ritengo che le procedure del GEV13 – e non solo e non tanto quelle dell’ANVUR nel suo complesso – vogliono deliberatamente penalizzare (spazzar via) SPE. Propongo quindi qualche osservazione, rapsodica e per ciò stesso forse eccessivamente secca.

    D’Ippoliti” scrive: “secondo me la soluzione non é valutare separatamente ogni sotto-branca delle discipline, come sembra suggerisci, cosa che temo porterebbe a una confusione e complessità inaudita”. Non riesco bene a capire che cosa intenda per “confusione” e per “complessità”.
    Per “confusione” forse intende “favorire baronie”: ma per affrontare questa questione si deve allora svolgere una riflessione seria e complessiva sull’Università e sulla sua struttura di potere, anche come parte di una struttura di potere più complessa; oppure si vuole lasciare intendere che i critici delle baronie non sono entrati in una corporazione grazie a un qualche barone? Non posso dimenticare che l’Anvur è stato avviato da un governo che, fiancheggiato da una campagna di stampa antibaronale, ha poi fatto non pochi favori al sistema baronale stesso (p.es. estromettendo dai concorsi ricercatori e associati). E non posso dimenticare che l’attacco alla SPE ha precise e precisabili parti in causa, come più volte sottolineato da Roars.
    Venendo poi alla “complessità”: non vedo come possa essere un argomento valido, quando si tratta di tentare di valutare la ricerca scientifica: o si fanno le cose seriamente (scientificamente) o, per cortesia, lasciamo perdere; o invece si vuole semplicemente fare un poco di “macelleria sociale”, naturalmente per far quadrare i bilanci?
    Infine una notazione sulla “utilità” di SPE. Temo che sia una di quelle domande che potremmo rivolgere a gran parte delle discipline umanistiche: ed è evidente che, per ciò stesso, è una domanda che sottende precisabili parti in causa, ancora una volta. Detto in altri termini, come storico (non importa di che cosa) non posso che difendere per principio ogni storia… (perfino quella “antiquaria”…). D’altra parte, visti i tempi che occorrono, è una domanda – a che serve… ? – che andrebbe rivolta anzitutto all’economia…

    Guala scrive: “Il mio punto di vista è che l’interdisciplinarità sopravvive nel lungo periodo solo se non si ritira nel suo orticello inventandosi micro-discipline e criteri di valutazione ad hoc. Sopravvive solo se riesce a parlare alle discipline madri, accettandone gli standard e cercando di soddisfarli, ovvero facendo ricerca di alto livello sia dal punto di vista storico (o, nel mio caso, filosofico) che economico”.
    Anche in questo caso mi sembra che si sovrappongano due questioni: il giudizio di valore su una o più discipline e il giudizio sul metro di valutazione.
    Intanto faccio osservare che moltissimi specialisti SPE pubblicano in riviste di altri GEV (spesso in ranking migliori di quelli prevedibilmente approntati dal GEV13… ). Il punto, tuttavia, ora è questo: si teme, e a ragione, che la valutazione ANVUR costituirà una sorta di “chiusura del recinto” per decidere chi è dentro e chi è fuori da un certo ambito disciplinare. E la cosa tragica e comica è che questo recinto lo decidono… guardiani di altri recinti (per altro malfermi).

    Più in generale, avverto, ripeto, la sovrapposizione continua di due questioni affatto differenti: una riguarda “come valutare?”, l’altra “cosa è questa disciplina?”, che poi si declina in un altra questione ancora, affatto differente – “a che cosa serve questa disciplina?”. Non seguo poi più il ragionamento quando si parla (Guala) di “discipline madri” o di “standard”: una delle logiche della ricerca, e uno degli insegnamenti della storia delle scienze tutte, è proprio questa: che spesso si è sulla “frontiera” e si disarticolano, per ciò stesso, “compartimenti disciplinari standard”. I quali si sono spesso costituiti per venire incontro ad esigenze didattiche, del resto pienamente legittime. Ho insomma la sensazione che l’ANVUR costituirà, appunto, un tentativo di “standarizzazione” della ricerca, a mio giudizio secondo una logica suicida per diversi motivi: a. perché irreggimentare la vita è pura follia, per altro liberticida; b. perché darwinanamente la biodiversità è fondamentale; c. perché è una standarizzazione che veicola, ripeto una volta di più, precisati e precisabili parti in causa.

    cari saluti
    Luca Michelini

    Intanto faccio osservare che esiste un problema a monte: Baccini ha fatto uno studio circoscrivendo un universo di SPE. Ma il primo problema anzitutto è proprio questo!

    • carlodippoliti says:

      non intendevo niente di tutto questo, e anzi temo che leggi in due aggettivi molti sostantivi lí non contenuti.
      intendevo solo ciò che é stato detto da altri: la via delle valutazioni separate si presta a discussioni a volte poco scientifiche su quali e quante classifiche dovrebbero esserci.
      anche la mia proposta della normalizzazione vi si presta, ma credo sia più efficace e trasparente nell’affermare – per disegno – che le due o piú discipline (o sotto-discipline) sono di pari “valore”. e anche, lo ripeto, che invece tutto questo non c’entra niente con la qualitá, ma solo con la visibilitá.

      scrivi “o si fanno le cose seriamente (scientificamente) o, per cortesia, lasciamo perdere”, temo che nel contesto attuale non sarà possibile nessuna delle due, ma evidentemente nel mondo della mia fantasia preferirei la seconda alla prima (la valutazione serve, ma ex-ante, non ex-post, se vogliamo usarla per distribuire fondi. se no decidiamo prima a che serve e poi si discute del come. non c’é un “metodo per tutte le stagioni”)

  4. Terenzio Maccabelli says:

    Penso sia importante circostanziare l’intervento di Alberto Baccini rispetto alla contingenza della VQR 2004-2010, senza fughe in avanti rispetto a quanto ciascuno di noi pensa della Storia del pensiero economico, sia in merito a ciò che è stata o a ciò che dovrebbe essere. Sono due questioni da tenere ben separate. Non che non mi interessi discutere della Spe: anzi, sarei ben felice di farlo, ma senza confondere con la questione della valutazione.

    L’attenzione in questo momento penso debba essere rivolta alla VQR, in particolare alle procedure del GEV13, perché quanto l’articolo di Baccini metta in evidenza è appunto un problema procedurale.

    E dal punto di vista procedurale, mi limito a dire questo: a tutt’oggi, 30 aprile, data entro la quale il GEV13 avrebbe dovuto pubblicare la classifica di riviste, di questa classifica ancora non c’è traccia. Con quali conseguenze per un cultore di storia dell’economia spero sia chiaro a tutti.

    Facciamo un esempio concreo. Il GEV13 ha indicato un criterio di ordinamento bibliometrico delle riviste in virtù del quale l’European Journal of the History of Economic Thought sarà in classe D. Essendo altamente improbabile che un articolo sull’European Journal of the History of Economic Thought possa avere più di cinque citazioni all’anno, quell’articolo sarà valutato 0. A quel punto perché mai uno studioso di storia del pensiero economico che abbia pubblicato sull’European Journal of the History of Economic Thought dovrebbe sottoporre quel saggio? Di fronte alla certezza di essere collocato in classe D, uno storico dell’economia ha tutto l’interesse a sottoporre altro prodotto editoriale, ad esempio un saggio in volume, proprio perché in quel caso sarà sottoposto alla peer review, che almeno lascia un margine di probabilità di non avere valutazione pari a 0.

    Immagino già la reazione di molti a questo mio ragionamento. Ma l’European Journal of the History of Economic Thought non sarà in classe D! Sarebbe altamente imbarazzante e sconveniente una cosa del genere (imbarazzante anche per un componente del GEV13 stesso)! E molti, in effetti, immagino stiano attendendo con trepidazione la classifica confidando che l’European Journal of the History of Economic Thought non sia in classe D.

    Ma perché mai l’European Journal of the History of Economic Thought non dovrebbe essere in classe in D alla luce dei criteri noti finora? Non lo sarà solo perché si faranno delle eccezioni. Una volta preso atto che l’ordinamento puramente bibliometrico delle riviste di economia relegherà nelle fasce più basse certe riviste, il Gev probabilmente cercherà di rimediare introducendo eccezioni, riposizionando rispetto alle loro posizioni bibliometriche “qualche” rivista di Storia economia e “qualche” rivista di SPE. Ma quante e quali riviste avranno questo beneficio? Con quali criteri verranno scelte? Nessuno lo sa. E la situazione, ad oggi, è che riviste di Storia economica o di SPE destinate alla classe D in virtù dei loro indicatori bibliometrici potrebbero salire di rango sulla base di decisioni puramente arbitrarie, se non per logiche di potere.

    Ad oggi, dunque, l’European Journal of the History of Economic Thought potrebbe essere in classe D, come potrebbe benissimo essere in classe A. Uno spettro così ampio significa solo una cosa: il GEV13 ha formulato dei criteri e soprattutto una procedura del tutto sbagliata. Gli esperti dell’area 13 hanno individuato procedure rigorosissime per la formazione della classifica delle riviste economiche, basate sull’oggettività bibliometrica. Ma quelle regole conducono a una situazione insostenibile, fonte di imbarazzo per alcuni componenti dello stesso GEV. Qualsiasi sequenza di regole ben congegnate, dice G. Orwell, dovrebbe essere immediatamente disfatta qualora conduca a risultati “tremendi”. Io penso che gli aggiustamenti discrezionali e arbitrari che verranno fatti alla classifica appartengano al genere dei risultati “tremendi”.

    Terenzio Maccabelli

    • Terenzio Maccabelli says:

      Il GEV13 ha pubblicato l’elenco delle riviste.
      Ancora non si è espresso sulle eventuali classificazioni più fini (che sembrerebbero comunque escluse).

      Allo stato attuale l’European Journal of the History of Economic Thought sembra essere in classe D. Chiunque abbia un articolo in quella rivista verrà valutato 0; a meno di ripensamenti del GEV13, nel caso appunto faccia eccezioni al criterio della classifica unica per il sub-Gev di economia.

      Non importa manchino pochissimi giorni alla scadenza dei termini. Uno studioso del Secs-PO4 che abbia un articolo sull’European Journal of the History of Economic Thought non sa, e temo non saprà, se gli conviene sottoporre l’articolo o meno. Se l’European rimane come sembra in classe D, gli converrebbe mandare un altro prodotto, come ad esempio un saggio su volume, che almeno potrebbe giocarsi qualche possibilità alla peer; d’altra parte, potrebbe rimanere con la speranza che per l’European Journal of the History of Economic Thought si facciano delle eccezioni.

      Insomma, tenendo conto delle distribuzioni di probabilità e dei valori attesi, allo studioso di storia dell’economia che voglia comportarsi da agente razionale caro agli esperti valutatori del Gev13 rimane un’unica strategia nella scelta dei propri prodotti: tirare ai dadi per decidere se mandare o meno il proprio articolo sull’European Journal of the History of Economic Thought.

      Almeno non chiamiamola valutazione.

      Terenzio Maccabelli

  5. Pingback: Il GEV13 e la storia

Leave a Reply