Riceviamo e volentieri pubblichiamo. In appendice una replica del Presidente ANVUR, Andrea Graziosi.
Amplificando e oltrepassando le scarne indicazioni contenute nel Decreto del 7 giugno 2016 (5 righe), “recante criteri e parametri per la valutazione dei candidati ai fini dell’attribuzione dell’abilitazione scientifica nazionale”, l’Anvur ha pubblicato, il 28 luglio seguente, un complesso Regolamento (10 pagine) “per la classificazione delle riviste nelle aree non bibliometriche”, che desta in noi forte perplessità e grande preoccupazione.
Il Regolamento dispone che:
- Non possono essere ammesse alla valutazione per l’inserimento nella Fascia A le riviste che non risultino indicizzate in almeno una delle banche dati bibliometriche maggiormente diffuse a livello internazionale (WOS e Scopus).
- Non possono essere ammesse alla valutazione per l’inserimento nella Fascia A le riviste che non presentino “la sottomissione di lavori alla VQR in almeno due esercizi successivi ovvero che per almeno due esercizi successivi presentino un eccessivo squilibrio tra i contributi pubblicati annualmente e quelli sottomessi alla VQR”. Stesso trattamento è riservato a quei periodici scientifici che, pur presenti nell’ultima VQR, non risultino avere ottenuto nella stessa “una valutazione media dei lavori in esse pubblicati superiore almeno del 20% rispetto alla valutazione media ottenuta dalle riviste della medesima area scientifica”. Si aggiunge, inoltre, che “le riviste che, presenti in VQR, risultino avere ottenuto nella stessa una valutazione media dei loro prodotti superiore almeno del 40% rispetto alla valutazione media ottenuta dalle riviste della medesima area scientifica sono ammesse alla lista delle riviste di Fascia A previo accertamento del solo requisito della regolarità della pubblicazione”. Il che vuol dire, in estrema sintesi, che una rivista che pubblica lavori di scarso valore scientifico, meramente italofona, sprovvista di rigorose procedure di referaggio, priva di apertura e impatto internazionale, dotata di un comitato editoriale di scarso valore e poco o niente rappresentativo riguardo al profilo internazionale, non indicizzata nelle più importanti banche dati, ma che abbia ottenuto eccellenti risultati nella VQR, assurgerà, illico et immediate, senza alcuna ulteriore verifica nell’Olimpo delle riviste di Fascia A.
Lasciamo, momentaneamente da parte il punto primo, limitandoci a far notare che solo pochissime riviste europee di scienze umane (italiane, spagnole, tedesche) sono indicizzate in SCOPUS o WOS. Quelle che lo sono, come “Nuova Rivista Storica”, debbono il loro inserimento certo al loro attuale valore scientifico ma anche alla loro lunga o lunghissima presenza nel panorama internazionale degli studi. Wos o Scopus, per loro natura, di fatto concentrano la loro attenzione su periodici redatti in lingua inglese. Perché, allora, per correggere questa stortura, l’Anvur, non ha previsto, come criterio di valutazione paritetico, anche l’inserimento di una rivista in una banca dati di taglio europeo come l’Erih (European Research Index for the Humanities), attenta a indicizzare, se meritevoli, riviste pubblicate nelle maggiori lingue di cultura dell’Unione Europea? Non sarebbe, infatti, precipuo dovere di un’Agenzia di valutazione europea, come l’ANVUR, utilizzare un’agenzia di rating, emanazione delle istituzioni comunitarie, nata senza scopi di lucro piuttosto che agenzie private di natura commerciale (come appunto Wos o Scopus)?
Concentriamoci, invece, sull’utilizzazione dei risultati della VQR per la classificazione delle riviste. Questo ci pare illegittimo sul piano della forma e irragionevole su quello della sostanza. Se, infatti, è indebito utilizzare la VQR per finalità che oltrepassino i suoi obiettivi originari e cioè “la valutazione dei risultati della ricerca scientifica effettuata in un periodo determinato dalle Università Statali e non Statali, dagli Enti di Ricerca pubblici vigilati dal MIUR”, la pretesa di valutare l’eccellenza di una rivista sulla base del numero e delle qualità degli articoli presentati nelle tornate della VQR è non solo illecita e incoerente ma ci pare corrispondere a una visione accademico-corporativa e italo-centrica dell’attività di un periodico scientifico.
Come sappiamo, gli unici soggetti titolati a “sottomettere” (per usare il “dolce stil novo” dell’Anvur), i propri lavori alla VQR sono i ricercatori strutturati nell’Università e in altri Enti di ricerca (provvisti, se non erriamo, dell’anzianità di un triennio). Una rivista scientifica di buon livello ha e deve necessariamente avere, però, nella platea dei suoi autori altri soggetti che qui proviamo elencare:
- Docenti fuori ruolo.
- Studiosi attivi in Università e Enti di ricerca stranieri (e a questo proposito è opportuno ricordare che lo stesso Regolamento dell’Anvur prescrive, all’art. 14, tra i requisiti necessari per l’inserimento di una rivista in Fascia A: “la presenza continua e significativa di contributi di autori stranieri o operanti stabilmente all’estero; la presenza continua e significativa di contributi in lingua estera”).
- Studiosi incardinati in altro ramo dell’amministrazione: archivisti-bibliotecari; membri del corpo diplomatico, sopraintendenti del Ministero dei beni e delle attività culturali, ricercatori afferenti agli archivi del Ministero degli Affari Esteri o attivi negli Uffici storici delle Forze Armate o di altre istituzioni pubbliche.
- Dottorati, assegnisti di ricerca, contrattisti, ecc. Insomma il troppo numeroso stuolo dei nostri colleghi “più giovani” (ma ricordiamo che ormai la loro età può toccare anche il quarantennio), dotati in molti casi d’indiscutibile e conclamata maturità scientifica, riconosciuta a livello nazionale e internazionale, ai quali solo la ristrettezza delle risorse finanziarie allocate da questo e dai precedenti governi al mondo dell’Università e della ricerca ha finora impedito di entrare nel ruolo.
- Ricercatori indipendenti, infine, perché è opportuno ricordare che nessuno, né tantomeno l’ANVUR, è legittimato a escludere a priori questi dal novero degli studiosi, violando il dettato stesso della nostra Costituzione.
Le pubblicazioni di questi soggetti non fanno però “punteggio” al fine della classificazione di una rivista in Fascia A secondo il Regolamento dell’Anvur e di conseguenza un periodico ricco di contributi di studiosi «non strutturati» si troverà a essere penalizzato al momento della sua valutazione.
Inoltre essendo il procedimento valutativo scelto dall’ANVUR strettamente legato ai risultati ottenuti da una rivista nella VQR, “nell’ambito di una determinata area scientifica”, si viene a creare un ulteriore paradosso. Considerando come punto di riferimento l’area Area 11 (Scienze storiche, filosofiche, pedagogiche e psicologiche), si trova, infatti, a essere “punita” quella rivista che ha ospitato lavori di studiosi italiani non incardinati in quell’Area. Studiosi di cui nessuno vorrà negare, si spera, l’indispensabile contributo per la ricostruzione e l’analisi, à part entière, del passato: storici internazionalisti, del diritto, dell’economia e del pensiero economico, dell’antichità, della filosofia, dell’arte, della letteratura, della musica, del pensiero politico e delle istituzioni, della medicina, antropologi, sociologi.
E con ciò si arriva all’assurda situazione, per cui il Comitato editoriale di un periodico scientifico dovrebbe augurarsi di non dover pubblicare lavori di tutti gli studiosi sopra elencati, per non mettere a rischio di vedere il proprio periodico confinato nella geenna delle riviste non titolate, tutte a rischio di una rapida e ingloriosa estinzione.
Abbiamo formulato queste riflessioni per sottometterle all’attenzione delle redazioni delle riviste storiche, al Coordinamento delle Società storiche, a tutti i colleghi raccolti nelle Società storiche, agli altri studiosi di area umanistica ma anche nella speranza che quanto da noi scritto possa spingere l’Anvur a proseguire il cammino lungo la strada di una cultura della valutazione rigorosa sì ma sempre inspirata ai superiori criteri del buon senso.
Il Comitato direttivo di «Nuova Rivista Storica»
Eugenio Di Rienzo, Università degli Studi di Roma La Sapienza
Bruno Figliuolo, Università degli Studi di Udine
Keith Hitchins, University of Illinois at Urbana-Champaign
Luciano Monzali, Università degli Studi di Bari
Aurelio Musi, Università degli Studi di Salerno
Gigliola Soldi Rondinini, Università degli Studi di Milano
Le ragioni espresse dal comitato direttivo di “Nuova Rivista Storica” sono sacrosante e TUTTE assolutamente condivisibili. Quanto alla illegittimità dell’uso della VQR, penso che l’ANVUR debba prestare particolare attenzione, era infatti stabilito che la sua funzione doveva essere SOLO quella di valutare i dipartimenti nel loro complesso, pertanto l’utilizzo per la valutazione delle riviste credo (chiedo la collaborazione di qualche giurista) non sia ammissibile.
Con questo regolamento ANVUR per la valutazione delle riviste, è evidentemente punitivo nei confronti di quelle che accolgono saggi di studiosi stranieri. Quanto alla lista ANVUR delle riviste di fascia A, vedo che (almeno nell’area 10) le riviste straniere sono presente solo in minima parte, e per altro neanche le migliori (per alcuni SC mancano alcune riviste inglesi e americane che nelle rispettive comunità scientifiche sono considerate una sorta di “Lancet” umanistiche). Mi viene il dubbio che i membri di queste commissioni di colleghi che hanno deciso (nominati senza criteri chiaramente indicati) la fascia A, neanche conoscono queste riviste straniere. Un altro dubbio, ma siamo sicuri che questi signori parlino inglese?
Riguardo alla replica del Presidente ANVUR, ammetto che non l’ho capita…
Sintetizzando la graziosa risposta:
ormai la VQR vale a qualunque fine, quindi non sognatevi di protestare non partecipando;
la colpa non è nostra, ma del ministro, mentre è nostra quando la imputate al ministro.
come se non si sapesse che il MIUR è il mero esecutore delle direttive dell’ANVUR
E’ assolutamente assurdo che nell’attuale situazione mondiale di miliardi di lavori scientifici (a volte spacciati come tali – v. le ritrattazioni) ,che è proporzionale alla diffusione dell’alfabettizzazione e dell’istruzione superiore , l’Anvur voglia mettere ordine e creare gerachie prendendo come criteri ciò che è risultato dalle vqr nazionali degli ultimi dieci anni. C’è stata, ovviamente, una proliferazione probabilmente abnorme delle riviste negli ultimi lustri, basta guardare al proprio ovile. Ma cosa si pretende? Mica tutti possono pubblicare sempre nelle riviste a grande tradizione, aspettando anni e condannando il proprio lavoro all’obsolescenza. La pretesa di valutare un lavoro dal valore medio dei lavori pubblicati in una rivista, per come questo valore medio risulti da due vqr, è un’idiozia. Se fossi ricca, fonderei una rivista mia con tanto di comitato scientifico di massima eccellenza. Come si faceva nell’Ottocento.
“La pretesa di valutare un lavoro dal valore medio dei lavori pubblicati in una rivista, per come questo valore medio risulti da due vqr, è un’idiozia.” Non avrei saputo dire meglio.
può essere interessante anche la discussione vivace nata sul sito academia.edu in proposito alle varie forme di ranking: pare proprio che siano refrattari e motivatamente studiosi d’ogni paese, disciplina ed età:
https://tinyurl.com/heqchxl
Ps : la discussione si chiama
Academia.edu Launches Recommendations!
e credo che bisogna essere ‘loggati’ col proprio account per partecipare
Ottima presa di posizione, soprattutto perché proveniente da una rivista classificata in fascia A.
Per quanto mi riguarda, penso che la classificazione in fasce delle riviste sia da evitare, anche perché le nostre riviste non sono nate con l’idea di dover essere classificate o peggio indicizzate, perché comunque trasferire il giudizio sul contenitore al contenuto urta contro ogni principio del nostro lavoro e della nostra etica professionale. Al fondo del progetto dell’ANVUR c’è la pretesa di vincolare a dati presunti oggettivi e a un algoritmo “miracoloso” le valutazioni di una classe accademica, giudicata a priori corrotta e inaffidabile, ma la scienza e la cultura mai si prestano ad essere valutate secondo criteri etero determinati, formulati per giunta da un legislatore o da un’Agenzia di servizio. Così la cultura muore per le torsioni che subisce ma è tema che va ben oltre la classificazione riviste e investe il disegno complessivo del governo dell’Università e il declino della sua presenza strategica nel tessuto civile del Paese.
Eugenio di rienzo – Direttore di “Nuova Rivista Storica”
L’ANVUR è un fantastico strumento per controllare i cervelli e per sopprimere la capacità critica di tutti noi. Il colmo di questa tragicomica ammuina è il culto del primato della quantità sulla quantità, vedi le soglie per i candidati commissari alla prossima ASN…
Quanto alla frase di Di Rienzo (“Così la cultura muore per le torsioni che subisce ma è tema che va ben oltre la classificazione riviste e investe il disegno complessivo del governo dell’Università e il declino della sua presenza strategica nel tessuto civile del Paese”.), è IMPOSSIBILE non rilevarne la sua drammatica verità, e chi non lo fa è in malafede (sapendo di esserlo).
Credo che la classificazione in fasce non sia un male, ma solo se si creino pesi e contrappesi. In questo senso lo sforzo dell’ANVUR che tende a rendere mobile il posizionamento in fascia A mi sembra da incoraggiare. Piuttosto, quello che condivido di questo articolo è che le riviste di per sè sono scatole vuote, come dice l’autore, se non hanno contributori interessanti. Quindi io premierei le riviste in modo indiretto, cioè valuterei le riviste in base al peso dei singoli autori valutabile con gli indicatori interni (VQR) ed esterni (Scopus, WoS, Academia.edu, Publish or Perish etc.) al mondo accademico.
Ottima idea. E del tutto originale. Raccomando di scriverla in inglese ed inviarla a una rivista internazionale dedicata al tema, ce ne sono una settantina…
no comment
La pretesa di valutare senza leggere è una fesseria medioevale. Dovevamo arrivare al xxi secolo per questa fessata. Che strazio.
Se non voleva commentare, gentile De Rienzo, non avrebbe sprecato 2 parole. Suvvia, a questo punto ne sprechi qualcuna in più stando al tema. Ma davvero lei pensa che ci possa essere un appiattimeno mettendo sullo stesso piano tutte le riviste? non è una argomentazione convincente considerare (solo perchè le riviste italiane non sono nate nell’era dell’indicizzazione) la produzione bubblicistica italiana una piastra orizzontale dove non è possibile effettuare alcuna forma di classificazione. Se la comunità accademica non riesce a riformarsi è doveroso che ci sia un’agenzia (per quando odiosa e imperfetta) che lo faccia al suo posto.
Ma prima di scrivere, leggere due righe… Ah no, Mnemonico è di quelli già riformati. Non leggono. Gli basta vedere dove è scritta una cosa. Se serve posso fornire bibliografia sul tema. Ma questo è un ottimo punto di partenza:
L’idea che abbia senso valutare il contenuto in base ad una valutazione (quale poi?) del contenitore è ormai stata abbandonata, tranne che nelle desolate lande italiane, prigioniere di un anacronistico medioevo scientometrico. Gli australiani ci avevano provato e hanno desistito (https://www.roars.it/i-numeri-tossici-che-minacciano-la-scienza/). DORA ha suonato le campane a morto per le classificazioni basate sull’Impact Factor (https://www.roars.it/dora/). C’è anche una letteratura scientifica che analizza le distorsioni e i danni indotti dall’uso delle classifiche di riviste. Ma nella terra fuori dal tempo in cui viviamo siamo condannati ad ascoltare per i secoli a venire il ritornello che ci spiega come le clave degli aborigeni bibliometrici siano la medicina necessaria per riformarsi. Per crederci bisogna essere ignari del dibattito scientifico e delle prassi internazionali oppure avere qualche tornaconto, ma nella terra desolata non è difficile trovare chi soddisfa uno o entrambi dei requisiti.
sorry ho il viziaccio di dialogare solo tra “pari”..e lei mi pare molto “impari” per quello che dice
Ma non è per caso semplicemente un circolo vizioso? Valuto A (rivista) in base a B (articoli) che è valutato per mezzo di C (Vqr ecc.) che valuta in base ad A (rivista).
Il ragionamento circolare è una costante di tutti i documenti e di tutte le pubblicazioni scientifiche degli anvuriani…
Chissà che non sia il futuro di tutti noi…
La mitologia dell’ouroboros mi ha sempre affascinato. E io che pensavo fossero dei tecnocrati senz’anima. Gli archetipi riemergono dove meno te l’aspetti.
è l’algorismo miracoloso….pallida copia della pietra filosofale e della teriaca
Certo, gentile De Nicolao, che io feci molto meno di Baccini per essere bloccato da Roars. Mi chiedo quale sia il punto limite, l’asticella (!), per bloccare Baccini. Ma mi scusi se per un momento mi sono messo a parlare di cose poco serie. I roarsiani sembrano con questi metodi finiscono di essere molto peggio degli anvuriani, a loro basta alzarsi la mattina e guardarsi allo specchio, per capire che oltre loro c’è il nulla.
Posso fare una confessione? Anch’io non sopporto Baccini. Questa sua perversione di leggere articoli e libri di scientometria (e anche di scrivere sull’argomento, il che è peggio). Poi, non riesci mai a fare una bella discussione sbracata con lui, perché parla solo di cose che conosce. Se non si può dire la prima cosa che ti viene in mente nemmeno quando parli con i colleghi di valutazione e bibliometria, cosa ci resta per un po’ di svago? Solo la formazione della nazionale e il calcio-mercato, il che è un po’ poco. Johnny ha tutta la mia solidarietà. Come si fa a chiedere a degli accademici di documentarsi prima di sputare sentenze? Ci mancherebbe altro. Baccini, oltre che antipatico, è un maleducato che non ha capito nulla di come si sta al mondo (e nell’università).
ci puoi segnalare la letteratura scientifica che analizza le distorsioni e i danni indotti dall’uso delle classifiche di riviste?
Brembs, Björn, and Marcus Munafò. “Deep impact: unintended consequences of journal rank.”
http://journal.frontiersin.org/article/10.3389/fnhum.2013.00291/full
___________
Per chi preferisce una presentazione più divulgativa, può leggere un post sul blog del primo autore:
___________
Everybody already knows journal rank is bunk
http://bjoern.brembs.net/2013/06/everybody-already-knows-journal-rank-is-bunk/
___________
Senza pretesa di completezza, ecco qualche altro riferimento bibliografico:
___________
ADLER, HARZING 2009: N.J. Adler, A.W. Harzing, When knowledge wins: transcending the sense and nonsense of academic rankings, Academy of Management Learning and Education 8.1 (2009), 72-95.
ARNOLD, FOWLER 2011: D. N. Arnold, K. K. Fowler, Nefarious Numbers, Notices of the AMS 58.3 (2011) 434-437.
COOPER, POLETTI 2011: S. Cooper, A. Poletti, The new ERA of journal ranking. The consequences of Australia’s fraught encounter with ‘quality’, Australian Universities’ Review 53.1 (2011) 57-65.
HUSSAIN 2010: S. Hussain, Accounting journals and the ABS quality ratings, The British Accounting Review 42 (2010) 1-16.
CLEAN et al. 2009: I. McLean, A. Blais, J.C. Garand, M. Giles, Comparative journal ratings: a survey report, Political Studies Review 7 (2009) 18-38.
NKOMO 2009: S.M. Nkomo, The seductive power of academic journal rankings: challenges of searching for the otherwise, Academy of Management Learning and Education 8.1 (2009) 106- 112.
SHUGAN 2003: S. M. Shugan, Journal Rankings: Save the Outlets for Your Research, Marketing Science 22. 4 (2003) 437–441.
UNCLES 2004: M.D. Uncles, Journal Rankings: How Much Credence Should We Give Them?, Australasian Marketing Journal 12.2 (2004) 67-72.
WILLMOTT 2011: H. Willmott, Journal List Fetishism and the Perversion of Scholarship: Reactivity and the ABS List, Organization 18.4 (2011) 429-442.
http://bjoern.brembs.net/2013/06/everybody-already-knows-journal-rank-is-bunk/
Grazie
Quello che trovo incredibile e preoccupante è che l’ANVUR, nella sua replica alla riflessione di NRS faccia discendere l’interpretazione del Decreto ASB e del Regolamento-riviste, ambedue incomprensibili e quindi di valore nullo, da un documento del Gruppo di Lavoro su Riviste e Pubblicazioni Scientifiche per l’Area 13. Eppure ANVUR si è provvista di stipendiatissimi consulenti giuridici fin dal 2014.
Le nostre discussioni paionon non approdare a nulla… Giannini va per la sua (?) strada
La cosa più appariscente delle nostre discussioni è che non interviene mai nessuno a difendere l’Anvur. O meglio ogni tanto interviene qualcuno che, pur sempre diverso, difende l’Anvur con lo stesso argomento: si vabbè, l’Anvur non è perfetta, ma meglio qualcosa che niente. L’argomento è inconsistente perché le obiezioni di Roars indicano che non c’è nemmeno il ‘qualcosa’, e quindi non ha senso rispondere ‘meglio qualcosa che nulla’, nel senso che nessuno mette in discussione il fatto che qualcosa è meglio che nulla. Finora io non sono riuscito a vedere un difensore dell’Anvur che vada oltre questo (inconsistente) argomento del meglio qualcosa che nulla.
@Francesco1 Hai mai preso in considerazione la possibilità che i difensori dell’ANVUR non riescono a completare le operazioni matematiche necessarie per dimostrare di non essere robot? :)
[…] più recente variazione regolamentare ha legato la permanenza in fascia A di una rivista ai voti ricevuti dai suoi articoli sottoposti alla VQR, […]