Negli ultimi tempi ROARS si è occupato spesso di ranking di riviste, e mi pare che l’ultimo articolo di Abbattista descriva abbastanza bene come dovrebbe essere fatto un ranking, quali sono le premesse, quale la metodologia, quale la funzione.

Leggendo i documenti dei GEV 10-11-12 si evidenziano alcune linee di tendenza che destano preoccupazione. Questi GEV, in assenza di criteri bibliometrici, adotteranno i ranking di riviste (costruiti seconde le metodiche e i tempi evidenziati da Abbattista) per confermare il giudizio di merito dato sulle pubblicazioni o come elemento di controllo su di esso.

Ai GEV si deve riconoscere un grandissimo sforzo nella contingenza della VQR, nei tempi ristretti e con le informazioni a disposizione. Tenuto conto che gli elenchi non sono vincolanti per i referees, ci sarà tempo di verificare  la robustezza dei rankings, quanto il valore del contenitore influisca sul valore del contenuto e il tipo di correlazione. Fare degli errori in questa fase, per alcuni settori più nuova che per altri, è normale. Quello che assolutamente non deve succedere é che si imbocchino strade da cui poi sarebbe difficile tornare indietro.

Vediamole più nel dettaglio:

Dal documento di lavoro del GEV 11 (punto 6 criteri per la revisione e il consolidamento delle liste di riviste) poi ripreso anche da quello del GEV 12 risultano una serie di indicazioni per il futuro su cui, prima di partire sarebbe consigliabile riflettere.

Al punto 2.   La  presenza  in  banche  dati  internazionali,  come  Web  of  Science  di  Thomson  Reuters  e Scopus;

WoS e Scopus sono database a pagamento all’interno dei quali vengono raccolte le citazioni riferite ad altre riviste presenti nel database. Poiché negli ambiti HSS molte delle citazioni vengono fatte a tipologie di lavori non presenti in WoS o Scopus, queste citazioni vanno come dire perdute. Si può tentare di fare entrare le riviste italiane nei due database, ma finché la comunicazione scientifica nelle aree umanistiche continuerà ad essere multicanale (ed è sperabile che sia così) non sarà questa la soluzione che permetterà un uso esteso della bibliometria simile a quello che si fa nelle scienze dure. Se invece l’ingresso in WoS o Scopus rappresenta una sorta di bollino di qualità, allora forse varrebbe la pena di rivolgersi ad altri strumenti dove le scelte non vengono gestite da operatori commerciali il cui fine è ovviamente diverso dalla definizione della qualità della ricerca indicizzata (ERIH , nonostante le polemiche suscitate, è nata con questa finalità).

Al punto  3.   La presenza nei grandi repertori internazionali online, come J-STOR o Project Muse;

J-stor è un progetto di digitalizzazione di testi (non un database bibliografico né tanto meno bibliometrico) che applica criteri di inclusione dichiarati ma opachi quali ad esempio l’importanza storica del titolo (per quale area linguistica?), l’analisi delle citazioni (con quali strumenti?), il numero di abbonamenti di istituzioni a livello globale (e le riviste ad accesso aperto?), la rilevanza.

Abbonarsi a J-stor ha un costo per le istituzioni, molto alto, e se non si è abbonati il download di articoli per lo più da tempo nel pubblico dominio costa 14 dollari (si veda al riguardo il post di Maria Chiara Pievatolo). Ma al di là dei discorsi di principio, al di là dei criteri di inclusione, vediamo in che modo questo database potrebbe essere utile per la valutazione della ricerca. Poco direi. Le citazioni individuate sono all’interno del database (quindi l’articolo citante deve essere incluso in Jstor perché la citazione possa essere catturata) e per vedere le citazioni di Google Scholar (che comunque vanno raffinate) forse non vale la pena di pagare abbonamenti così costosi. Insomma, questo strumento non nasce per essere utilizzato ai fini della valutazione della ricerca, ma semplicemente per conservare a futura memoria e diffondere (a chi se lo può permettere) testi che in molti casi sarebbero di difficile reperimento.

Lo stesso discorso vale per Project Muse o, ancora di più per HeinOnline (citato nel documento del GEV 12).

Al punto 5.   La presenza nelle maggiori piattaforme digitali italiane;

Di quali piattaforme digitali stiamo parlando? Il Mulino o Franco Angeli hanno delle belle piattaforme digitali, ma certamente il fatto che una rivista del Mulino sia inclusa nella piattaforma omonima non mi pare un criterio di qualità significativo. L’altra piattaforma digitale è Torrossa di Casalini, un aggregatore commerciale di contenuti digitali di cui non si sa quali filtri all’ingresso applichi (se qualche filtro viene applicato) e del resto non è questo il compito di un aggregatore.

13. La presenza di un buon sito internet.

Di ciò ha diffusamente parlato in un articolo di cui consiglio la lettura Maria Chiara Pievatolo.

Nel documento sui criteri del GEV 12 sta scritto:

Indicazioni programmatiche per la creazione di banche dati relative all’area giuridica

Il gruppo di lavoro previsto al § 5, oltre a verificare l’adeguatezza degli indicatori di tipo bibliometrico, ha il compito di fornire al Consiglio direttivo dell’ANVUR un apporto qualificato ai fini dell’eventuale revisione dei contratti già stipulati con gli enti che forniscono banche dati e della stipulazione di contratti con altri enti. A tal fine, esso sarà composto da componenti di ciascun sub-GEV e presenterà un documento preliminare entro il primo quadrimestre del 2012 e un altro nella fase finale della VQR.

Le indicazioni sono un po’ vaghe, ma credo che potendo e dovendo partire da zero (per una volta tanto un vantaggio) l’Accademia italiana dovrebbe evitare di consegnarsi nelle mani di operatori commerciali rinunciando così al controllo sui propri dati.

Cosa è più provinciale? Seguire il mainstream perché così fanno i colleghi delle scienze dure o creare uno strumento ad hoc (magari interoperabile con gli strumenti utilizzati da altri paesi europei) che renda e tenga conto delle specificità della HSS e le rispetti nel tracciare l’uso della comunità scientifica internazionale?

In questo, almeno per una volta, ci auguriamo che gli esperti dei GEV ascoltino i suggerimenti degli specialisti delle scienze dell’informazione. Utilizzare un database non è la stessa cosa che costruirlo.

Send to Kindle

7 Commenti

  1. Cara Paola Galimberti, il punto è che noi (noi in Italia), per le riviste umanistiche, non abbiamo né aggregatori né database citazionali. Possiamo o entrare in quelli esistenti – e questo è certamente positivo per la visibilità – oppure possiamo crearne a livello nazionale. Crearne uno a livello nazionale non ha senso dal punto di vista dell’analisi citazionale: è come continuare a guardarsi l’ombelico solo con uno strumento più raffinato, Sempre ombelico resta. Ha invece molto senso dal punto di vista della disseminazione ossia della creazione di un unico punto di accesso ai materiali full text tendenzialmente completi: e questo conta molto di più che non la valutazione. A me J-Stor o il canale Oxford Journals o simili interessano per le possibilità di accesso che offrono, non per altro. Ma questo costa ? E’ ovvio: tutto costa, non sta qui il problema, basterebbe avere capacità di progettazione e volontà di investimento. Il problema sta semmai nel fatto che abbiamo, tipicamente nel paese delle cento città, una pletora di canali privati finora incapaci di aggregazione. L’unico soggetto sul quale si fare leva sarebbe Casalini. Ma trattare con un privato per questo genere di cose è impossibile, per limiti economico-finanziari. Il privato, i privati si muoverebbero solo dietro un impulso dall’alto e con finanziamenti pubblici, non necessariamente dello Stato italiano, ma anche dell’Europa. Ora, è così difficile pensare a un agente pubblico che guidi un processo di questo genere pilotando una cordata pubblico-privata verso fondi europei ? Una cordata che, sul lato privato, potrebbe includere anche i creatori di tecnologie di analisi bibliografica e citazionale come quelle descritte da Filippo Chiocchetti in un intervento di qualche settimana fa. E una cordata che però, sul lato pubblico, dovrebbe includere anche l’intero sistema open access, che io assolutamente ritengo quello da sviluppare al massimo per i prodotti della ricerca, cioè quelli – e sono la maggioranza – che ritorni economici per gli imprenditori dell’editoria non ne danno. Perché parlo di un agente pubblico a capo di una cordata pubblico-privato ? Perché quel soggetto potrebbe diventare anche un canale di controllo di qualità. Senza proliferazione di ranking di riviste, l’ammissione in quell’aggregatore tramite vaglio di qualità sarebbe sufficiente a indurre un adeguamento a standard opertivi che ancora in Italia troppo poche riviste e editori praticano. Se leggi bene i criteri dei GEV 10-11 troverai accenni vaghi in questo senso: ed è tutto quello che finora siamo riusciti ad ottenere. Sarà un punto di partenza ? Forse sì, a patto che non ci sia arroganza centralistica nel trattare la questione.

    • Caro Abbattista,
      un aggregatore di risorse OAI italiane esiste già, si chiama PLEIADI e lo trova qui: http://find.openarchives.it/

      Lo gestiscono, senza ricevere un soldo per questo, quei due consorzi interuniversitari (CASPUR e CILEA) che da anni sostengono in vario modo lo sviluppo dell’open access nell’università italiana

      Al momento, PLEIADI non fa verifiche di qualità delle fonti che harvesta; ci limitiamo alla verifica di alcuni elementi di compatibilità tecnologica.
      Nulla toglie, anzi, mi piacerebbe molto, lavorare sull’impresa che dice lei: un harvester che -avendo a monte un gruppo di lavoro che valuti le riviste- decida di ammetterle o meno, sulla base di criteri limpidi e trasparenti.

      Se si trovassero poche migliaia di euro l’anno per sostenere il progetto e un metodo di lavoro distribuito e accettato dalla comunità scientifica italiana per elaborare i criteri e garantire sulla scelta delle fonti da includere, si potrebbe partire anche subito.

      Andrea Marchitelli
      Coordinatore scientifico PLEIADI

    • Caro Marchitelli,
      so bene cos’è Pleiadi e lo apprezzo, così come, in generale, sono un sostenitore convinto di Open Access (faccio parte di una commissione del mio ateneo per il suo sviluppo e, anzi, tutti i contatti e i suggerimenti sono benvenuti). Credo anche che tutte le energie che possano essere fatte convergere verso il potenziamento di OA dovrebbero trovare qualche forma di interazione. Quanto a Pleiadi, al quale va tutto il mio plauso, aggiungerei però che si tratta di uno strumento diverso dal tipo di oggetto al quale io personalmente penserei e che si avvicina piuttosto a un database full text di letteratura periodica sul tipo di J-Stor, Muse, Wiley o altri aggregatori trasversali (cioè non ancorati a un singolo editore, tipo Oxford Journals e simili), forse meglio, di Persée. Se tutto questo ambaradan della valutazione servisse a mettere in evidenza la nostra arretratezza in materia, sarebbe già qualcosa.
      Concludo con una domanda tecnica sui contenuti di Pleiadi. Come mai i risultati restituiti in certi casi includono i materiali compresi in U-GOV anagrafe ricerca e in altri no ? Immagino che dipenda dalla configurazione locale degli U-GOV. Ma non sarebbe opportuno avere uniformità di estrazioni ? Grazie e buon lavoro.

    • Uno strumento come quello che lei descrive (una banca dati dei full text delle riviste OA italiane di qualità, se ho ben capito) non presenta, dal punto di vista tecnologico, enormi difficoltà di realizzazione.

      Le difficoltà sono indubbie, invece, dal punto di vista organizzativo ed economico. Nel suo precedente post, lei parlava della possibilità che un agente pubblico guidasse un’operazione del genere, condotta poi da pubblico e privato. Se si trovassero un impulso e un sostegno centrali (MiUR? CRUI? ANVUR) e una modalità organizzativa condivisa, non ci sarebbe alcun problema tecnologico, glielo garantisco.

      Nel merito della sua ultima domanda, invece, qui trova i requisiti per l’adesione a PLEIADI: http://www.openarchives.it/pleiadi/progetto-pleiadi/come-aderire
      Gli U-GOV presenti al momenti in PLEIADI hanno queste caratteristiche che dipendono da scelte e configurazioni locali:
      1. interfaccia compatibile OAI-PMH
      2. interfaccia pubblica su web e non riservata in intranet per l’accesso ai metadati di tutti i prodotti
      3. disponibilita’ di accesso al full-text per una parte dei prodotti.

      PLEIADI è disponibile a ricevere segnalazioni di fonti da includere e a verificarne, senza impegno, la compatibilità.

    • Caro Abbattista,
      leggendo i documenti dei GEV, non trovo accenni, né grandi né piccoli a quanto dici, ma solo indicazioni che portano appunto alla consegna dei dati della ricerca (come già avviene per le scienze dure) nelle mani di operatori commerciali, e un invito a piegarsi alle loro logiche. Forniamo i dati così poi li ricompriamo.
      In un sistema in cui si sia in grado di organizzare i dati secondo degli standard (recentemente sono state approvate dalla Commissione biblioteche della CRUI le linee guida sui metadati per gli archivi istituzionali) e in modo che siano accessibili a tutti, le diverse basi di dati colloquiano fra di loro e i dati possono essere aggregati in vario modo a seconda dei diversi portatori di interesse.
      Un archivio di una istituzione organizzato secondo le linee guida di cui sopra può ad esempio essere fonte di dati per OpenAIRE (utilizzato dalla UE per raccogliere i risultati dei finanziamenti di FP7) o per DART Europe (nel caso delle tesi di dottorato) o ancora per un eventuale portale nazionale, aperto, che raccolga la produzione scientifica di aree non coperte dalle basi di dati commerciali (NARCIS potrebbe essere il modello, o un modello diverso potrebbe essere HAL).
      Ma molto di più, la presenza di abstract e full-text permetterebbe di fare studi di analisi testuale importanti per individuare i temi di ricerca nelle aree HSS la loro evoluzione anche in termini comparativi con altri sistemi di ricerca.
      Una piccola nota di amarezza. Quando parli dell’intero sistema Open Access non mi risulta affatto chiaro a cosa ti riferisci. Il nostro sistema universitario a partire dal Ministero non ha affatto una politica di sostegno all’accesso aperto e in Italia non c’è un sistema Accesso Aperto. Basta vedere quali sono gli atenei che prevedono il deposito obbligatorio dei lavori di ricerca negli archivi aperti (pochi casi meritevoli), o dei fondi ad hoc per la pubblicazione di lavori ad accesso aperto. L’adesione alle raccomandazioni della CRUI sull’accesso aperto alle tesi di dottorato di 36 università http://wiki.openarchives.it/index.php/Applicazione_delle_linee_guida è iniziativa nata e portata avanti dal basso. Ma non solo. L’unico database nazionale che dovrebbe raccogliere e documentare la produzione scientifica di tutti i docenti italiani prevede sì la possibilità di depositare il full-text, ma in maniera invisibile (persino ai propri coautori). Come se la ricerca finanziata con i fondi pubblici (in termini di stipendi dei ricercatori e di finanziamenti di progetti) non dovesse essere naturalmente pubblicamente accessibile.
      E come mai quei lavori di ricerca di cui parli che non danno vantaggio economico agli imprenditori dell’editoria restano spesso gelosamente custoditi e inaccessibili?
      Se pensi che fra il 2004 e il 2006 70 rettori italiani hanno firmato la Dichiarazione di Berlino http://oa.mpg.de/berlin-prozess/berliner-erklarung/ e vedi il seguito che è stato dato alle dichiarazioni di intenti devo dire che la strada da fare è ancora tanta.

  2. Cito da: “Criteri per la valutazione dei prodotti di ricerca
    Gruppo di Esperti della Valutazione dell’area 11 (GEV-11)”:
    “Esso lavorerà alla costruzione di una banca dati significativa per la produzione scientifica italiana in area 11, partendo dalle classificazioni delle riviste, confrontandoli con le
    riviste presenti nelle banche dati CINECA per SSD e quindi con quelle presenti nelle banche dati già esistenti, che si proverà a integrare con le riviste rilevanti in esse mancanti. Si proverà
    al contempo a sperimentare l’applicazione alle banche dati italiane esistenti (e auspicabilmente a quella completa che ci si propone di costruire) di software atto a estrarre informazioni bibliometriche. Ciò al fine di rendere possibile l’adozione, sia pure non esclusiva, anche in area 11 di metodi bibliometrici sofisticati al posto di una semplice classificazione delle sedi di pubblicazione.
    Il gruppo prenderà contatti con le altre aree con problemi affini, e segnatamente col GEV di area 10, per avviare un confronto e una collaborazione che portino auspicabilmente
    alla costituzione di una banca dati ad hoc per tutte le aree delle scienze umane, anche per rimediare, almeno parzialmente, alla loro eccessiva parcellizzazione, e contribuire alla loro
    connessione”.
    Allora, posso dirti che questo tipo di discorsi in seno all’Anvur non esistevano nemmeno ancora in dicembre 2011 e se sono stati fatti in modo ufficiale (quale ne sia poi il seguito reale è tutto da vedere) credo di sapere perché.
    Sul resto che dici sono sicuramente d’accordo con te. Parlo di Open Access come di un progetto da potenziare al massimo (faccio parte di una commissione del mio ateneo che lavora localmente in questo senso e sono in diretto contatto con la Crui su questo, senza contare che dal 1995 lavoro continuativamente con editrici unversitarie che hanno investito moltissimo in OA). Credo senz’altro che tutte le forze intenzionate a sviluppare OA dovrebbero mettersi insieme. In settembre prossimo faremo un convegno a Trieste dove ho invitato Robert Darnton e parleremo proprio di questo ocn un orizzonte un po’ più ampio della nostra povera Italia: interessa ?

  3. E’ appunto da questo che mettevo in guardia. Chiaramente il documento del GEV non può entrare nel dettaglio, tuttavia poiché è evidente che nelle aree 10-12 l’articolo su rivista non è la tipologia di prodotto più significativa, creare una base di dati che includa solo le riviste dà una vista parziale della ricerca svolta e una indicazione falsata ai giovani ricercatori su cosa significhi una pubblicazione prestigiosa in queste aree. Le integrazioni di liste pesate e valutate con estrazioni da Cineca per SSD mi paiono alquanto improbabili, e mettono insieme liste pesate secondo criteri definiti con liste legate agli inserimenti (molto lacunosi) nel sito docente del ministero. Speriamo che gli esperti di valutazione ne siano consapevoli

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.