Volete un aneddoto illuminante sull’etica scientifica dei valutatori di stato? Bonaccorsi, Cicero, Ferrara e Malgarini scrivono un articolo scientifico che difende uno dei capisaldi delle procedure valutative dell’ANVUR e cioè il rating delle riviste nei settori non bibliometrici. Sulla piattaforma F1000, dove l’articolo è stato pubblicato, i nomi e i rapporti dei revisori sono resi pubblici. Tutti gli autori dell’articolo e dei rapporti di referaggio hanno dichiarato di non avere conflitti di interesse. Non per nulla, nel suo ultimo libro, Bonaccorsi (ex consigliere ANVUR) rivendica la sua convinta adesione alla norma mertoniana del disinteresse: «Per quanto mi riguarda, non ho difficoltà a partire dal principale modello normativo della scienza moderna dovuto a Robert K. Merton […] gli scienziati sono universalisti, comunitari, disinteressati e scettici». Ebbene, mentre pubblicavano il loro articolo Bonaccorsi e i suoi coautori erano afferenti all’ANVUR e tre dei quattro revisori partecipavano a progetti di ricerca finanziati nel 2014 dall’ANVUR. È un po’ come se Donald Trump pubblicasse sulla Harvard Law Review un articolo in cui sostiene che i muri posti ai confini tra paesi sono strumenti di riduzione del terrorismo. Si tratterebbe di un’opinione rispettabilissima, ma in flagrante violazione della norma mertoniana del disinteresse. Questo aneddoto è raccontato da Roberto Caso nella sua recensione del libro di Andrea Bonaccorsi La valutazione possibile – Teoria e pratica nel mondo della ricerca, Il Mulino, 2015. Non fa sconti a Bonaccorsi neppure la recensione di Maria Chiara Pievatolo. Se l’autore scrive «Ecco il ruolo essenziale della citazione: se lo scienziato non cita correttamente gli autori precedenti, non viene riconosciuto il suo contributo», la Pievatolo lo prende sul serio e si mette a controllare se Bonaccorsi abbia citato correttamente o meno le sue fonti. Il risultato? L’elenco degli autori fraintesi o citati selettivamente è lungo: Merton, Desrosières, Cole, Whitley, Gläser, Porter. La Pievatolo non esita neppure a rilevare il ricorso a fallacie logiche come l’ignoratio elenchi oppure a sillogismi capziosi (ricorda a Bonaccorsi che da “quasi tutti i mafiosi sono italiani” non segue che “quasi tutti gli italiani sono mafiosi”). Se il libro di Bonaccorsi fosse stato una tesi di dottorato sottoposta ai due revisori Caso e Pievatolo, il candidato avrebbe conseguito il titolo? Prendetevi il tempo per leggere attentamente le due revisioni e lo scoprirete.
Segnaliamo due interessanti riflessioni di Roberto Caso e Maria Chiara Pievatolo che, da punti di vista differenti, affrontano la valutazione della ricerca (e le giustificazioni che ne sono state date nel nostro Paese). Entrambi i contributi sono senza dubbio interessanti anche per la modalità con la quale si aprono alla discussione pubblica, utilizzando lo strumento della open peer review.
La revisione paritaria (peer review) è una parte importante della procedura che conduce alla pubblicazione di un articolo in una rivista scientifica tradizionale, costruita e pensata per la tecnologia della stampa. A due o più studiosi di campi disciplinarmente pertinenti, selezionati discrezionalmente dalla redazione della rivista e protetti dall’anonimato, viene chiesto di pronunciarsi ex ante sulla pubblicabilità di un articolo. Quanto i revisori scartano non vede la luce; e, analogamente, rimangono nell’ombra i loro pareri e la loro eventuale conversazione con gli autori, che ha luogo solo per interposta persona. La revisione paritaria aperta ed ex post consente invece di rendere pubblica l’intera discussione e di riconoscere il merito dei revisori, i quali, come gli autori, rinunciano all’anonimato.
In questo spirito, il Bollettino telematico di filosofia politica propone due articoli:
- Roberto Caso, Una valutazione (della ricerca) dal volto umano: la missione impossibile di Andrea Bonaccorsi
- Maria Chiara Pievatolo, La bilancia e la spada: scienza di stato e valutazione della ricerca
Il primo testo critica la tesi esposta da Andrea Bonaccorsi nel recente La valutazione possibile. Teoria e pratica nel mondo della ricerca, Il Mulino, 2015, condensabile nella seguente affermazione: la valutazione è espressione degli imperativi istituzionali della scienza così come teorizzati da R.K. Merton. Per Roberto Caso l’autore legge l’opera mertoniana in modo distorto e parziale e trascura la dimensione giuridica del rapporto tra norme formali poste dallo Stato nel processo valutativo e regole informali della scienza, E’, infatti, difficile trasformare quanto in Merton era l’ethos condiviso di una comunità scientifica autonoma in norme di diritto amministrativo senza alterarne profondamente la natura. Il disegno della valutazione che Bonaccorsi rappresenta come democratico, dialogico, condiviso e trasparente collide frontalmente con la prassi italiana dell’ANVUR, motore immobile di orrori giuridici e di un gigantesco contenzioso che consegna l’ultima parola sulle pratiche valutative ai giudici.
Il secondo testo si interroga sulle radici filosofiche di questi orrori. Per distinguere la riflessione della ragione teoretica e pratica dagli elementi empirici, prende le mosse da una concessione: fa finta che il sistema di valutazione teorizzato da Bonaccorsi sia una fotografia – mertonianamente – fedele del modo in cui la comunità scientifica valuta se stessa. Ma, perfino con questa assunzione, la sua costruzione ha come esito un sistema di valutazione praticamente dispotico e teoreticamente retrogrado.
Il sistema è dispotico perché trasforma un ethos informale e storico in una norma di diritto amministrativo fissa, che cessa di essere oggetto di scelta da parte della comunità scientifica; ed è retrogrado perché, stabilendo questa norma, cristallizza, come nel castello incantato della Bella addormentata nel bosco, l’evoluzione in un fermo-immagine non più superabile senza ulteriori interventi amministrativi. A questo argomento principale si aggiungono alcune parti accessorie: la prima si occupa della questione, proposta da Bonaccorsi, della verificabilità empirica di alcune tesi dei suoi critici; la seconda prende in esame un campione di citazioni addotte dall’autore a sostegno di alcuni passaggi argomentativi importanti.
Entrambi i contributi sono ispirati dalla prospettiva ideale e critica della scienza aperta, che è già in grado di orientare, perfino con gli strumenti attualmente esistenti, un sistema di valutazione più conforme al principio costituzionale della libertà delle arti, delle scienze e del loro insegnamento.
Le istruzioni per che desidera partecipare alla revisione paritaria aperta si trovano qui.
Per quanto sia un argomento interessante da cui si impara molto, è impossibile per me dedicarvi tanto tempo, su una materia non mia. Ho dato uno sguardo però al curriculum nel sito Anvur
http://www.anvur.org/index.php?option=com_content&view=article&id=362:cv-andrea-bonaccorsi-it&catid=61:curriculum&lang=it
Anche quello è istruttivo. Raccogliendo di qua e di là: laureato in Economia e commercio; ha condotto studi pionieristici volti a costruire basi statistiche comparabili a livello internazionale con microdati sulle istituzioni di istruzione superiore, incluse le università; ha un h-index di 24, oltre 3100 citazioni totali e un lavoro con oltre 600 citazioni; ha svolto attività di valutazione della ricerca per varie Agenzie nazionali (Francia, Canada), per il MIUR e per la Commissione Europea. Ma questa è solo una minima parte e forse nemmeno la più rilevante. Come si concilia tutto ciò con le succitate recensioni a un libro di cui non ho capito se è stato pubblicato durante la sua permanenza all’Anvur? Se quest’attività più che enorme e apprezzata non collima in qualità con un libro pubblicato di recente, dopo un mare di esperienze professionali di ogni tipo, cos’è che non va? La cosa è assurda, per me, e desolante, qualcosa proprio non mi torna, ma in fondo sarà soltanto invidia? Per me non è stato facile nemmeno con un figlio, lui ne ha quattro. Dormirà 2 ore per notte.
Nel 2013, mi è capitato di leggere un Policy Brief redatto da Bonaccorsi per la Comunità Europea. Con ogni evidenza, i conti non tornavano (https://www.roars.it/andrea-bonaccorsi-e-le-classifiche-degli-atenei-voodoo-rankings/). Approfittando del fatto che Bonaccorsi ne illustrava i contenuti in una sua “Distinguished Lecture” (un’altra riga nel già ricchissimo CV) ho chiesto spiegazione delle incongruenze che avevo notato:
_______________
«Dalla risposta di Bonaccorsi sembra che, nonostante il Policy Brief parli esplicitamente di decili, le “medaglie” siano state attribuite in altro modo. Più precisamente, le medaglie sarebbero state date alle università il cui score (ottenuto dalla media dei sei indicatori normalizzati), dopo essere stato a sua volta normalizzato tra 0 e 100, si colloca tra 70 e 100. Le medaglie d’oro sarebbero state assegnate a chi ottiene uno score normalizzato tra 90 e 100. Chi possiede qualche basilare nozione di statistica descrittiva capisce che non sono stati usati i decili. La conseguenza è che, rispetto al totale dei concorrenti, la percentuale di medaglie e di medaglie d’oro assegnate cambia da classifica a classifica. In un certo scientific field le medaglie d’oro potrebbero essere il 7% e in un altro il 3%, tanto per dire. Inoltre, in termini statistici queste variazioni della percentuale potrebbero essere influenzate dal numero di università in competizione in quel field. A questo punto sommare il numero di medaglie per confrontare i continenti fornisce risultati il cui valore è del tutto discutibile e che non passerebbero il filtro di una qualsiasi peer-review scientifica.»
https://www.roars.it/andrea-bonaccorsi-e-le-classifiche-degli-atenei-voodoo-rankings/#comment-13507
_________________
Uno svarione colossale, insomma. Per una sorta di contrappasso, l’errore riguardava i decili, di cui la mediana è un caso particolare. Non per nulla, l’anno prima l’ANVUR per giustificare le sue incertezze sulle mediane ASN 2012 (pubblicate, ritirate e poi ripubblicate con valori incrementati per i settori bibliometrici e decrementati per quelli non bbliometrici) ci aveva spiegato che:
_________________
il DM 76 (art. 1 lettera p) definisce il concetto di mediana come “il valore di un indicatore o altra modalità prescelta per ordinare una lista di soggetti, che divide la lista medesima in due parti uguali”. Questa definizione, pur univoca, lascia però un importante punto di ambiguità
https://www.roars.it/abilitazioni-e-mediane-anvur-non-potuto-fare-altro-profumo-sotto-accusa/
_________________
Un appello ai colleghi: prima di promuovere qualcuno che incespica sui fondamentali, fatevi un esame di coscienza. Potrebbe fare carriera.
Va però detto che far parte di un gruppo di ricerca finanziato da ANVUR ti apre gli occhi sui molteplici pregi del libro di Bonaccorsi. Si veda per esempio la recensione di Chiara Faggiolani che in alcuni passaggi raggiunge vette difficilmente eguagliabili:
_________
«Gli studiosi, i ricercatori, gli appassionati al tema della valutazione (non solo della ricerca scientifica) si troveranno a confrontarsi con pagine complesse, dense di citazioni e di rimandi alla letteratura, soprattutto extra-disciplinare. Si respira in tutto il libro l’aria del dibattito internazionale, tra le pagine si intrecciano percorsi inter-disciplinari e per ogni ipotesi discussa si ha la possibilità di risalire alla sua evoluzione storica, di riviverne il dibattito epistemologico. Non c’è mai, in tutto il volume, una opinione a favore o contraria alla tesi valutativa per la quale l’Autore non sia andato alla ricerca del supporto delle evidenze empiriche.
[…]
il bello di questo libro sta soprattutto tra le pieghe del racconto, nel passaggio da una idea all’altra e nei legami che l’Autore ha saputo individuare.
[…]
Pensiamo che sarebbe stato bello leggere questo libro qualche anno fa, perché forse ci avrebbe aiutato a interpretare quanto stava accadendo e sarebbe accaduto, riportandoci su un piano diverso da quello delle procedure amministrative e della rendicontazione: il piano epistemico della ricerca, dello studio che necessariamente i ricercatori (i valutati!) amano e sentono proprio. Il processo è appena iniziato e c’è tanta strada da fare ma la valutazione è possibile, come il titolo del libro ci ricorda.»
________
C. Faggiolani, Recensione a “A. Bonaccorsi, La valutazione possibile: teoria e pratica nel mondo della ricerca, Bologna, Il Mulino, 2015”, in AIB studi, V. 56, N. 2 (2016), http://aibstudi.aib.it/article/view/11504/10728#3.
_______
Come osservato da Roberto Caso, Chiara Faggiolani figura nel progetto For a LIable evaluation of Book’s ROle in Socio-Economic Sciences and Humanities: an international comparison (LI.B.RO.): http://www.dolinfige.uniroma1.it/node/6338.
Chiara Faggiolani: «c’è tanta strada da fare ma la valutazione è possibile, come il titolo del libro ci ricorda»
Ho guardato la presentazione del progetto “For a LIable evaluation of books role ecc. ” https://www.researchgate.net/project/LIBRO-For-a-LIable-evaluation-of-Books-Role-in-Socio-Economic-Sciences-and-Humanities-an-international-comparison
Naturalmente si tratta del libro moderno. Dalla prima frase dell’abstract si apprende che la ricerca riguarda il libro e la monografia. Non ho capito se i due sono in questo caso in rapporto sinonimico, poiché leggo che “Nella biblioteconomia e scienza dell’informazione un libro è detto monografia, per distinguerlo dai periodici come riviste, bollettini o giornali.” (Wikip.) Ma per il resto, più in generale “Un libro è un insieme di fogli stampati oppure manoscritti delle stesse dimensioni, rilegati insieme in un certo ordine e racchiusi da una copertina.” (Wikip.) In altri contesti, infatti, il libro non equivale a una monografia, soprattutto non a una monografia scientifica, perché anche la pubblicazione di una raccolta di fiabe o poesie (di un solo autore) può avvenire sotto forma di libro. Inoltre, una monografia può attualmente essere pubblicata on-line, senza supporto cartaceo. Anzi, per certe valutazioni si scoraggia l’invio del cartaceo. Poi ancora, alcuni libri (voluminosi) contengono più monografie. Questo soltanto per dire che la messa a fuoco precisa del tema, la sua definizione, è un primo requisito indispensabile. Diversamente, come si fa la campionatura e su cosa si eseguono le misurazioni e valutazioni? Avrei indicato ad es. le monografie che superassero le 100 pagine, ma così si presentano altri interrogativi. 101 pp. possono essere valutate alla stregua di 500? La dimensione di pagine e caratteri incide sul volume totale del cartaceo? E certo che incide, per cui, diminuendo i caratteri, le 500 pp. potrebbero ridursi a 101 (sto esagerando, ovviamente). Poi ci sono monografie scritte da più persone, perché no? E se a ciascuna attribuiamo la metà della monografia, la metà equivale a un intero? E dunque va indicato, secondariamente e soprattutto, cosa si intende per monografia, lasciando stare il libro.
Per arricchire il quadro sulle già valutazioni espresse sul volume protagonista di questo post, mette conto ricordare la recensione di Simona Turbanti (che afferisce al sistema bibliotecario dell’Università di Pisa), apparsa su Bibliothecae.it 5 (2016), 2, 501-511, ove il libro viene introdotto fin dalle prime battute come una
La nota di lettura si chiude così:
Importa la prospettiva distaccata? Importa, importa…
Quando leggo simili conclusioni mi chiedo – superficialmente – come siano potuti esistere Pitagora e Socrate, Giordano Bruno e Galileo Galilei, Kant e Semmelweis (https://explorable.com/semmelweis-germ-theory) – prima dell’invenzione della valutazione della ricerca, o addirittura contro le opinioni riconosciute dalle autorità del tempo – quali il demos, la chiesa, la censura di stato, la medicina ufficiale. Ma, riflettendoci meglio, mi rendo conto che Simona Turbanti ha ragione: i sistemi di valutazione dispotici e retrogradi mettono i ricercatori alla prova e selezionano – quando non li avvelenano o li bruciano per un eccesso di zelo che bonaccorsianamente possiamo considerare “aneddotico” – quelli più seriamente, e talvolta eroicamente, motivati. Quello che non li uccide, quando non li uccide, li rende più forti :-)
Segnalo, per completare il quadro, la recensione di Riccardo Pozzo su Il Sole 24 ore del 24 luglio 2016
http://www.ilsole24ore.com/art/cultura/2016-07-22/humanities-valutazione-possibile–151410.shtml?uuid=ADNxW7u
Ecco l’incipit:
“Andrea Bonaccorsi riprende e rilancia in MANIERA AUTOREVOLE [maiuscolo mio] il dibattito sulla libertà di ricerca nelle discipline umanistiche e la polemica sui limiti della misurazione e della valutazione quantitativa nella realtà sociale, proponendo – questo il rilancio – degli ELEMENTI PER UNA NUOVA TEORIA DELLA VALUTAZIONE [maiuscolo mio]. Partendo dal problema weberiano circa la non oggettività dei giudizi di valore, obiettivo di Bonaccorsi, non senza ironia, è inquadrarlo dal punto di vista antropologico (thick descriptions, habitus, conflitti, avvelenamenti del pozzo, reputazione) per individuare i presupposti per una valutazione migliore; impresa non impossibile, suggerisce Bonaccorsi, a patto che si trovi consenso su un minimo denominatore comune. Stabilire insomma se nei settori disciplinari delle scienze umane e sociali sia accettabile affidare la valutazione, in via prevalente o esclusiva, a indicatori bibliometrici internazionalmente riconosciuti, che tuttavia non tengono conto delle peculiarità metodologiche ed epistemologiche delle scienze umane e sociali”.
https://www.youtube.com/watch?v=XAYhNHhxN0A
L’unica recensione critica al libro di Bonaccorsi che ho trovato – e che è citata nel saggio di Maria Chiara Pievatolo – è quella di Massimo Mori su Rivista di filosofia (ISSN 0035-6239)
Fascicolo 1, aprile 2016.
Sebbene Mori giunga a conclusioni opposte a quelle di Maria Chiara Pievatolo e mie, egli prende le mosse dallo stesso tipo di critica a Bonaccorsi che si ritrova nelle nostre pagine.
Qui di seguito un passaggio della recensione di Mori:
“In conclusione, attraverso queste due letture [Pizzorno e Peirce] Bonaccorsi sembra assegnare al processo di valutazione della ricerca un carattere spontaneo, un essere nella natura delle cose che esso probabilmente non ha [io direi: sicuramente non ha]. La valutazione non è l’esplicazione di qualcosa che in qualche modo c’è già ed è sempre stato implicitamente fatto. Essa è un processo artificiale, che si serve di strumenti artificiali per un fine artificiale. Di qui la difficoltà di accedere a criteri condivisi, che forse per alcune discipline non saranno mai completamente tali.
E questa artificialità nasce dal fatto che la valutazione della ricerca è conseguenza di una condizione accademica che, se certo non si può definire artificiale, ha comunque rivoluzionato l’impostazione tradizionale di quella università la cui fondazione teorica risale al 1810, con l’istituzione dell’Università di Berlino secondo i princìpi di Wilhelm von Humboldt”.
By the way, Massimo Mori è il coordinatore del GEV 11a.
http://www.anvur.it/index.php?option=com_content&view=article&id=853:area-11a-scienze-storiche,-filosofiche-e-pedagogiche-2011-2014&catid=2:non-categorizzato&Itemid=613&lang=it
Chiara Faggiolani e Simona Turbanti , citate qui sopra quali autrici di recensioni del libro di Bonaccorsi, sono state cotitolari di un paio di corsi di formazione (il mondo è piccolo, come si suol dire). In rete si trovano le slide del corso “Valutazione della ricerca: finalità, metodi, strumenti” tenuto il 4-5-2016 presso l’Università di Macerata (http://biblioteche.unimc.it/it/casb/La%20valutazione%20della%20ricerca_Univ_Macerata.pdf). Dopo il sommario e qualche titolo il corso si apre con la seguente slide che mette subito in evidenza la profondità e l’articolazione della visione epistemologica alla base degli esercizi di valutazione.
_________
_________
Mio commento: se ai tempi di Galileo invece del Sant’Uffizio ci fosse stata l’Anvur, il Journal of Ptolemaic Studies stava in classe A, i ricercatori di scuola copernicana non superavano le soglie ASN e noi saremmo ancora convinti che il sole gira intorno alla terra.
Non male anche il punto 4 di questa robusta e feconda visione epistemologica:
“La valutazione deve essere IL PIU’ POSSIBILE imparziale, e quindi prescindere, PER QUANTO E’ POSSIBILE, da preferenze personali e SOLIDARIETA’ CULTURALI”.
Mi sento decisamente più sereno.
Poi però a rifletterci meglio, mi ricorda il fraseggio e lo stile delle ultime linee guida per l’accreditamento delle sedi e dei corsi di dottorato… Allora quella serenità rischia di dissolversi, e torna ad affacciarsi una preoccupazione mertoniana.
Il Sant’Uffizio non affermava che Galileo era un cattivo scienziato; diceva solo che era uno *scienziato cattivo* perché aveva trattato la teoria copernicana come qualcosa di più di un’ipotesi meramente matematica. «L’autore sostiene di aver discusso un’ipotesi matematica, male conferisce una realtà fisica, ciò che i matematici non faranno mai». E lo diceva con un processo pubblico, i cui giudici non erano anonimi.
La valutazione di stato del XXI secolo, facendo a meno della pubblicità e delle procedure processuali, è molto più efficiente ed efficace, e ha il pregio ulteriore di poter essere affidata a menti meno raffinate di quella di san Roberto Bellarmino (http://disf.org/copernicanesimo-foscarini-bellarmino).
La Chiesa non poté seguire questa via sia perché la prima rivista scientifica fu fondata poco più di trent’anni dopo il processo a Galilei, sia perché quella rivista non era un luogo in cui si sentenziava, bensì un luogo in cui si discuteva, anche fino allo sfinimento.
La superiorità della valutazione del XXI secolo rispetto a quella del XVII secolo – per la quale la Chiesa, qualche secolo dopo, dovette addirittura scusarsi – mostra che la scienza della valutazione è in costante, evidente progresso verso il meglio. Per lei.
Postilla. La slide di cui sopra mi ricordava qualcosa. Ebbene sì. Pure senza citare esplicitamente Diego Marconi, vengono ripresi punto per punto i suoi “cinque pilastri” non della saggezza (T.E. Lawrence ci perdoni) ma della “cultura della valutazione”. Eccoli:
______________
(1) In tutte le aree del sapere c’è ricerca migliore e ricerca peggiore;
(2) La distribuzione delle risorse, specialmente in tempi di scarsità, non deve essere indiscriminata e «a pioggia», ma deve premiare la ricerca migliore a scapito di quella meno buona;
(3) La distribuzione delle risorse richiede quindi una valutazione della qualità della ricerca pregressa;
(4) La valutazione deve essere il più possibile imparziale, e quindi pre- scindere, per quanto è possibile, da preferenze personali e solidarietà cul- turali (per non dire da pressioni lobbistiche e rapporti clientelari);
(5) Perciò, la valutazione deve, nella misura del possibile, essere basata su indicatori oggettivi scelti consensualmente dalle comunità scientifiche di riferimento.
______________
Pilastri enunciati in un articolo (D. Marconi, “Sulla valutazione della ricerca in area umanistica, e in particolare in filosofia”, Iride 2012) che, a suo tempo, Antonio Banfi ed io avevamo recensito su Aut Aut. La recensione era stata ripubblicata su Roars con questa presentazione:
______________
«“In tutte le aree c’è ricerca migliore e ricerca peggiore”: secondo Diego Marconi, questa è la prima di cinque fondamentali tesi che costituiscono la “cultura della valutazione”. Una cultura affascinante, come solo sa esserlo l’ignoto, se si deve giudicare dal suo articolo, Sulla valutazione della ricerca in area umanistica, e in particolare in filosofia, apparso sulla rivista scientifica Iride. Marconi invoca l’uso di indicatori oggettivi, ma fornisce una definizione palesemente errata dell’Impact Factor e confonde in più occasioni l’esercizio di valutazione inglese con quello australiano. Sebbene affronti argomenti che sono oggetto di studio da decenni, nessuna delle ventisette note cita pubblicazioni scientifiche. In compenso abbondano “la Repubblica”, “Il Sole-24 ore” e il “Corriere della Sera”.»
https://www.roars.it/diego-marconi-e-la-valutazione-della-ricerca-fascination-with-the-unknown/
_____________
Insomma, sempre nel solco della norma mertoniana del disinteresse, D. Marconi aveva scritto un articolo (fascia A, naturalmente) sulla valutazione in area umanistica (e in filosofia) senza menzionare che all’epoca era membro del Gruppo di Esperti della Valutazione dell’Area 11 – Scienze storiche, filosofiche, pedagogiche e psicologiche.
Che lo crediate o meno, Marconi era noto come stimato filosofo del linguaggio. Poi arriva ANVUR. Ed ecco che entra nel GEV, scrive su un argomento che non domina, sbaglia la definizione di Impact Factor, confonde l’esercizio di valutazione australiano con quello inglese, si mette a citare Repubblica, Corriere e Sole 24 Ore al posto della letteratura scientifica del settore. Gli anvuriani sono pur sempre dei nostri colleghi. Che cosa è successo? Sono rimasti vittime di un’invasione aliena di Body Snatchers?
_________________
________________
Dr. Kauffman: Less than a month ago, Santa Mira was like any other town. People with nothing but problems. Then, out of the sky came a solution. Seeds drifting through space for years took root in a farmer’s field. From the seeds came pods which had the power to reproduce themselves in the exact likeness of any form of life.
Miles: So that’s how it began…out of the sky.
Dr. Kauffman: Your new bodies are growing in there. They’re taking you over cell for cell, atom for atom. There is no pain. Suddenly, while you’re asleep, they’ll absorb your minds, your memories and you’re reborn into an untroubled world.
Miles: Where everyone’s the same?
Dr. Kauffman: Exactly.
Miles: What a world. We’re not the last humans left. They’ll destroy you!
Dr. Kauffman: Tomorrow you won’t want them to. Tomorrow you’ll be one of us.
ti ho risposto in un altro post. … esiste la “evidence based medicine”, ma questo non vuol dire che la medicina sia una scienza esatta!
@Paolo grazie della risposta…Nemmeno la religione è una scienza esatta, infatti se una chiede un miracolo e lo ottiene è merito del Santo, se non lo lo ottiene o ha fatto peccati troppo grandi o il Santo è Santo comunque…
E si la matematica è un’altra cosa, ma anche la scienza è un’altra cosa dalla religione e dalla medicina…La prima (una volta) e la seconda, oggi vengono sostenute più dal potere che dalla “evidence based…
Paolo@ scusa ma non so se hai visto: hanno radiato Gava dall’ordine dei medici di treviso, bloggher del FattoQ molto serio competente e pronto alla discussione…Non è il nuovoa Galilei certo, ma è il sintomo della nuova religione scientista medica. Possibile? Trovo la cosa importante e inquietante… Su roars si combatte tutti i giorni contro Anvur bene certo, ma non è che guardiamo l’albero e non vediamo la foresta??!!!
Resto nelle posiioni di sostegno a roars ovviamente viva roars
Lasciatemi studiare, vorrei solo dire…
http://www.ilfattoquotidiano.it/2017/05/05/vaccini-il-medico-radiato-roberto-gava-non-li-rifiuto-ma-sono-perplesso-dalla-vaccinazione-indiscriminata-di-massa/3561963/
… si faccia degli studi sperimentali con un numero congruo di soggetti e poi parli … possibilmente meno con termini generici, ma con più dati …
No. Studi sperimentali no. Hanno già sperimentato spendendo i milioni di ben 2 VQR!
Dato che sono stata “citata” più volte insieme a altri colleghi, vorrei fare qualche precisazione sulla recensione da me pubblicata sul volume del prof. Bonaccorsi.
Non millanto competenze in settori disciplinari che non mi sono propri – storia e filosofia della scienza, scienze giuridiche o altro – ed è quindi possibile che non abbia colto eventuali lacune o inesattezze del lavoro.
Mi chiedo, però, come mai si debba dare per scontato che una persona non possa apprezzare la lettura complessiva del saggio senza che siano tirati in ballo elementi terzi – vedi la mia appartenenza al Sistema bibliotecario dell’ateneo di Pisa – che non hanno alcuna relazione né con l’opera né con l’autore.
Il fatto che Bonaccorsi sia un docente dell’Università di Pisa non ha alcun rilievo nella questione, come non implicherebbe nessuna complottistica connivenza un’eventuale recensione mia o di qualunque collega dell’ateneo pisano di un lavoro della prof.ssa Pievatolo, anch’essa della mia università.
Oltre a ciò, se chi mi ha “citata” avesse letto attentamente il mio profilo – pubblico, su Scholar o su Academia.edu e ResearchGate – avrebbe notato che tutti i miei lavori di ambito bibliometrico risalgono al periodo del mio congedo dallo SBA pisano, quando ho intrapreso un dottorato di ricerca presso La Sapienza di Roma in scienze documentarie con una tesi in cui sono stati studiati, analizzati – e criticati, udite udite… – strumenti e metodi della bibliometria, metriche alternative, ecc.
Introdurre una “cultura del sospetto”, personalizzando la polemica anziché ragionare su basi oggettive, rappresenta un modo scorretto di affrontare un argomento.
Senza scomodare Pitagora, Copernico e Galileo credo che una scienza aperta dovrebbe partire proprio dal giudicare in modo più oggettivo possibile i lavori di uno studioso e non dalla ricerca di presunti e capziosi nessi di presunte e capziose connivenze.
Se davvero “importa la prospettiva distaccata” (cit.), mi sembra che questo non sia il modo giusto per alimentare una discussione degna di questo nome.
Dispiace, almeno a me che vi seguo da tempo, constatare un’atmosfera un po’ da stadio, ormai tipica purtroppo di molta parte della politica e che, invece, dovrebbe rimanere estranea al mondo scientifico di cui i membri di Roars fanno parte.
Simona Turbanti: “ho intrapreso un dottorato di ricerca presso La Sapienza di Roma in scienze documentarie con una tesi in cui sono stati studiati, analizzati – e criticati, udite udite… – strumenti e metodi della bibliometria, metriche alternative, ecc. ”
________________
Visto che il dottorato non è stato conseguito all’IMT (dove non è un grave problema incollare testi altrui senza virgolettare), mi domando se nella slide del corso di Macerata in cui si riportano parola per parola “I cinque pilastri” di Diego Marconi non ci potesse stare una citazione alla fonte.
Una slide intitolata “I presupposti degli esercizi di valutazione” ha un significato diverso se in fondo si cita come fonte l’articolo di un membro GEV (che, tra l’altro, loda indicatori di cui sbaglia persino la definizione) oppure se non si cita nulla, come se fossero principi ben noti e condivisi da tutti. Ecco, non riconoscere la fonte di quei presupposti (dandoli quindi per scontati) non è molto diverso che sostenere che Bonaccorsi “ci permette di ‘vedere dall’alto’, in una prospettiva distaccata, un tema tanto dibattuto come quello della valutazione della ricerca”.
Simona Turbanti, se vogliamo tutti – anche i tifosi della valutazione – concentrarci sulle argomentazioni e non sulla retorica che le accompagna, allora potremmo prendere le mosse dalla piattaforma del Bollettino Telematico di Filosofia Politica dove gli scritti di Maria Chiara Pievatolo e mio sono esposti alla revisione paritaria aperta.
Finora non ho avuto il piacere di leggere un’obiezione argomentata a quello che è la nostra tesi di fondo: la traduzione in norme giuridiche formali delle norme informali di giudizio delle comunità scientifiche produce effetti devastanti (innanzitutto in termini di compromissione dell’autonomia della scienza). In ogni caso, tale traduzione non ha niente a che fare con Merton.
Se si sostiene che le nostre opinioni siano maturate in un clima di sospetto occorre provare su cosa si basa questa affermazione.
Io gradirei una risposta ad alcune semplici domande che pongo nel mio articolo.
a) Quando gli autori di un articolo sulla valutazione appartengono a un’agenzia valutativa che li stipendia scrivono in nome dell’agenzia o della scienza?
b) I revisori del medesimo articolo non avevano l’obbligo morale (mertoniano) di dichiarare che avevano ricevuto finanziamenti dall’agenzia a cui afferiscono gli autori?
E’ lo stesso problema di fondo che rende tremendamente e ineluttabilmente fragile il libro di Bonaccorsi. Il libro giunge nel tempo sbagliato. Se Bonaccorsi lo avesse scritto prima di diventare l’ingegnere del processo valutativo dell’ANVUR, sarebbe stato espressione delle norme mertoniane (la fallacia della sua tesi sarebbe rimasta intatta, ma almeno la difesa della stessa sarebbe apparsa disinteressata). Purtroppo non è questa la storia.
Dunque, il mio invito è a usare la revisione paritaria dei nostri scritti e ad entrare nel merito delle nostre argomentazioni.
Se anche questo non è possibile, io sono sempre disposto a partecipare a un seminario pubblico nel quale lei può invitare chiunque ritenga opportuno (a cominciare da Bonaccorsi, ovviamente).
In un contesto di questo genere si avrebbe l’occasione di confrontarci serenamente e pacatamente.
Di questo stiamo parlando e non delle gare o dei campionati a cui pur allude – se lo si legge con attenzione – il libro di Bonaccorsi.
“La competizione non è quindi utile perché imita il mercato, ma perché consente di correggere gli errori e di migliorare la propria attività prima e meglio di altri meccanismi. E si potrebbe dire la stessa cosa della valutazione:essa serve a fornire elementi utili per migliorare.” Lo scrive Bonaccorsi nel penultimo capoverso del V paragrafo del capitolo IV del libro che abbiamo discusso.
Personalmente, e anti-competitivamente, intendo la revisione paritaria aperta come collaborativa. L’ho anche scritto (capoverso 147 dell’articolo in discussione). Ma per collaborare bisogna essere in due, ed essere dei pari: noi, unilateralmente, abbiamo messo i nostri testi a disposizione sul web senza barriere economiche, abbiamo cercato, tutte le volte che il copyright ce l’ha reso possibile, di addurre pezze d’appoggio testuali accessibili per le nostre citazioni, approfittando delle eccezioni al diritto d’autore per incollare in nota brani anche lunghi, e abbiamo offerto una piattaforma per discuterli aperta a chiunque voglia presentarsi col proprio nome.
Sulla questione del sospetto, invito inoltre a leggere l’informatico Bertrand Meyer, che spiega perché firma i suoi referee report: http://se.ethz.ch/~meyer/publications/online/whysign/, sostenendo che la conversazione con gli autori dissipa all’origine le teorie complottistiche che trovano il loro humus nella penombra.
Simona Turbanti, quando nel dibattito scientifico si introduce il potere amministrativo – ossia, metaforicamente, la spada – rispettare una serena “oggettività” scientifica diventa molto difficile. L’avevo scritto (paragrafo 39 dell’articolo di cui si discute) prima che iniziasse questo dibattito. Non posso che ripeterlo adesso. Quando nella discussione c’è qualcuno che tiene in mano la spada, il sospetto diventa inevitabile per tutti e nei confronti di tutti: anche se, di questi tempi, è più facile recensire favorevolmente certi libri che criticarli, è ben ovvio che l’intero dibattito diventa agonistico, sia da parte di chi sta con la spada, sia da parte dei pochissimi che le si oppongono. Ma con una differenza importante: non è responsabilità di “Roars”, o mia, se siamo in questa situazione. Le classifiche e le liste di riviste – da stadio anche quelle? – non sono certo un’invenzione sua, o mia.
Simona Turbanti, nel brano citato della sua recensione la prospettiva distaccata viene riferita al volume di Bonaccorsi.
Ed è al distacco necessario fra l’autore, l’oggetto del suo studio e al ruolo istituzionale che l’autore ha ricoperto in ANVUR che evidentemente si alludeva.
Concederà che evocare visioni “dall’alto e distaccate” – quando chi propone lo studio recensito ha assunto un ruolo di primo piano nell’istituzione che in Italia conduce la valutazione della ricerca scientifica in difetto di quella essenziale autonomia dall’esecutivo che avrebbe dovuto caratterizzarne fin dall’origine il funzionamento – espone all’esercizio di una recensione critica della propria recensione.
Lungi dal voler propiziare excusationes non petitae, è parso opportuno offrire ai lettori un quadro completo delle recensioni ricevute dall’opera oggetto del post di ROARS, fra cui la sua.
Osservazioni di taglio scientifico da svolgere sulle recensioni all’opera che anche lei ha recensito possono essere svolte con grande precisione nella sede in cui queste recensioni sono state pubblicate, utilizzando la piattaforma ispirata al modello della valutazione aperta.
Non evochiamo impropriamente culture complottistiche o atmosfere da stadio. Rivendichiamo, piuttosto, l’importanza cruciale del “distacco” nel dialogo scientifico e nella valutazione della ricerca.
Paolo@ aiuto…ho visto che hanno radiato anche un(a) medico (a) dall’ordine di Verona perchè tiepida con la vaccinazione (siamo alla santa Inquisizione?). Se in un contenzioso “scientifico” uno sostiene che la terra gira intorno al sole o viceversa non sarebbe il caso di chiedere a qualcuno un po’ al di sopra delle parti (tipo silvio Garattini) invece che all’associazione dei biblisti qual’è la verità? boh
Davvero non capisco. Non sono un membro autorevole di nulla…ma non ti sembra che roars (qualcuno dei valenti redattori e collaboratori) oltre che andare a caccia di Anvur potrebbe (ro) prendere in considerazione questo tema?
Viva cmq roars
sempre per Paolo@ l’unico giornale che sembra avere una posizione nn ortodossa è il giornale http://blog.ilgiornale.it/locati/2017/05/01/vaccini-o-tavole-della-legge/
incredibile?!!!
Se volete sperimentare un sistema sofisticato di revisione paritaria aperta ora potete commentare e votare i nostri articoli anche su SJScience.org, qui (Roberto Caso) e qui (me).