Spett. Redazione, visto che sono uno degli autori di questo piccolo intervento (che forse voi avete selezionato autonomamente), vorrei lasciare un commento non tanto all’articolo, quanto al tema più generale della valutazione, soprattutto in area umanistica (dei due interlocutori, io sono lo storico). Penso che in materia di bibliometria, intesa come supporto alla valutazione della ricerca scientifica, si dicano da entrambi i lati – pros e cons – cose molto sensate, che non starò a riassumere: basti dire che, pur essendo un ammiratore di Donald Gillies, preferisco stare all’interno del perimetro di questo dibattito piuttosto che tirarmene fuori con sdegno, come fanno in molti soprattutto in Francia (tra tutti v. “L’idéologie de l’évaluation. La grande imposture”, in Cités, 37, 2009). Raramente però si cerca di tenere separati due aspetti che sono per natura separati: la valutazione e la bibliometria. Se li guardiamo separatamente, è chiaro ed è perfino tautologico dire che entrambi presentano aspetti non solo positivi, ma necessari. L’una e l’altra infatti consentono di analizzare, in sedi diverse e con finalità che possono (forse debbono) essere diverse, il complesso mondo della produzione scientifica costituito dalle pubblicazioni, dai loro formati e dai loro canali e metodi di diffusione. Questo è uno dei problemi fondamentale della storia del sapere scientifico che non bisogna mai dimenticare quando si ragiona di valutazione e bibliometria. Ora, se la bibliometria (whatever it means) ha preso piede nel modo che sappiamo in certi ambiti culturali nazionali e disciplinari è perché in quegli ambiti alcuni strumenti innovativi di circolazione e diseminazione del sapere scientifico si sono affermati in modo significativo (mi riferisco ai grandi database full-text e agli aggregatori editoriali). E cos’è che in un paese come il nostro fa sì che in determinate aree disciplinari come quelle umanistiche sia ancora pressoché impossibile parlare di analisi bibliometriche ? L’assenza di quei database e di quegli aggregatori. Tuttavia, questi database e aggregatori sono senza dubbio uno straordinario strumento di progresso del sapere, dal lato della disseminazione. Allora, il ragionare di valutazione bibliometrica costituisce, da questo punto di vista, una ottima opportunità per puntare il dito su un aspetto di drammatica arretratezza del nostro sistema-ricerca e dell’editoria scientifica: l’assenza di strumenti adeguati di disseminazione come ne esistono da tempo o sono stati creati anche in tempi recenti in molti altri paesi. In conclusione: una analisi di tipo bibliometrico, in senso lato (ossia non solo analisi citazionale o costruzione di indici di impatto, ma analisi quantitativa di produzione e circolazione)), non può che essere positiva in campo umanistico perché consente di mettere al centro dell’attenzione due temi: quello dei formati e della disseminazione dei prodotti della ricerca e del ruolo dell’editoria accademica; e quello della necessità di disporre di grandi database testuali full-text e aggregatori editoriali, come ne esistono nel mondo anglofono e ormai anche francofono. Questi ultimi richiedono investimenti pubblici e privati, risorse umane e finanziarie e una capacità progettuale di cui il nostro sistema-ricerca pare sprovvisto del tutto. Se discutere di valutazione facesse emergere anche questo punto centrale e magari ne avviasse la soluzione sarebbe già un risultato di grande importanza. I risultati positivi della disponibilità di quegli strumenti supererebbero largamente qualsiasi inconveniente legato a prassi di valutazione quantitative frettolose e superficiali (che pure vanno tenute attentamente sotto controllo). E solo a quel punto acquisterebbe concretezza anche per le aree umanistiche una discussione sul valore delle analisi bibliometriche. Ultima considerazione: le analisi bibliometriche (whatever they are) non debbono necessariamente essere il deus ex machina delle politiche decisionali in materia di ricerca. Possono anche essere un ottimo strumento di indagine, di analisi, di conoscenza del mondo della produzione-disseminazione del sapere, senza far dipendere interamente da esse la distribuzione delle risorse e l’avanzamento delle carriere, che – anch’io ritengo con Sylso Labini – siano primariamente responsabilità individuale o collettiva dei decisori. Grazie dell’attenzione.
Sì, scusate, non lo sapevo, Zannini me lo ha detto dopo che avevo postato il mio inutile commento. Aprofitto per dire che concordo con quanto sostenuto da Paola Galimberti. In effetti ho presieduto una di queste commissioni nazionali per il ranking di riviste disciplinari (SISEM, storici moderni). Penso che abbianmo fatto un buon lavoro. Ma nel documento finale che abbiamo scritto abbiamo sottolineato esattamente quel che dice Galimberti: ossia la necessità di fare ranking unici per macroaree (es. scienze umane) basati su criteri uniformi. Ci è infatti capitato di valutare un 30% di riviste in comune con altre commissioni di altri SSD; e per il 50% di quel 30% le valutazioni – a sostanziale parità di criteri – erano anche molto distanti. Tutti quanti ci siamo trovati a fare lavori inutili, a farli due o tre volte, a farli in modo scoordinati quando non contraddittori. Che vi devo dire ? Così facciamo in Italia. Gran lavoro non dico buttato via, ma quasi. Questo però non lo dico agli amici della commissione con la quale ho lavorato. Salute e buon lavoro.
Spett. Redazione, visto che sono uno degli autori di questo piccolo intervento (che forse voi avete selezionato autonomamente), vorrei lasciare un commento non tanto all’articolo, quanto al tema più generale della valutazione, soprattutto in area umanistica (dei due interlocutori, io sono lo storico).
Penso che in materia di bibliometria, intesa come supporto alla valutazione della ricerca scientifica, si dicano da entrambi i lati – pros e cons – cose molto sensate, che non starò a riassumere: basti dire che, pur essendo un ammiratore di Donald Gillies, preferisco stare all’interno del perimetro di questo dibattito piuttosto che tirarmene fuori con sdegno, come fanno in molti soprattutto in Francia (tra tutti v. “L’idéologie de l’évaluation. La grande imposture”, in Cités, 37, 2009).
Raramente però si cerca di tenere separati due aspetti che sono per natura separati: la valutazione e la bibliometria. Se li guardiamo separatamente, è chiaro ed è perfino tautologico dire che entrambi presentano aspetti non solo positivi, ma necessari. L’una e l’altra infatti consentono di analizzare, in sedi diverse e con finalità che possono (forse debbono) essere diverse, il complesso mondo della produzione scientifica costituito dalle pubblicazioni, dai loro formati e dai loro canali e metodi di diffusione. Questo è uno dei problemi fondamentale della storia del sapere scientifico che non bisogna mai dimenticare quando si ragiona di valutazione e bibliometria. Ora, se la bibliometria (whatever it means) ha preso piede nel modo che sappiamo in certi ambiti culturali nazionali e disciplinari è perché in quegli ambiti alcuni strumenti innovativi di circolazione e diseminazione del sapere scientifico si sono affermati in modo significativo (mi riferisco ai grandi database full-text e agli aggregatori editoriali). E cos’è che in un paese come il nostro fa sì che in determinate aree disciplinari come quelle umanistiche sia ancora pressoché impossibile parlare di analisi bibliometriche ? L’assenza di quei database e di quegli aggregatori. Tuttavia, questi database e aggregatori sono senza dubbio uno straordinario strumento di progresso del sapere, dal lato della disseminazione. Allora, il ragionare di valutazione bibliometrica costituisce, da questo punto di vista, una ottima opportunità per puntare il dito su un aspetto di drammatica arretratezza del nostro sistema-ricerca e dell’editoria scientifica: l’assenza di strumenti adeguati di disseminazione come ne esistono da tempo o sono stati creati anche in tempi recenti in molti altri paesi. In conclusione: una analisi di tipo bibliometrico, in senso lato (ossia non solo analisi citazionale o costruzione di indici di impatto, ma analisi quantitativa di produzione e circolazione)), non può che essere positiva in campo umanistico perché consente di mettere al centro dell’attenzione due temi: quello dei formati e della disseminazione dei prodotti della ricerca e del ruolo dell’editoria accademica; e quello della necessità di disporre di grandi database testuali full-text e aggregatori editoriali, come ne esistono nel mondo anglofono e ormai anche francofono. Questi ultimi richiedono investimenti pubblici e privati, risorse umane e finanziarie e una capacità progettuale di cui il nostro sistema-ricerca pare sprovvisto del tutto. Se discutere di valutazione facesse emergere anche questo punto centrale e magari ne avviasse la soluzione sarebbe già un risultato di grande importanza. I risultati positivi della disponibilità di quegli strumenti supererebbero largamente qualsiasi inconveniente legato a prassi di valutazione quantitative frettolose e superficiali (che pure vanno tenute attentamente sotto controllo). E solo a quel punto acquisterebbe concretezza anche per le aree umanistiche una discussione sul valore delle analisi bibliometriche. Ultima considerazione: le analisi bibliometriche (whatever they are) non debbono necessariamente essere il deus ex machina delle politiche decisionali in materia di ricerca. Possono anche essere un ottimo strumento di indagine, di analisi, di conoscenza del mondo della produzione-disseminazione del sapere, senza far dipendere interamente da esse la distribuzione delle risorse e l’avanzamento delle carriere, che – anch’io ritengo con Sylso Labini – siano primariamente responsabilità individuale o collettiva dei decisori. Grazie dell’attenzione.
Caro Abbattista, grazie per il prezioso commento. In verità il pezzo ci è stato segnalato da Zannini. Con viva cordialità
Sì, scusate, non lo sapevo, Zannini me lo ha detto dopo che avevo postato il mio inutile commento. Aprofitto per dire che concordo con quanto sostenuto da Paola Galimberti. In effetti ho presieduto una di queste commissioni nazionali per il ranking di riviste disciplinari (SISEM, storici moderni). Penso che abbianmo fatto un buon lavoro. Ma nel documento finale che abbiamo scritto abbiamo sottolineato esattamente quel che dice Galimberti: ossia la necessità di fare ranking unici per macroaree (es. scienze umane) basati su criteri uniformi. Ci è infatti capitato di valutare un 30% di riviste in comune con altre commissioni di altri SSD; e per il 50% di quel 30% le valutazioni – a sostanziale parità di criteri – erano anche molto distanti. Tutti quanti ci siamo trovati a fare lavori inutili, a farli due o tre volte, a farli in modo scoordinati quando non contraddittori. Che vi devo dire ? Così facciamo in Italia. Gran lavoro non dico buttato via, ma quasi. Questo però non lo dico agli amici della commissione con la quale ho lavorato. Salute e buon lavoro.