Non è vano forse, in un momento in cui siamo tutti travolti da un processo di valutazione, – il VQR – che ha paralizzato i pensieri dei ricercatori e le attività delle università e rischia di far precipitare il mondo accademico in una sequela di polemiche e controversie senza fine, riflettere su quanto avviene nel paese che sempre viene portato ad esempio di “eccellenza”, sia nella ricerca che nella didattica, cioè gli Stati Uniti. Vediamo insomma come avviene la valutazione della ricerca e delle istituzioni in questo paese non certo per sostenerne l’inutilità in Italia, ma semplicemente per sottolinearne la complessità e l’impossibilità di pervenire a soluzioni semplicistiche elaborate senza un’adeguata sperimentazione. E innanzi tutto per evidenziare come il problema della valutazione non può far dimenticare altri ben più gravi problemi che affliggono il sistema universitario italiano.

Cominciamo con l’osservare che non esiste qui un ente centrale e unitario, alle dipendenze del governo, che si occupa di tale settore. I ranking e le valutazioni negli Stati Uniti sono effettuate da numerose organizzazioni. Su Wikipedia ne sono catalogate 9 come principali: American Council of Trustees and Alumni Rankings (ACTA), Faculty Scholarly Productivity Index (FSPI), Forbes College rankings (FCR), The Top American Research Universities rankings (TARU), TrendTopper MediaBuzz College Guide (TMCG), U.S. News & World Report College and University rankings (USNWRCU), United States National Research Council Rankings (USNRCR), Washington Monthly College rankings (WMC), Revealed preference rankings (RPR). Ognuno di questi non solo misura aspetti diversi delle università, ma utilizza metodologie del tutto eterogenee e in gran parte adeguate allo scopo che si prefiggono.

Così si va dalla valutazione di parametri oggettivi come il tipo di titoli rilasciati, i curricula seguiti e la loro “forza”; il fatto di impartire certe discipline chiave, i finanziamenti, le percentuali di laureati, la reputazione conseguita presso un pubblico selezionato, ma anche pubblicazioni, citazioni, capacità di attrarre finanziamenti e così via. Ad es., l’ACTA (fondato nel 1995 come organizzazione indipendente e non-profit) classifica circa 700 college che rilasciano il bachelor degree (quattro anni) assegnando una lettera dalla A alla F in base alla inclusione nel curriculum degli studenti di almeno sette discipline (Composition, Literature, Foreign Language, American Government or History, Economics, Mathematics, Natural or Physical Science) in modo da assicurare una preparazione a più largo spettro che impartisca le conoscenze di base di cui gli studenti hanno veramente bisogno. Basta aver presenti 6 delle 7 discipline per avere la A.

Il FCR – pubblicato dalla omonima compagnia di media e publishing – utilizza invece cinque parametri: il successo dopo la laurea in base al salario e all’impiego, la soddisfazione degli studenti, l’indebitamento degli studenti, i premi e riconoscimenti (vedi la metodologia). Così vengono valutate le migliori 650 università americane (si veda l’ultimo report del 2011).

V’è poi la valutazione effettuata solo in base alla qualità della ricerca scientifica, come il FSPI (prodotto dalla associazione no-profit EDUCAUSE per mezzo della metodologia Academic Analytics, basata su algoritmi statistici sviluppati da Lawrence B. Martin and Anthony Olejniczak), che ha lo scopo di misurare l’impatto dei prodotti dei ricercatori utilizzando il numero delle pubblicazioni, ovviamente peer reviewed, le citazioni su riviste, i finanziamenti federali ricevuti e i riconoscimenti e premi ottenuti. L’ultimo ranking così prodotto è del 2007 e comprende 375 università che offrono il Ph.D degree; è fornita una classifica per area di studio (ad es. Agricultural Sciences, Education, Engineering, Humanities: in tutto 12) e quindi per disciplina (in tutto 46 – per la curiosità, la migliore università per Italian language and literature è la Cornell, seguita dalla Un. of California at Los Angeles; le altre sono staccate); oppure per istituzione.

Ancora, il TARU, sviluppato dal Center for Measuring University Performance della Arizona State University produce un report annuale (l’ultimo del 2010) nel quale le università di ricerca sono classificate in base a nove parametri: le spese totali per ricerca, le spese per R&D finanziate dal governo federale, il numero dei membri appartenenti ad accademie nazionali, il numero di riconoscimenti e premi, il numero dei dottorati concesso, il numero degli appointments postdottorali sostenuti e una media dei punteggi ottenuti dagli studenti nei test di ammissione (SAT/ACT). Sono così stilate valutazioni delle università private e pubbliche che ricevono almeno 40 milioni di dollari di finanziamento federale per la ricerca (163 in tutto nell’anno fiscale 2008, 116 pubbliche e 47 private); la classifica è determinata dal numero di volte in cui una università si piazza in ciascuno dei parametri prescelti e non da un indice numerico che sintetizzi il loro peso.

È interessante andare a vedere per queste università le somme ricevute in finanziamento per la ricerca scientifica e fare una comparazione con le quantità italiane. Faccio un esempio terra terra, di due università che ben conosco, quella di Catania e quelle del Nevada (Reno) e la Mississippi State University: la prima perché ci lavoro e le altre perché ne conosco bene la grande qualità della ricerca e delle strutture (queste ultime incomparabili con quelle delle migliori università italiane). Per Catania le entrate previste nel 2012 per ricerca scientifica sono 2,5 milioni di euro (progetti nazionali); l’Università di Reno invece nel 2008 ha ricevuto dal solo governo federale 66 milioni circa di dollari, ovvero circa 55 milioni di euro, cioè 22 volte in più. Eppure nell’HEEACT World ranking Catania occupa il 433° posto e l’università del Nevada il 441°. La Mississippi State University ha finanziamenti federali per la ricerca equivalenti a 79 ml di euro e non è neanche tra le prime 500. E abbiamo considerato solo i finanziamenti per ricerca federali, trascurando quelli che vengono dai singoli stati e da altre fonti. Un miracolo del genio siculo? No, ovviamente, perché questi confronti potrebbero essere moltiplicati ed estesi per decine di altre università. E dopo tale comparazione sorgerebbe spontanea la domanda: ma per quale miracolo sarà mai possibile che le università italiane nei ranking internazionali sulla qualità della ricerca scientifica ottengono spesso posizioni superiori a università americane che ricevono molti più fondi per ricerca di loro? Potrebbe essere questo un elemento di riflessione per il nostro Ministro e per i denigratori dell’università italiana? Lo si spera, perché sperare significa non disperare.

Infine, per non dilungarci ulteriormente su tutti i sistemi americani di valutazione, citiamo il più celebre e noto, che ha maggiore autorevolezza, l’USNWRCU, compilato dal 1983 dal U.S. News & World Report, che usa parametri misti, come la peer review della reputazione, i tassi di abbandono e di permanenza degli studenti, le risorse delle facoltà (dimensioni delle classi, salari, rapporto studenti/facoltà), i risultati dei test di ammissione, le spese per studente, i finanziamenti da parte degli ex studenti. Quindi dopo un calcolo del peso di ciascuno di questi fattori (la cui lista cambia anno per anno – e questo è stato all’origine di diverse contestazioni) si pubblica una classifica, che nel 2012 comprende ben 1.600 schools.

Bisogna infine precisare che esiste anche un sistema di accreditamento volontario (quindi non obbligatorio) per istituzioni o per specifici programmi di studio a cui ciascuna università può decidere di sottoporsi, condotto da valutatori esterni, che ha il solo scopo di indicare se sono rispettati dei requisiti minimi stabiliti dall’ente di accreditamento. Non è quindi una sistema per effettuare dei ranking o stabilire la qualità delle diverse istituzioni. I requisiti sono quelli stabiliti dall’U.S. Department of Education (DOE) che è un organismo federale e ha il compito supervisionare i programmi di educazione federale, e dal Council for Higher Education Accreditation (CHEA), ente privato no-profit che associa 3.000 istituzioni e che ha il compito di fissare gli standard da rispettare. Le organizzazioni che fanno gli accreditamenti hanno base inter-regionale e sono sei, in base a delle macroregioni (v. Higher Education Accreditation in the United States).

Eppure, sebbene questo sistema non abbia la funzione costrittiva e il carattere centralistico e dirigistico che è stato assegnato all’ANVUR (per non citare tutti gli altri suoi limiti messi in luce da altri articoli pubblicati da ROARS) nel 2007 è sorto negli stati uniti un movimento di protesta (il “2007 movement”), nato nel corso di un meeting dell’Annapolis Group (che organizza circa 130 università) e che ha dato origine a una lettera inviata a tutti i presidenti delle università per protestare contro il più noto e influente ranking, l’USNWRCU, e in particolare contro la pratica di cambiare continuamente i criteri e di non adottare chiare e condivise procedure. Attualmente circa 80 università hanno aderito a questo movimento, decidendo di non partecipare a tale valutazione, e un acceso dibattito è nato ed è ancora in corso sui media, sicché tale moto di protesta sembra prendere forza.

Da quanto detto alcuni elementi emergono con chiarezza:

– Non esiste negli USA un sistema nazionale di valutazione della qualità scientifica delle università,

– Esiste un sistema di accreditamento volontario su base regionale che rispetta solo alcuni standard definiti dal DOE e dal CHEA: è in base al rispetto di questi standard che il governo federale ammette le università ai propri finanziamenti (per lo più riguardanti la ricerca).

– Esiste poi una classificazione delle università in 33 tipologie, in base a parametri oggettivi (dimensioni, finalità ecc.), effettuata dalla Carnegie Foundation.

– I finanziamenti delle università e della ricerca (che per circa il 67% sono federali e statali) non dipendono per nulla dalle valutazioni qualitative effettuate dalle varie organizzazioni che abbiamo prima menzionato, le quali servono solo per dare un orientamento agli studenti e di conseguenza anche ai finanziatori privati e in un certo quale modo a dare un peso sul mercato delle professioni e degli impieghi alla laurea conseguita. A tal fine si fa notare che ciò avviene in presenza del valore legale del titolo di studio, il quale è richiesto, con la specifica dei crediti acquisiti nelle singole discipline, da ogni amministrazione pubblica.

– Solo uno dei tanti enti organizzatori, il FSPI, effettua comparazioni sulla qualità della ricerca e non basandosi solo su dati bibliometrici, che comprende solo 375 università sulle 4.635 università e college classificati dalla Carnegie Foundation.


Cosa ha a che fare questo sistema con quanto sta tentando di fare l’ANVUR, con tutti i limiti e le problematiche che ROARS ha già messo in luce? Poco o nulla. E con l’ANVUR si sta mettendo in piedi un meccanismo che dovrebbe giungere entro il 2015 alla valutazione delle strutture per la distribuzione a regime (chissà quanti anni dopo) di un somma premiale che ammonterebbe al 20% dell’intero FFO, cioè circa 832 milioni (per il 2011), tra l’altro non finalizzata alla ricerca ma spendibile per tutte le loro esigenze (compresi gli stipendi del personale). Questo significa che tutte le università italiane che si spartiscono la quota premiale (circa 54) ricevono solo circa 6 volte di più di quanto prendono per la sola ricerca le due università americane prima citate. Se questi sono i numeri e la realtà vera con cui si ha a che fare, allora i cantori dell’eccellenza americana, prima di cercare di importare in Italia posticce e per lo più inventate ricette d’oltreoceano, studino bene cosa accade lì e poi cerchino pure di realizzare in Italia non ciò che loro conviene o che è dettato da mero pregiudizio ideologico, ma quanto effettivamente v’è di positivo, a cominciare dalla qualità e dalla quantità del finanziamento della ricerca scientifica. Bisogna anche aspettare in Italia un “2012 movement”, per svegliarsi e addivenire a più sensate e condivise pratiche di valutazione?

Print Friendly, PDF & Email

9 Commenti

  1. Io non so, personalmente, quanto sia diffusa la convizione, in Italia, che negli Stati Uniti esistano “ranking” ufficiali (cioè prodotti da Autorità Pubbliche, e per qualche uso ufficiale). Certo, so quanto sia distorta e fortemente inadeguata l’informazione sulle politiche in materia di istruzione universitaria e ricerca, a causa del modo con cui è stato condotto il dibattito politico-gornalistico, non solo in questi anni.

    Sul fatto che in USA non esista un sistema di valutazione nazionale del tipo di quello “vagheggiato” da alcuni in Italia, possiamo dare un altro tipo di spiegazione “prima facie” più convincente, per come la vedo io: la competenza giuridico-politica in materia di istruzione (soprattutto quella post-secondaria) è largamente in mano ai singoli Stati, e non al Governo federale, e NON esistono “università federali”. Le Università pubbliche americane sono TUTTE dei SINGOLI STATI, i quali, ovviamente, ne fanno ciò che vogliono, visto che sono cose loro: le autorizzano ad operare, concedono loro il Finanziamento Ordinario, danno regole più o meno ficcanti per i loro sistemi di istruzioni statali. Esistono poi, certo, dei cospicui finanziamenti federali alla ricerca, attraverso le varie Agenzie all’uopo create (NSF, NIH, Ministeri vari, …) e dei finanziamenti federali AI SINGOLI STUDENTI, che sono accessibili solo alle istituzioni accreditate da Agenzie di Accreditamento riconosciute dal Governo. Da qui si evince, comunque, uno dei ruoli dell’Accreditamento, che andrebbe spiegato con dovizia di tempo a parte.

    E’ difficile essere a conoscenza in modo completo di TUTTO questo variegato sistema e delle sue regole, per questo è facile fare fessi gli italiani dalle colonne di qualche giornalazzo nostrano.

    • Questa era anche la spiegazione che ne dava Guido Martinotti, e mi pare del tutto convincente.

  3. Raimmstein prende il nome indirettamente dalla città di Ramstain-Mieserbach sede del disastro aereo allo show del 28 agosto 1988!
    Il nome venne assunto dalla band in commemorazione della “Ramstein Air Base”.

    Direi che tra macchine che si schiantano contro i muri e il resto…… i presagi sono veramente lugubri …… non potrebbe, chi di dovere, pensare di indietreggiare dalla FOLLIA SUICIDA E OMICIDA, che pervade l´anima del VQR, cercando delle vie COSTRUTTIVE che rispecchino etica, professionalità e sensatezza nelle decisioni, in modo da garantire un futuro ai ricercatori e alla didattica?

  4. La via costruttiva è quella di prevedere un intervento legislativo che trasformi l’ANVUR nella più che necessaria AIR (Agenzia Italiana per la Ricerca) in carica di programmi di finanziamento la cui dotazione annuale dovrebbe essere stabilita con piani quinquennali e comunque non al di sotto dell’ammontare del PRIN 2012 (chiamiamolo con il suo nome) moltiplicato per 10 (o 42) per ogni anno.

    Marco Antoniotti

    • Faccio notare che gran parte del finanziamento delle università americane proviene dalla ricerca scientifica, in quanto lì almeno il 40% del finanziamento di un progetto di ricerca va all’università come “costi indiretti” e quindi serve a pagare tutte le spese da essa sostenute, ivi compresa la ricerca delle discipline (come quelle umanistiche) che godono di minori finanziamenti a livello federale e statale. Un’idea potrebbe essere quella di spostare gran parte del FFO (garantendo solo gli stipendi del personale) sulla ricerca e quindi stabilire che sui fondi ottenuti con essa, le università trattengano almeno il 40% e possano pagare anche gli stipendi aggiuntivi (negli USA lo stipendio normale copre 10 mesi; gli altri due sono coperti con i fondi per ricerca). Sarebbe un modo pratico per premiare le università virtuose e con ricercatori bravi. A questo punto l’Anvur potrebbe essere sostituito dall’AIR, che avrebbe il compito di distribuire i fondi e così finanziare le università: la ricerca ne trarrebbe vantaggio e il merito sarebbe premiato. I gruppi che nelle università non ricevono finanziamenti, e quindi non contribuiscono al loro sostegno economico, sarebbero lentamente destinati a scomparire (ad es. non potrebbero assumere nuovi ricercatori od ottenere avanzamenti di carriera). Preliminare a tutto ciò sarebbe una Agenzia Italiana per la Ricerca autorevole, svincolata dei giochi di potere accademici e formata da persone al di sopra di ogni sospetto. Una utopia?

  5. In realtà la 240 prevedeva già il riordino del finanziamento della ricerca a progetto e la costituzione di un Comitato Nazionale di Garanti della Ricerca dedicato a tempo pieno alla direzione e al controllo di tutte le procedure di valutazione (tramite peer-review) e selezione dei progetti.

    Ne ho scritto in vari tempi e modi, perchè anche a me piacerebbe al costituzione di una Agenzia di Finanziamento della Ricerca; ma tutto sta tirando in direzione opposta, a partire dalle regole dei nuovi bandi PRIN e FIRB-giovani.

    Inoltre pochi sanno che oggi come oggi, il fondo FIRST (da cui si prelevano i fondi per i vari programmi di finanziamento) è desolatamente vuoto: non c’è più un soldo bucato. Gli ultimi centesimi sono stati appunto raccolti da Profumo per finanziare i suddetti bandi (175 milioni + 51 milioni).

    • Appunto! Sarebbe un modo totalmente diverso di concepire il finanziamento delle università e anche la loro valutazione: non a caso negli USA non sentono affatto l’esigenza di un’Anvur. Là la valutazione la fanno con i finanziamenti alla ricerca e ai gruppi più competitivi! La chiave di tutto è spostare parte del FFO alla Ricerca, incrementando ovviamente il fondo per essa (non si tratta di una semplice sottrazione). Alternativamente: congelare l’attuale FFO e aumentare i fondi della Ricerca con nuove regole, del tipo di quelle da me descritte. Ma capisco bene che ci si sta muovendo in direzione opposta. Appunto per questo sarebbe forse il caso di uscire con un’ipotesi di rottura.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.