Mission: Impossible! Come valutare i professori di Giuseppe Lipari

La recente "riforma Gelmini" ha posto, almeno per il momento, il sistema universitario al centro dell'attenzione mediatica. Commentatori di professione dalle colonne dei maggiori giornali si sono da tempo lanciati all'attacco dell'attuale sistema universitario, nell'ottica di riformarlo e introdurre criteri meritocratici nei meccanismi di gestione.

Criticare è molto facile: e criticare un'istituzione decrepita, inefficiente, in moltissimi e documentatissimi casi teatro di malcostume e malversazioni da parte dei cosidetti "baroni", è particolarmente facile. Quando però si arriva al momento di mettere sul tavolo concrete proposte di riforma, il caos e il dilettantismo sembrano farla da padrone. Mentre tutti concordano sulla necessità di introdurre un astratto concetto di meritocrazia, passare poi ai provvedimenti da attuare concretamente è tutto un altro paio di maniche.

Una delle proposte che sta sul tavolo da tempo, ormai stabilmente nei desiderata del ministero, è quella di legare lo stipendio di ogni docente alla sua "produttività". Ne parlano, ad esempio, i colleghi Jappelli e Checchi su Lavoce.info:

Andrebbe una volta per tutte definito lo stato giuridico dei docenti, con indicazioni precise sul carico didattico e verifiche periodiche della produttività scientifica, cui condizionare la progressione economica, adesso solo basata sull'anzianità di servizio.

Ne parlano illustri docenti e ne parlano gli studenti (vedi la puntata di Annozero sull'Università di qualche giorno fa). Soprattutto, tale proposta si trova nelle Linee Guida del governo per l'università:

D.1 rivedere il meccanismo degli automatismi stipendiali, che non necessariamente premia la qualità della ricerca e l'impegno nella didattica, sostituendolo gradualmente con valutazioni periodiche dell'attività svolta;

D.2 elaborare parametri condivisi di qualificazione scientifica per l'accesso ai diversi ruoli della docenza, anche con l'utilizzo, ove possibile, di indicatori di qualità scientifica internazionalmente riconosciuti (impact factor; citation index): il CUN è già al lavoro in questo senso;"

Tutti d'accordo, quindi: gli scatti di anzianità automatici verranno presto sostituiti da verifiche periodiche centralizzate, al cui risultato legare la progressione di stipendio (incidentalmente, vi prego di notare che queste valutazioni periodiche sarebbero in aggiunta alle valutazioni periodiche delle università e dei dipartimenti: mentre con le prime si controlla lo stipendio dei docenti, con le seconde si controlla la quantità di fondi da destinare a ciascuna Università).

Siamo sicuri che sia una buona idea? Roberto Perotti pensa di no:

[...] molti perseguono in forme più o meno esplicite, una differenziazione degli stipendi diretta dal centro, sulla base di parametri rigidamente definiti. Ma una differenziazione centralizzata non può funzionare: è impossibile stabilire a priori quanto vale un ricercatore in ogni possibile situazione e circostanza. Anche l'unico criterio minimamente oggettivo, quello bibliometrico, può essere un utile aiuto, ma sarebbe insensato e pericoloso utilizzarlo meccanicamente come unica determinante degli stipendi.

Roberto Perotti, L'Università truccata, Gli struzzi Einaudi, 2008, pag 112

Forse Perotti esagera. Preso dal suo furore liberista, vuole liberalizzare financo l'ultimo caposaldo dell'università statale, ovvero la centralizzazione degli stipendi? In fondo se così tanti autorevoli personaggi ci dicono che è la soluzione giusta, e sta nelle linee guida del governo...

Poichè mi hanno insegnato a non fidarmi troppo di quello che mi dicono, proverò comunque a fare qui un piccolo esercizio di stile. Supponiamo che il ministro Gelmini mi chiami domani come consulente del ministero:

"Giuseppe, trovami il modo di implementare la linea guida D1!" (della D2 se ne occupa già il CUN).

"Ok, ministro, ma è un lavoro difficile e pericoloso, mi attirerò le critiche di tutti!"

"In cambio ti ricoprirò d'oro."

"Allora, accetto!". Per il bene della patria, naturalmente.

OBIETTIVO DELLA MISSIONE

Nelle linee guida, in effetti, c'è scritto pochino. Allora facciamo che gli obiettivi e le specifiche me li scrivo da solo, saranno forse più facili da raggiungere!

A che serve questa riforma? Ad aumentare la produttività dei docenti italiani, inserendo un meccanismo premiante direttamente sullo stipendio. Sarà quindi questo il principale parametro di valutazione delle nostre regolette: dovremo controllare alla fine se la produttività sarà aumentata.

Di quanti soldi stiamo parlando? Qui si va a senso. Direi che se l'obiettivo è di sostituire gradualmente il meccanismo degli scatti di anzianità con un meccanismo basato sulla valutazione (come recitano le linee guida), più o meno stiamo parlando dello stesso ordine di grandezza: invece di darteli automaticamente con il passare del tempo, ti sottopongo a una valutazione.

Si va solo a salire o anche a scendere? Se dobbiamo sostituire l'anzianità "as it is", convengono scatti piccoli solo a salire. Non mi sembra però una grande idea. Infatti, se l'incremento fosse in percentuale sullo stipendio, come è adesso lo scatto di anzianità, l'età giocherebbe comunque un fattore determinante: premierebbe chi da tempo fa ricerca, mentre il giovane ricercatore dopo la prima valutazione avrebbe comunque con uno stipendio limitato, anche se si trattasse di un novello Einstein.

Forse, per stimolare maggiormente la qualità, sarebbe meglio legare una parte sostanziale dello stipendio alla valutazione e prevedere che si possa anche scendere la volta dopo. Ad esempio, ogni 3 anni ti valuto: se vali, ti do un bel po' di stipendio in più per i prossimi 3 anni (per esempio il 30%-40% in più); se non vali, niente. Dopo altri 3 anni, però si ricomincia da zero. E si possono naturalmente avere sistemi misti. Inoltre, conviene che l'incremento di stipendio sia proporzionale al risultato. Si potrebbe assegnare ad ogni docente un voto da 1 a 10, da utilizzare poi per calcolare l'ammontare dell'aumento.

Naturalmente, il sistema deve essere "fair", cioè quanto più possibile equo. Devo effettivamente evitare di invertire la scala di valori fra due ricercatori, onde evitare ingiustizie, recriminazioni, faide. Stiamo andando a mettere le mani nelle tasche dei docenti italiani, dopo tutto (chissà perché, questa frase mi sembra di averla già sentita). Non dico che debba essere perfetto, ma insomma, quasi.

Dopo cinque minuti mi richiama il ministro: "dimenticavo di dirti che, qualunque cosa tu decida di fare, deve essere a costo zero per il paese: ogni euro speso nella valutazione verrà preso dal Fondo di Finanziamento Ordinario (FFO)".

Chissà perché, me l'aspettavo.

VALUTARE UN DOCENTE

Un docente viene valutato in base a tre attività fondamentali:

1) Qualità e quantità della didattica.
2) Ricerca.
3) Attività organizzative.

Nell'ultimo punto, per comodità, metteremo tutte quelle attività non direttamente classificabili nei punti 1 e 2, come ad esempio coordinamento di progetti di ricerca, fund raising, editing di riviste internazionali, peer review, organizzazione di conferenze, partecipazione agli organi decisionali dell'Università (riunioni di facoltà, ecc.).

Tutti e tre gli aspetti sono importanti, naturalmente. Per quanto riguarda la didattica, c'è chi dice (ad esempio Perotti, ibidem) che in un sistema universitario funzionante non tocca alle istituzioni valutare puntualmente la didattica, perché il mercato degli studenti valuterebbe da se. Non so quanto questo sia vero, ma il tema è decisamente dibattuto e lo lascerò da parte per il momento.

Il punto 3 è il più controverso. Per esperienza personale si arriva a lotte intestine piuttosto aspre tra dipartimenti scientifici e tecnici (ingegneria in primis) da una parte, che riescono ad attirare fondi in gran quantità da enti pubblici e privati, e dipartimenti umanistici sempre cronicamente a corto di fondi dall'altra. Inserire la voce quantità di fondi di ricerca raccolti nella valutazione di ogni singolo docente potrebbe portare a notevoli distorsioni, oltre che ad asprissime polemiche. Eviterò quindi di prendere per ora in considerazione questa voce.

Concentriamoci quindi sulla ricerca.

LA VALUTAZIONE DELLA RICERCA

"Ci sono ormai metodi accettati a livello internazionale per misurare la produttività scientifica di un ricercatore".

Questa frase è stabilmente sulla bocca di tutti i fautori della meritocrazia (quindi praticamente di tutti). Sembrerebbe quindi un compito banale: usiamo questi benedetti indicatori. Purtroppo pochi di quelli che la pronunciano ne hanno mai visto in faccia uno.

Sostanzialmente, si misurano il numero di articoli pubblicati da un ricercatore su riviste o su atti di conferenze, e il numero di volte che ciascuno di questi articoli è stato citato in articoli simili da altri ricercatori. Il semplice numero di articoli è una mera misura quantitativa, che non dice niente sulla qualità; il numero di citazioni invece indica (o dovrebbe indicare) indirettamente il "gradimento" che ha ricevuto l'articolo nella comunità scientifica internazionale. A partire da queste due misure, si costruiscono indici bibliometrici più o meno complicati. Eccone alcuni qui.

I limiti di questi indici sono notevoli e ben conosciuti. Innanzitutto, la base di dati su cui fare le misurazioni non è univoca. Nelle materie scientifiche c'è ISI. Un altro è Scopus. In economia hanno Econlit. Purtroppo nessuno di questi copre bene Scienze dell'Informazione e Ingegneria. Esistono sistemi "liberi" come Google Scholar o Citeseer. Ma nessuno copre tutto lo scibile umano. E in tutti ci sono errori, omissioni, zone d'ombra. Se due database coprono lo stesso campo, la probabilità che diano la stessa misura sullo stesso ricercatore è praticamente nulla.

Inoltre, campi scientifico/disciplinari diversi hanno regole diverse: in alcuni campi si pubblicano di solito articoli con pochi autori, in altri il numero di autori è di solito elevatissimo. Ci sono campi per cui hanno valore soprattutto le riviste (vedi Economia, ma anche Scienze), mentre in altri campi certe conferenze hanno un prestigio a volte superiore alle riviste (vedi Computer Science & Engineering). Insomma, districarsi è complicato. Si potrebbe pensare un sistema diverso per ogni settore. Già mi immagino il disciplinare: centinaia o addirittura migliaia di pagine di regolamenti! (solo per scriverli ci vorranno anni di lavoro...)

Anche concentrandosi su un campo specifico, ci sono delle difficoltà tecniche non indifferenti. Supponiamo ad esempio di valutare un docente ogni tre anni per gli ultimi 3 anni di pubblicazioni. Se cominciassimo a valutare le mie pubblicazioni a febbraio 2009, prendendo in considerazione il triennio 2005-2008, quasi sicuramente la maggior parte degli articoli avrà un numero di citazioni praticamente prossimo allo zero. Lo so, sono un ricercatore scarso. Ma magari dipende anche dal fatto che, se ho pubblicato un articolo nel 2008, le probabilità che qualcuno lo abbia letto, lo abbia citato in un suo articolo che sia stato poi accettato da un processo di peer-review su un altra rivista e sia stato pubblicato e messo nel database, è praticamente nulla. In genere passano almeno 5-6 mesi dalla scrittura dell'articolo alla sua pubblicazione (e in certi casi si supera abbondantemente l'anno). Peggio: il processo di reviewing ha tempo variabile a seconda del settore! In Fisica sono di solito velocissimi; in Ingegneria sono di solito lentissimi (anche 2 anni).

Bisognerà quindi valutare ricerca più vecchia. Ma così facendo si riduce l'effetto del "premio". Essere premiato oggi per un articolo di 5-10 anni prima può fare piacere, ma forse non funziona tanto bene come meccanismo premiante. Più che altro premierebbe la carriera.

Anche contare il numero di citazioni può essere fuorviante. In alcuni rari casi succede che un articolo riceva un enorme numero di citazioni perché contiene un errore, che tutti citano come da correggere. Non è certo un articolo da premiare. In molti casi, un articolo riceve citazioni "negative" da ricercatori che contestano aspramente il metodo seguito. E' molto comune il caso di articoli che riassumono lo stato dell'arte in un campo: sono citatissimi da tutti, ma non contengono alcun contributo originale.

Inoltre, certi indici si possono in qualche modo manipolare artificialmente. Per esempio mettendosi d'accordo fra due gruppi per citarsi tutti gli articoli a vicenda. È poi pratica comune (e scorretta) in molti dipartimenti che il "capo" firmi comunque gli articoli di tutti i suoi sottoposti, anche se non li ha mai neanche letti. Egli si beccherebbe gli onori (e gli incrementi di stipendio) al pari dei suoi sottoposti, anche non facendo ricerca da decenni. Oppure, un lavoro importante potrebbe essere diviso in più articoli, ognuno propone un piccolo incremento rispetto al precedente. Con un lavoro vengono fuori 5-6 articoli minimo.

L'utilizzo esclusivo di sistemi automatici di misurazione è quindi da sconsigliare. David Parnas lo dice molto francamente in un suo recente articolo ("Stop the numbers game: Counting papers slows the rate of scientific progress.", Communications of the ACM, Volume 50, Number 11 (2007), Pages 19-21, web link):

Paper-count-based ranking schemes are often defended as "objective." They are also less time-consuming and less expensive than procedures that involve careful reading. Unfortunately, an objective measure of contribution is frequently contribution-independent.

e ancora:

The widespread practice of counting publications without reading and judging them is fundamentally flawed for a number of reasons: It encourages superficial research [...] It encourages repetition [...] It encourages small, insignificant studies [...]

e infine:

Evaluation by counting the number of published papers corrupts our scientists; they learn to "play the game by the rules." [...] Those who want to see computer science progress and contribute to the society that pays for it must object to rating-by-counting schemes every time they see one being applied.

In pratica: se utilizziamo esclusivamente sistemi automatici di misurazione, invece di incoraggiare la ricerca di eccellenza rischiamo di incoraggiare ricerca mediocre, o addirittura sporchi trucchetti per manipolare i numeri. Non è certo quello che vogliamo.

Due note prima di passare oltre. Primo: non si sta qui sostenendo che la bibliometria sia una disciplina inutile. Tutt'altro: essa ci da un enorme ed utilissimo supporto per rilevazioni statistiche a livello di paese, o per confrontare istituzioni anche di altri paesi. Anche nella valutazione del curriculum di un docente gli indici bibliografici danno un primo inquadramento, una valutazione di massima. Tale valutazione va però sempre e comunque integrata da un'attenta lettura delle pubblicazioni da parte di esperti del settore, proprio per evitare di prendere cantonate e per scremare il grano dal loglio. Un utilizzo scorretto degli indici bibliografici avrebbe alla lunga effetti negativi sulla valutazione stessa.

Seconda nota: non sembra che al ministero siano al corrente del pensiero di Parnas, dato che hanno incaricato il CUN di studiare modalità per inserire gli indici bibliometrici nei regolamenti dei concorsi!

Con gli indici ci è andata male. Rimane solo il peer-review. Ovvero la valutazione da parte dei "pari". Per ogni docente facciamo una commissione di tre esperti del settore che valutano la produzione scientifica. Mi sembra già di sentirvi: "una commissione per ogni docente? composta da docenti? finirà che tutti valuteranno tutti gli altri! I docenti italiani si valuteranno tutti da soli a vicenda! E quale sarà il risultato più probabile? Si auto-promuoveranno tutti!". Ammetto che il rischio è molto concreto. Potremmo inserire degli esperti stranieri... ma quelli non vengono a fare i valutatori in Italia in cambio di un semplice "grazie tante". Bisognerà pagarli. E poi chi ci assicura che questi stranieri siano bravi valutatori? Dite che bisogna chiamare i migliori? Comincia a diventare troppo costoso.

E poi la valutazione non sarebbe uniforme e oggettiva: ci sono valutatori buoni che tendono a dare sempre buoni voti e valutatori carogna che scarterebbero anche Shannon (è successo veramente!). L'equità andrebbe a farsi benedire. Tanto vale tirare dei dadi.

E allora come si fa? Forse che aveva ragione Perotti?

EPILOGO

"Caro Ministro. L'unica cosa che può funzionare è che ogni docente venga valutato dalla sua stessa Università. Se l'Università riceve i fondi soprattutto in base alla valutazione scientifica della ricerca; e se ogni Università ha libertà di stabilire il livello del compenso dei suoi docenti; i docenti migliori andranno naturalmente dove c'è più possibilità di veder riconosciuta la loro professionalità, e riceveranno naturalmente uno stipendio più alto. L'Università potrà decidere se valutare di più le capacità di fund-raising, o la capacità di creare un gruppo, oppure la produzione scientifica. Il sistema si autoregola."

"Caro Giuseppe, avrai pure ragione, non dico di no, ma se propongo questa cosa qui mi mangiano viva".

"Capisco. E allora lasci cadere la cosa. In fondo sono delle linee guida, no? Non c'è alcun obbligo di trasformarle in legge. Il paese è in recessione, fra un po' se ne scorderanno tutti. Piuttosto, se fossi in lei, spingerei sul pedale della valutazione delle Università. Su quella cosa lì, vedrà, potete farcela."

"Hai ragione, probabilmente lasceremo cadere la cosa. Un sentito ringraziamento per l'ottimo lavoro svolto per il paese e arrivederci!"

"Ehm, mi scusi ministro, ci sarebbe quella cosa del farsi ricoprire d'oro ..."

"Ah, già dimenticavo. Facciamo così, telefona a Giulio, dì che ti mando io."

Mmm, mi sa che butta male. Sarà per la prossima volta.

ULTIM'ORA

Sembra che al ministero lavorino alacremente (dal Corriere.it):

NORME ANTI-«BARONI» - Tra le novità introdotte in commissione al Senato, le norme anti-baroni: è prevista la costituzione di una anagrafe (aggiornata annualmente) presso il ministero con i nomi di docenti e ricercatori e le relative pubblicazioni. Per ottenere gli scatti biennali di stipendio i docenti dovranno provare di aver fatto ricerca e ottenuto pubblicazioni. Se per due anni non ce n’è traccia lo scatto stipendiale è dimezzato e i docenti non possono far parte delle commissioni che assumono nuovo personale. I professori e i ricercatori che non pubblicano per tre anni restano esclusi anche dai bandi Prin, quelli di rilevanza nazionale nella ricerca.

Chissà che ne penserebbe David Parnas...