20 luglio 2020, Cultura - Politica e società

Meritocrazia: alla ricerca di un nuovo “modello” per valutare la ricerca scientifica

di Valter Tucci

Il tema della valutazione in ambito scientifico è diventato oggi improrogabile. In questo articolo un’analisi di come sta cambiando il sistema di valutazione, anche in conseguenza della pandemia. E perché un modello alternativo di valutazione è auspicabile.

Nello studio del comportamento animale sono risposte abbastanza semplici, e sono verificabili con esperimenti di laboratorio altrettanto semplici. Sia che si tratti di un topolino di campagna, di un piccione o di Homo sapiens, gli esperimenti sono quasi sempre di questo tipo: se compi una determinata azione riceverai una ricompensa positiva; se ne compi un’altra riceverai una ricompensa negativa. In entrambe le situazioni le regole sono decise in anticipo dallo sperimentatore e il rinforzo associato al comportamento è strumentale al premio.

Nella vita quotidiana come nella ricerca scientifica, le regole non sono, però, sempre così semplici, e gli esiti sono spesso imprevedibili. Nel mondo della scienza, in particolare, le valutazioni sono la prassi. Sebbene la nostra società si regge sempre di più su due grandi colonne: competitività e meritocrazia, bisogna ammettere che rimane ancora oscura la matematica sia dell’una che dell’altra. Ma in fondo quest’ultimo termine, ‘meritocrazia’, più di sessanta anni fa nasceva già con qualche stranezza, e non solo per quella disarmonia tra un prefisso latino e un suffisso greco. Quando Michael Young, sociologo e politico inglese del secolo scorso, coniò per la prima volta il termine ‘meritocrazia’ aveva già previsto il fallimento stesso degli strumenti meritocratici. È singolare che nel suo libro “The Rise of the Meritocracy”, pubblicato nel 1958, un giovanissimo Young catapulta il lettore nell’anno 2034, all’alba di una nuova rivoluzione inglese ad opera di un movimento populista. Traendo spunto da questo evento, il libro diventa poi un viaggio a ritroso nella deriva della meritocrazia. Secondo Young, la società si sarebbe ritrovata ben presto davanti a nuove disuguaglianze. In questo caso, però, secondo la profezia dell’autore il potere sarebbe finito nelle mani dei ‘technicians’ (tecnici) del futuro.

Oggigiorno, in ambito scientifico, quello della valutazione è diventato un tema improrogabile. In questo articolo vedremo brevemente come il sistema di valutazione nel mondo della scienza stia cambiando, come anche questa stessa pandemia stia forzando questo passaggio e, infine, vedremo come un modello alternativo di valutazione sia auspicabile.

Articoli scientifici

Partiamo dalle regole di pubblicazioni degli articoli scientifici. Ogni risultato di laboratorio o osservazione sul campo, prima di raggiungere chi è in una posizione per poterlo utilizzare, deve passare attraverso un processo attento di revisione e confronto tra esperti. È fondamentale! Perché questo è come la scienza avanza in modo rigoroso e garantisce la giusta informazione. Ma come funziona esattamente il sistema attuale? Come vengono pubblicati i risultati dei ricercatori sulle riviste autorevoli della scienza?

Gli editori delle riviste ricevono dallo scienziato che è responsabile dello studio (solitamente colui che firma come ultimo autore) il frutto di una ricerca a cui partecipano più ricercatori, ognuno con un certo ruolo; il tutto viene presentato in forma di articolo, e gli editori per primi valutano se il lavoro è di interesse per la rivista. Per esempio tra i principali criteri c’è, sempre, la correttezza del metodo sperimentale ma anche la novità dello studio. Infatti, in situazione di normalità, le riviste scientifiche più importanti danno priorità a quei risultati che appaiono soprattutto nuovi. Subito dopo essere stati valutati dagli editori, gli articoli vengono inviati ad altri scienziati, i quali gratuitamente e nell’anonimato commentano su aspetti vari, dalle tecniche alle analisi degli esperimenti, oppure sull’interpretazione dei risultati. Questo processo è detto di peer-review (valutazione tra pari) e può essere più o meno articolato, a seconda del tipo di revisione. Comunque, nella maggior parte dei casi non è affatto veloce e molto spesso c’è bisogno di ricorrere ad ulteriori esperimenti per raggiungere un consenso tra gli autori della ricerca, i revisori e l’editor. È tuttavia necessario per riconoscere eventuali errori o chiarire dubbi; sostanzialmente è diretto ad aumentare la credibilità della ricerca scientifica e allo stesso tempo serve anche da filtro, per evitare che della cattiva ricerca crei disinformazione. Nelle scienze biomediche, per esempio, questo processo ha una durata media di circa nove mesi, un periodo troppo lungo in questo momento di emergenza.

Infatti, mentre molti scienziati in tutto il mondo hanno iniziato da qualche mese una vera e propria lotta contro il tempo, producendo nuovi studi per contrastare il virus Sars-Cov-2 e gli effetti del disturbo da coronavirus (Covid-19), le riviste scientifiche sono alle prese, dunque, con un incessante lavoro di revisione. Per ridurre al minimo i tempi di disseminazione di questi risultati scientifici, molte riviste stanno modificando le loro regole e le loro procedure. Alcune riviste hanno annunciato di ridurre al minimo il numero di esperimenti aggiuntivi. Viene incoraggiato, e in alcuni casi è diventato obbligatorio, pubblicare anticipatamente i propri risultati su piattaforme online che accettano lavori che sono ancora in valutazione, i cosiddetti preprints (per esempio bioRxiv e medRxiv). Molti appelli, per esempio da parte della rivista Nature, sono stati lanciati per incoraggiare giovani ricercatori a servire da revisori. Sulla stessa linea si è già espressa anche la Royal Society inglese che ha annunciato e creato una task force di 700 ricercatori esperti che si sono impegnati a garantire una revisione dei lavori riguardanti Covid-19 entro 48 ore dalla sottomissione.

Se da una parte c’è chi incoraggia ad andare avanti con procedure sempre più veloci di revisione, dall’altra c’è chi solleva il dubbio che così facendo si incorre nel rischio di commettere errori. In principio, l’utilizzo di strategie come quella del sistema preprint, permette un’esposizione dei propri risultati molto ampia nella comunità scientifica sin da subito. Di conseguenza queste procedure aumentano il livello di allerta su eventuali incorrettezze e permettono di raggiungere un consenso scientifico molto più ricco rispetto a prima. Eppure queste piattaforme per essere davvero di aiuto hanno anch’esse bisogno di tempo, ma soprattutto di controlli, altrimenti creano confusione. Circa 3000 studi su Covid-19 sono apparsi su bioRxiv e medRxiv solo nelle ultime settimane; un numero di articoli senza precedenti. Questi sono articoli che non hanno ancora ricevuto una revisione da altri scienziati, e alcuni di questi potrebbero avere un effetto controproducente. In alcuni casi vengono suggeriti trattamenti senza le giuste considerazioni sperimentali, pertanto c’è il rischio che diffondano informazioni scientificamente infondate.

Il sistema peer-review, sebbene prometta una revisione attenta del lavoro, è stato più volte criticato in passato per alcune sue incongruenze. Per esempio, non tiene conto della dualità del ruolo degli scienziati, che rispetto ai propri colleghi sono sia valutatori che competitori. Di fatto questo sistema possiede una circolarità pericolosa. Pubblicare su riviste importanti aumenta le proprie possibilità di ottenere finanziamenti e, quindi, aumenta la propria competitività nella comunità scientifica. Purtroppo, i risultati di un numero crescendo di lavori, nonostante la correttezza sperimentale e la procedura attenta di peer-review, non vengono poi riprodotti.

Un nuovo modello: il sistema ‘Wellcome’

‘Wellcome’ (o Wellcome Trust) è uno degli enti di finanziamento per la ricerca più importanti al mondo. Fondata nel 1936 a seguito della donazione di Sir Henry Wellcome, filantropo e magnate dell’industria farmaceutica, è attualmente una fondazione indipendente dal punto di vista politico e finanziario. Lo scopo della fondazione è supportare i ricercatori nelle grandi sfide per la salute, migliorando la scienza. Da qualche anno, per migliorare il sistema di valutazione e pubblicazione della ricerca, Wellcome ha lanciato un nuovo modello, ‘Wellcome Open Research’, una piattaforma dove è possibile pubblicare articoli scientifici che sono finanziati o co-finanziati da Wellcome. Su questa piattaforma vengono pubblicati articoli scientifici indipendentemente dal livello di novità, incluso i risultati negativi oppure quelli che confermano risultati già conosciuti in letteratura. Questi lavori conferiscono ulteriore forza alla conoscenza scientifica. Tutti gli articoli vanno attraverso un modello di revisione trasparente da parte di esperti indipendenti. Un team di editori conduce da subito un controllo comprensivo per garantire che il lavoro risponda a tre criteri imprescindibili: 1) la descrizione dei metodi e la presentazione dei risultati sia aderente alle linee guida; 2) i principi etici della ricerca siano rispettati; 3) gli autori abbiamo reso disponibili i loro dati. Insieme agli articoli appaiono online anche i commenti dettagliati dei revisori, nonché i loro nomi. Ad ogni revisione del lavoro è possibile seguire, pertanto, non solo l’evoluzione dell’articolo ma anche lo scambio tra revisori e autori in modo aperto. Infine, è garantito l’accesso ai dati grezzi degli esperimenti, ovvero le misurazioni così come sono raccolte dagli autori e prima di essere elaborati. Tutto ciò favorisce enormemente la riproducibilità dei risultati. I revisori devono poter dimostrare di essere esperti in quel campo, di avere la giusta esperienza e di essere totalmente indipendenti. Pertanto, anche la loro valutazione è accompagnata da linee guida precise.

Un altro aspetto molto importante di questo sistema riguarda i costi. Generalmente i costi di pubblicazione degli articoli scientifici in molte delle riviste in circolazione sono esorbitanti ma, soprattutto, la ricerca finisce quasi sempre per essere pagata molteplici volte lungo questo processo. La prima volta viene pagata dal finanziamento per condurre lo studio; la seconda volta viene pagata quando lo studio viene pubblicato sulla rivista; la terza volta viene pagata attraverso il costo di accesso alle riviste scientifiche. Nel caso del modello Wellcome, i costi di pubblicazione sono coperti centralmente dalla fondazione. In questo modo i ricercatori che hanno ricevuto un finanziamento per la loro ricerca da Wellcome, possono pubblicare a fine lavoro i loro risultati senza ulteriori costi. Questo modello garantisce una sinergia ottimale tra finanziamento, valutazione a sistema aperto e disseminazione dei risultati.

Verso una valutazione generale della ricerca

La discussione sulle pubblicazioni scientifiche non è poi così distante o scollegata da un altro interrogativo, di carattere più generale, se vogliamo, ma fondamentale nel mondo della scienza; ovvero se il sistema di valutazione degli scienziati sia meritocratico.

Per Aldo Visalberghi, nell’ambito della politica educativa scolastica del secolo scorso, ‘valutazione e misurazione’ erano oggetti di sperimentazione e di verificabilità scientifica. Paradossalmente, la valutazione del merito scientifico si basa, invece, su misurazioni accettate, ma non accertate, del controllo della qualità scientifica. Per esempio, alcuni di questi strumenti di misurazione sono il fattore di impatto delle riviste (un indice del numero di citazioni medie degli articoli in un periodo di tempo) dove lo scienziato pubblica i suoi lavori, oppure il suo h-index (numero di pubblicazioni citate lo stesso numero di volte). Queste misurazioni offrono delle informazioni utili per qualche confronto sommario ma non sono sufficienti per capire effettivamente né il valore della ricerca né il merito del ricercatore, oppure il suo contributo.

Il 2034 immaginato da Young non è più così distante da noi, e alcune di quelle previsioni sono sotto i nostri occhi. Un nuovo sistema di potere ha già preso forma in questo senso. La nuova tecnocrazia può creare molta conoscenza, purché i vantaggi vengano capitalizzati in modo efficiente attraverso la ricerca. Una meritocrazia imperfetta, tuttavia, può stravolgere la competizione, influenzare la distribuzione delle risorse e continuare ad alimentare disuguaglianze.
La buona valutazione della ricerca, in tutte le sue fasi, sia che passi dai processi nazionali o da quelli sovranazionali, è efficace quando crea sistema tra gli obiettivi strategici di ricerca di base e quelli legati all’innovazione. L’implementazione di un modello di tipo ‘Wellcome’, da una parte permetterebbe anche nel nostro Paese un coinvolgimento e un monitoraggio più accurato di chi finanzia la ricerca. Dall’altra, ridurrebbe enormemente i costi per le pubblicazioni e la disseminazione dei risultati; tra l’altro, l’editoria scientifica, sebbene sia un’industria di dimensioni globali rilevanti, alla pari delle grandi società quali Apple, Amazon ecc., di fatto i suoi contributi fluiscono principalmente solo in un numero assai ristretto di economie nazionali. Infine, aumenterebbe la sinergia tra ricerca e finanziamento pubblico, migliorando probabilmente anche il rapporto tra scienza e politica.

La crisi e l’emergenza che stiamo vivendo porta con sé un numero illimitato di nuove opportunità scientifiche e professionali, nonché economiche. Va da sé che avremo bisogno di modi sempre più efficaci per assegnare meriti e risorse. Per Visalberghi la valutazione in ambito pedagogico era fondamentale per creare programmi concreti di crescita. Quale migliore visione di questa per migliorare la valutazione nella scienza oggi.

Per concludere con le nozioni più semplici del comportamento degli animali: il problema non riguarda tanto il tipo di premio (rinforzo positivo vs. rinforzo negativo); il problema è la distribuzione dei premi stessi. Un sistema filtrato da una meritocrazia imperfetta non funziona in laboratorio come non funziona nemmeno nella nostra società. Un topolino non imparerà facilmente ad uscire dal suo labirinto se le regole non sono chiare, e noi società di Homo sapiens non troveremo la soluzione ai nostri problemi se la meritocrazia rimane imperfetta

(http://lameladinewton-micromega.blogautore.espresso.repubblica.it . 29 giugno 2020)

Lascia un commento

 

 

Visitatori

  • 773900 visite totali
  • 283 visite odierne
  • 3 attualmente connessi