I modelli matematici predittivi sulla pandemia da COVID-19 hanno fortemente influenzato le decisioni dei governi e, a cascata, le vite di tutti noi. Nonostante i dati dei modelli presentino grandi incertezze, sono sovente utilizzati per giustificare le scelte politiche come dettate dalla scienza e sostenere agende predeterminate senza assumersene esplicita responsabilità, notano gli Autori di un lavoro pubblicato su Nature nel giugno scorso. Proprio per aiutare la società a esigere la qualità di cui ha bisogno dalla modellizzazione ed evitare che quest’ultima divenga ostaggio delle contese politiche, gli Autori propongono l’adesione a un insieme di regole condivise illustrate nel manifesto che traduciamo di seguito.
Nature | Vol 582 | 25 giugno 2020
di Andrea Saltelli, Gabriele Bammer, Isabelle Bruno, Erica Charters, Monica Di Fiore, Emmanuel Didier, Wendy Nelson Espeland, John Kay, Samuele Lo Piano, Deborah Mayo, Roger Pielke Jr, Tommaso Portaluri, Theodore M. Porter, Arnald Puy, Ismael Rafols, Jerome R. Ravetz, Erik Reinert, Daniel Sarewitz, Philip B. Stark, Andrew Stirling, Jeroen van der Sluijs, Paolo Vineis
Traduzione di Rosa Anselmi
La pandemia da COVID-19
illustra perfettamente come cambia il funzionamento della scienza quando le situazioni
di emergenza, la posta in gioco, i valori e l'incertezza entrano in conflitto -
nel regime "post-normale".
Ben prima della pandemia da
coronavirus, gli statistici stavano discutendo su come prevenire pratiche
scorrette come il p-hacking [N.d.T.
manipolazione del processo di raccolta dei dati o dell’analisi statistica per “addomesticare”
i risultati], in particolare quando potrebbero influenzare la politica [1].
Ora la modellizzazione computazionale è sotto i riflettori, con i politici che
presentano le loro politiche come dettate dalla "scienza"[2].
Eppure non vi è alcun aspetto sostanziale di questa pandemia per cui qualsiasi
ricercatore possa attualmente fornire numeri precisi e affidabili. Le incognite
note includono la prevalenza, la letalità e i tassi di riproduzione del virus
nelle popolazioni. Esistono poche stime del numero di infezioni asintomatiche e
sono molto variabili. Sappiamo ancora meno sulla stagionalità delle infezioni e
su come funziona l'immunità, per non parlare dell'impatto degli interventi di distanziamento
sociale in diverse e complesse società.
I modelli matematici
producono numeri altamente incerti che predicono future infezioni, ricoveri e
decessi in vari scenari. Piuttosto che usare i modelli per ottenere una maggiore comprensione, i politici spesso li brandiscono per sostenere agende
predeterminate. Per assicurarsi che le
previsioni non diventino appendici a sostegno di una causa politica, i modellisti, i decisori
e i cittadini devono stabilire nuove regole. Ai
modellisti non deve essere consentito di proiettare più certezza di quanto
meritino i loro modelli; e ai politici non deve essere consentito di scaricare
la responsabilità su modelli di loro scelta[3].
Questo è importante
perché, quando utilizzati in modo appropriato, i modelli sono estremamente
utili alla società: forse i più noti sono quelli usati nelle previsioni del
tempo. Questi modelli sono stati affinati testando milioni di previsioni
rispetto alla realtà. Così abbiamo anche i modi per comunicare i risultati a
diversi utenti, dal Sistema Digitale di Disseminazione delle informazioni meteo
marine per le navi oceaniche alle previsioni orarie accumulate da weather.com. Escursionisti,
dirigenti delle compagnie aeree, pescatori, tutti comprendono sia che
i risultati dei modelli sono fondamentalmente incerti, sia come tener conto
delle previsioni per le decisioni.
Presentiamo qui un
manifesto per le migliori pratiche per una modellizzazione matematica
responsabile. Molti gruppi prima di noi hanno descritto i modi migliori per
applicare le informazioni della modellizzazione alle politiche, incluse le
malattie [4].
Sintetizziamo cinque semplici principi per aiutare la società a esigere dai modelli la
qualità necessaria.
Attenzione
alle ipotesi
Permette di valutare l'incertezza e la
sensibilità. I modelli vengono spesso importati da altre applicazioni, ignorando
come delle ipotesi ragionevoli in una situazione possono diventare prive di senso in
un’altra. Modelli che funzionano per il rischio nucleare civile potrebbero non
valutare adeguatamente il rischio sismico. Un altro errore si verifica quando i
modelli richiedono valori di input per i quali non ci sono informazioni
affidabili. Ad esempio, c'è un modello utilizzato nel Regno Unito per guidare
la politica dei trasporti che dipende da un'ipotesi su come molti passeggeri
viaggeranno in automobile fra tre decenni. [5].
Un modo per ridurre
questi problemi è eseguire analisi di incertezza e sensibilità globali. In
pratica, ciò significa consentire a tutto ciò che è incerto - variabili,
relazioni matematiche e condizioni di contorno - di variare simultaneamente
mentre le sequenze del modello producono la loro gamma di previsioni. Ciò
rivela spesso che l'incertezza nelle previsioni è sostanzialmente maggiore di
quanto originariamente affermato. Ad esempio, un'analisi di tre di noi
(A.Saltelli, AP, SLP) suggerisce che le stime di quanta terra sarà irrigata per
le colture future variano più di cinque volte quando i modelli esistenti
integrano adeguatamente le incertezze sui tassi di crescita della popolazione
futura, la diffusione delle aree irrigate e la relazione matematica tra le due [6].
Tuttavia, queste analisi di
incertezza globale e di sensibilità spesso non sono eseguite. Chiunque si
rivolga a un modello per averne delle indicazioni dovrebbe richiedere che tali analisi siano
condotte e che i loro risultati siano adeguatamente descritti e resi
accessibili.
Attenzione
alla superbia
La complessità può essere
nemica della rilevanza. La maggior parte dei modellisti è consapevole del fatto
che esiste un compromesso tra l'utilità di un modello e l'ampiezza che cerca di
catturare. Ma molti sono sedotti dall'idea di aggiungere complessità nel
tentativo di catturare la realtà in modo più accurato. Quando i modellisti
incorporano più fenomeni, un modello potrebbe adattarsi meglio ai dati di training,
ma a un costo. Le sue previsioni solitamente diventano meno accurate. Man mano
che vengono aggiunti più parametri, l'incertezza si accumula (l'effetto a
cascata dell'incertezza) e l'errore potrebbe aumentare al punto che le
previsioni diventano inutili.
La complessità di un modello
non è sempre un indicatore di quanto bene cattura le caratteristiche importanti.
Nel caso di infezione da HIV, un modello più semplice focalizzato sulla
promiscuità si è rivelato più affidabile di un altro più complicato basato
sulla frequenza della attività sessuale 5. La scoperta
dell'esistenza di "eventi di super-contagio" e di individui “super-diffusori"
per il COVID-19 mostrano in modo simile come una caratteristica imprevista
della trasmissione può cogliere di sorpresa l'analista.
Un esempio estremo di eccessiva
complessità è un modello utilizzato dal Dipartimento dell'Energia degli Stati
Uniti per valutare il rischio nello smaltimento dei rifiuti radioattivi presso
il deposito di Yucca Mountain. Chiamato valutazione delle prestazioni del
sistema totale, comprendeva 286 sotto-modelli con migliaia di parametri. I
regolatori lo hanno incaricato di prevedere "un milione di anni" di
sicurezza. Tuttavia una singola variabile chiave - il tempo necessario affinché
l'acqua percolasse fino al livello del deposito sotterraneo - era incerta di
tre ordini di grandezza, rendendo irrilevante la dimensione del modello[7].
La complessità è vista
troppo spesso come un fine in sé. L'obiettivo deve invece essere quello di trovare
l'equilibrio ottimale con l'errore.
Inoltre, le persone formate per costruire modelli
spesso non sono addestrate o incentivate per tali analisi. Mentre un ingegnere è chiamato a rispondere se cade
un ponte, altri modelli tendono a essere sviluppati con grandi team e
utilizzano circuiti di feedback così complessi che nessuno può essere ritenuto
responsabile se le previsioni sono catastroficamente sbagliate.
Attenzione
allo scenario
Abbinare scopo e contesto. I
risultati dei modelli rifletteranno almeno in parte gli interessi, gli
orientamenti disciplinari e i pregiudizi degli sviluppatori. Nessun modello può
servire a tutti gli scopi.
I modellisti sanno che la
scelta degli strumenti influenzerà, e potrebbe persino determinare, il
risultato dell'analisi, quindi la tecnica non è mai neutra. Ad esempio, il modello
GENESIS di erosione del litorale è stato utilizzato dal Corpo degli Ingegneri dell'esercito
degli Stati Uniti a supporto della valutazione del rapporto costo-beneficio per
progetti di salvaguardia della spiaggia. Il modello costo-beneficio non poteva
prevedere realisticamente i meccanismi di erosione delle spiagge a causa delle
onde o l'efficacia della ricostituzione della spiaggia mediante l'intervento
umano. Poteva essere facilmente manipolato per aumentare le prove che alcuni
progetti di ingegneria costiera sarebbero stati vantaggiosi 7. Una
valutazione più equa avrebbe considerato come eventi di tempesta estrema dominano
nei processi di erosione.
Approcci condivisi alla
valutazione della qualità devono essere accompagnati da un impegno condiviso alla
trasparenza. Esempi di termini che lasciano intendere una precisione incontestabile
includono: "costo–beneficio”, "utilità attesa","teoria
delle decisioni", "valutazione del ciclo di vita",
"servizi ecosistemici", e "politica basata su evidenze". Eppure
tutti presuppongono un insieme di valori su ciò che conta: sostenibilità per
alcuni, produttività o redditività per altri 3,[8].
I modellisti non dovrebbero nascondere i valori normativi delle loro scelte.
Si consideri il valore di
una vita dal punto di vista statistico, vagamente definito come il costo di evitare la morte.
È già controverso quando si tratta di stabilire delle compensazioni — per le vittime di un incidente
aereo, ad esempio. Anche se potrebbe avere un ruolo nella scelta della migliore
politica di sanità pubblica, può produrre una discutibile apparenza di rigore e
camuffare così le decisioni politiche come decisioni tecniche 8.
Il modo migliore per
evitare che i modelli nascondano i loro assunti, comprese le tendenze
politiche, è un insieme di regole condivise. Queste dovrebbero comprendere come
produrre un modello, valutare l’incertezza e comunicare i risultati. A tal fine
sono state redatte linee guida internazionali per più discipline. Richiedono che
i processi coinvolgano le parti interessate, soddisfino più punti di vista e
promuovano la trasparenza, la riproducibilità e l'analisi della sensibilità e dell’incertezza.
Ogni volta che un modello viene utilizzato per una nuova applicazione con nuove
parti interessate, deve essere validato e verificato di nuovo.
Le linee guida esistenti
per la modellizzazione delle malattie infettive riflettono queste
preoccupazioni, ma non sono state largamente adottate 4. Versioni
semplificate e un linguaggio semplice del modello possono essere cruciali. Quando
un modello non è più una scatola nera, quelli che lo utilizzano devono intervenire
per valutare i singoli parametri e le relazioni tra loro. Ciò rende possibile
comunicare come differenti elaborazioni e assunti mappino differenti inferenze,
piuttosto che una singola interpretazione semplificata da un modello
eccessivamente complesso. O per dirla in gergo: le descrizioni qualitative di diverse
serie ragionevoli di ipotesi possono essere importanti per migliorare la
comprensione nei decisori tanto quanto la produzione di risultati quantitativi.
Esempi di modelli che
hanno aderito a queste linee guida possono essere trovati nelle previsioni del rischio
di inondazioni e nella gestione della pesca. Queste includevano le informazioni
e le intuizioni delle parti interessate sia sugli input che sui fini
desiderati.
Attenzione
alle conseguenze
La quantificazione può ritorcersi contro. L’attenzione eccessiva alla produzione di numeri può portare una disciplina dall'essere più o meno giusta all'essere decisamente sbagliata. L’uso indiscriminato di test statistici può sostituire un giudizio equilibrato. Contribuendo a far apparire sicuri dei prodotti finanziari in realtà rischiosi, i modelli hanno contribuito a far deragliare l'economia globale nel 2007-2008 (rif.5).
Una volta che un numero
occupa il centro della scena con una narrazione netta e precisa, altre possibili spiegazioni e stime
possono scomparire dalla vista. Ciò potrebbe indurre alla compiacenza e alla
politicizzazione della quantificazione, nel momento in cui le altre opzioni sono emarginate.
Nel caso del COVID-19, problemi così diversi come la disponibilità di posti
letto in terapia intensiva, il lavoro e le libertà civili sono in gioco
contemporaneamente, anche se non possono essere semplicemente quantificati e poi
inseriti dentro ai modelli.
La falsa precisione
conferisce un falso senso di certezza. Se i modellisti dicono al Regno Unito
che vedrà 510.000 morti [9] se
non saranno prese misure per mitigare la pandemia, alcuni potrebbero immaginare
una affidabilità di due cfre significative. Invece, anche la
limitata analisi dell'incertezza condotta dai modellisti — basata su un solo
parametro — rivela un range di 410.000–550.000 morti. Analogamente, l’OMS
prevede fino a 190.000 morti per l’Africa (si veda go.nature. com/3hdy8kn). Quel
numero corrisponde a uno scenario speculativo in cui dieci probabilità incerte di
ingresso sono aumentate di un arbitrario 10% - come se fossero davvero ugualmente incerte — senza
alcuna base teorica o empirica per tale scelta. Anche se gli esperimenti mentali sono utili,
essi non dovrebbero essere trattati come previsioni.
L'opacità sull'incertezza
danneggia la fiducia. Un messaggio dal campo della sociologia della
quantificazione [10] è che
la fiducia è essenziale affinché i numeri siano utili 8. Le
spiegazioni complete sono fondamentali.
Attenzione
alle incognite
Riconoscere l'ignoranza. Per la maggior parte della storia
della filosofia occidentale, l'autocoscienza dell'ignoranza era considerata una
virtù, il degno oggetto della ricerca intellettuale - ciò che il filosofo del
XV secolo Nicola di Cusa chiamava ignoranza dotta, o docta ignorantia. Ancora
oggi, comunicare ciò che non è noto è almeno altrettanto importante del
comunicare ciò che è noto. Eppure i modelli possono nascondere l'ignoranza.
Il mancato riconoscimento
dell'ignoranza può artificialmente limitare le opzioni politiche e aprire la porta a
sorprese indesiderate. Si consideri, ad esempio, quello che accadde ai capi dei
governi quando gli economisti in carica ammisero che i loro modelli – per come
erano progettati - non potevano prevedere l'ultima recessione. Peggio ancora,
trascurare le incertezze potrebbe offrire ai politici la possibilità di abdicare
alla responsabilità. Gli esperti dovrebbero avere il coraggio di rispondere che
"non c'è una risposta numerica alla sua domanda", come ha fatto
l'epidemiologo del governo degli Stati Uniti Anthony Fauci di fronte alla richiesta di un
politico.
Domande
non risposte
I modelli matematici sono
un ottimo modo per analizzare le domande. Sono anche un modo pericoloso per garantire
le risposte. Chiedere ai modelli certezza o consenso è più un segno delle difficoltà
nel prendere decisioni controverse che una soluzione e può invitare a un uso ritualistico
della quantificazione.
I presupposti e i limiti
dei modelli devono essere valutati apertamente e onestamente. Il processo e
l'etica contano tanto quanto l'abilità intellettuale. Ne
consegue, a nostro avviso, che una buona modellizzazione non può essere
eseguita dai modellisti da soli. E’ una attività sociale. Il movimento francese
degli attivisti statistici [N.d.T. dal francese “statactivistes”, neologismo
coniato alcuni anni fa, derivante dalla fusione delle parole statistica e
attivismo, per indicare il
tentativo di riappropriarsi del “potere di denuncia ed emancipazione della
statistica”, Bruno et al. 2014] ha mostrato come i numeri possono essere
combattuti con i numeri, come nella quantificazione della povertà e delle
disuguaglianze [11].
Una forma di attivismo
sociale sul rapporto tra modelli e società è offerta dall'ingegnere-imprenditore
statunitense Tomás Pueyo. Non è un epidemiologo, ma scrive sui modelli del COVID-19
e spiega con un linguaggio semplice le implicazioni delle incertezze per le
opzioni politiche.
Non stiamo chiedendo la
fine della quantificazione, né modelli apolitici, ma una divulgazione piena e franca. Seguire questi cinque punti aiuterà a preservare la
modellizzazione matematica come uno strumento prezioso. Ciascun punto
contribuisce all'obiettivo generale di mettere in chiaro i punti di forza e
i limiti dei risultati del modello. Ignoriamo i cinque punti e le predizioni dei
modelli diventano dei cavalli di Troia per interessi e valori non dichiarati.
Modelliamo responsabilmente.
-
Andrea Saltelli è professore al Center for
the Study of the Sciences and the Humanities, University of Bergen, Norway, e
all’Open Evidence Research, Open University of Catalonia, Barcelona, Spain.
-
Gabriele Bammer è professore al National
Centre for Epidemiology and Population Health, Research School of Population
Health, Australian National University, Canberra, Australia
-
Isabelle Bruno è professore associato in
Scienze politiche alla University of Lille e ricercatore al Lille Center for
European Research on Administration, Politics and Society (CERAPS, CNRS/University
of Lille), France
-
Erica Charters è professore alla Faculty
of History, University of Oxford, UK
-
Monica Di Fiore è ricercatore al Consiglio
Nazionale delle Ricerche, Roma, Italia
-
Emmanuel Didier è professore al Centre
Maurice Halbwachs, CNRS, alla École Normale Supérieure e alla School for
Advanced Studies in the Social Sciences, Paris, France
-
Wendy Nelson Espeland è professore al Department
of Sociology, Northwestern University, Evanston, Illinois, USA
-
John Kay è professore di economia al St
John’s College, University of Oxford, UK
-
Samuele Lo Piano è postdoctoral researcher
at the School of the Built Environment, University of Reading, UK
-
Deborah Mayo è professore al Department of
Philosophy, Virginia Tech, Blacksburg, Virginia, USA
-
Roger Pielke Jr è professore at the University
of Colorado Boulder, USA
-
Tommaso Portaluri è innovation manager a
IN Srl, Udine, Italy, e presidente del CEST – Centre for Excellence and
Transdisciplinary Studies, Turin, Italy
-
Theodore M. Porter è professore al Department
of History, University of California, Los Angeles, USA
-
Arnald Puy è Marie Curie Global Fellow in
the Department of Ecology and Evolutionary Biology, Princeton University, New
Jersey, USA, e al Center for the Study of the Sciences and the Humanities,
University of Bergen, Norway
-
Ismael Rafols è senior researcher al Centre
for Science and Technology Studies, Leiden University, the Netherlands
-
Jerome R. Ravetz è associate fellow at the
Institute for Science, Innovation and Society, University of Oxford, UK
-
Erik Reinert è professore alla Tallinn
University of Technology, Estonia, and honorary professor at the University
College London Institute for Innovation and Public Purpose, UK
-
Daniel Sarewitz è professore al Consortium
for Science, Policy & Outcomes, Arizona State University, USA
-
Philip B. Stark è professore al Department
of Statistics, University of California Berkeley, USA
-
Andrew Stirling è professore a Science
Policy Research Unit, University of Sussex, UK
-
Jeroen van der Sluijs è professore al
Center for the Study of the Sciences and the Humanities, University of Bergen,
Norway, e al Copernicus Institute of Sustainable Development, Utrecht
University, the Netherlands
-
Paolo Vineis è professore alla School of
Public Health, Imperial College London, UK
[1]
Mayo, D. G. Statistical Inference as Severe Testing. (Cambridge Univ. Press,
2018).
[2]
Devlin, H. & Boseley, S. ‘Scientists criticise UK government’s ‘following
the science’ claim’ (The Guardian, 23 April 2020).
[3]
Stirling, A. ‘How politics closes down uncertainty’. Available at
https://go.nature.com/3kjvutz
[4]
Behrend, M. R. et al. PLoS Negl. Trop. Dis. 14, e0008033 (2020).
[5]
Kay, J. A. & King, M. A. Radical Uncertainty: Decisionmaking Beyond the
Numbers (W. W. Norton & Company, 2020).
[6]
Puy, A., Lo Piano, S. & Saltelli, A. Geophys. Res. Lett. 47, e2020GL087360
(2020).
[7]
Sarewitz, D., Pielke, R. A. & Byerly, R. Prediction: Science,Decision
Making, and the Future of Nature (Island Press, 2000).
[8]
Porter, T. M. Trust in Numbers: The Pursuit of Objectivity in Science and Public
Life (Princeton Univ. Press, 1996).
[9] Ferguson, N. M. et al.
Impact of non-pharmaceutical interventions (NPIs) to reduce COVID-19 mortality
and healthcare demand (Imperial College London, 2020).
[10]
Espeland, W. N. & Stevens, M. L. Eur. J. Sociol. 49, 401–436 (2008).
[11]
Bruno, I., Didier, E. & Vitale, T. Partecipazione conflitto 7, 198–220
(2014).
Nessun commento:
Posta un commento