Incertezze inconfutabili

In questo periodo la scienza è più che mai al centro della scena. Virologi, medici ed esperti sono continuamente intervistati dai giornali e ospitati nei salotti televisivi, e spesso non sono d’accordo tra loro. Quest’ultimo aspetto in particolare è visto a volte con sconcerto dall’opinione pubblica e anche dalla politica, che pretenderebbe dalla scienza risposte univoche o persino “inconfutabili”, per citare un ministro. Ma il metodo scientifico galileiano, fondato sulla riproducibilità dei risultati sperimentali e più in generale su un approccio costantemente critico all’indagine scientifica, afferma in sostanza l’esatto contrario: essere in disaccordo e discutere è del tutto normale all’interno della comunità scientifica. Semmai, è interessante capire quali meccanismi guidano il dibattito scientifico, così come l’eventuale diversa interpretazione degli stessi dati.

Proprio in questa direzione si muove uno studio pubblicato di recente sulla rivista “Nature” da una collaborazione internazionale all’interno del progetto NARPS (Neuroimaging Analysis, Replication and Prediction Study), guidata da ricercatori delle Università di Tel Aviv, Dartmouth College e Stanford e composta da quasi 200 scienziati (divisi in circa 70 gruppi di ricerca) provenienti da diversi settori tra cui le neuroscienze, la psicologia, la statistica e l’economia. Tra questi figura anche un gruppo di ricerca basato a Trento e composto da Paolo Avesani ed Emanuele Olivetti dell’unità di ricerca NILab di FBK e Vittorio Iacovella del CIMeC/Università di Trento.

L’obiettivo dello studio è stato quello di studiare come (e quanto) sia variabile l’analisi di uno stesso insieme di dati per testare le stesse ipotesi scientifiche, sottoposte al vaglio indipendente di diversi gruppi di ricerca. In altri termini, lo studio si è posto la seguente domanda: ricercatori diversi possono giungere a conclusioni differenti partendo dagli stessi dati e ipotesi?

Per farlo, presso il centro di ricerca “Strauss” dell’Università di Tel Aviv è stato inizialmente raccolto un insieme di dati di imaging cerebrale relativi a 108 partecipanti impegnati in un compito in cui erano chiamati a prendere delle decisioni. I dati sono stati poi inviati ai 70 gruppi di ricerca, provenienti da tutto il mondo, cui è stato chiesto di analizzare i dati in modo indipendente e testare in particolare nove ipotesi predefinite (le stesse per tutti i gruppi) riguardanti l’attività di alcune zone del cervello in relazione alle decisioni prese dai partecipanti. A ogni gruppo sono stati concessi tre mesi per analizzare i dati, con l’invito a specificare (oltre ai risultati finali) informazioni dettagliate sui metodi di analisi e anche sui risultati statistici intermedi.

I risultati sono interessanti: solo per quattro delle nove ipotesi si è osservata una certa coerenza tra i vari gruppi, mentre per le altre cinque c’è stato un sostanziale disaccordo. Non solo: le mappe statistiche del cervello relative a ciascuna ipotesi, elaborate dai vari gruppi, sono risultate molto simili, eppure ciò non ha impedito una diversificazione dei risultati finali. Per quanto riguarda i risultati intermedi c’è stata invece una maggiore convergenza per quasi tutte le ipotesi.

Un’altra parte importante dello studio, curata da economisti ed esperti di finanza comportamentale, ha puntato a stabilire le aspettative dei gruppi partecipanti sui risultati della ricerca, attraverso i cosiddetti prediction markets (in finanza, strumenti di investimento i cui profitti dipendono dall’esito di un certo evento futuro). In questo caso il “mercato” era rappresentato dai risultati delle nove ipotesi scientifiche considerate: i prediction market hanno rivelato che i ricercatori sono stati in media eccessivamente ottimisti nello stimare la probabilità di ottenere risultati significativi.

«Lo studio condotto con NARPS non solo ha puntato a investigare la varianza nell’analisi dei dati, ma anche a misurare se e come l’aspettativa del risultato atteso possa influenzare il risultato finale. L’analisi dei dati è fortemente condizionata dalle nostre aspettative a priori», sottolinea Paolo Avesani. «Fare inferenza dai dati è un processo complesso che comporta numerose assunzioni che spesso restano tacite, sebbene possano avere un impatto significativo sui risultati».

«Le nostre assunzioni a priori sono ciò che dobbiamo motivare e difendere di fronte alla comunità scientifica», aggiunge Emanuele Olivetti.

Leggi il resto dell’articolo sul Magazine di FBK