STATISTICA E MEDICINE NON CONVENZIONALI. LA SIGNIFICATIVITA’ APPLICATA A FENOMENI ANOMALI
Nella ricerca medica il concetto di significatività statistica è di regola inteso come misura affidabile di validità. Così quando leggiamo che il risultato di uno studio clinico, ad esempio la differenza di effetto tra terapia e controllo, è statisticamente significativa con un valore P minore di 0.05, o meglio, di 0.01, giudichiamo in sostanza provata questa differenza e non ci pensiamo più. Prima però di trarre conclusioni definitive faremmo bene a tener presente che il modo con cui deduciamo una inferenza statistica è diverso da quello con cui formuliamo un giudizio scientifico e che i punti di arrivo dei due processi possono non coincidere. Sicchè una parte importante del giudizio di merito sta nel capire se è stato tenuto conto o no di questa indispensabile premessa.
Cosa indica l’espressione “statisticamente significativo”? Essa, come è generalmente intesa, ci dice a un dipresso che è improbabile che il risultato ottenuto è occorso per caso e che quindi l’ipotesi in esame, ad esempio l’efficacia di un rimedio, è corretta. Quanto verosimilmente? 19 volte su 20 nel caso di un valore P = 0.05 e 99 volte su 100 se il valore P è 0.011.
Per essere esatti, le cose sono differenti. Il valore P ci dice la probabilità di ottenere un risultato pari o più netto di quello ottenuto ripetendo indefinitamente lo stesso esperimento quando non esiste alcuna differenza tra i termini a confronto.
Ora un valore P significativo di per sè non prova in realtà nulla ma è utilissimo a corroborare un risultato più o meno attendibile. Per converso, la mancanza di significatività ci dice che l’ipotesi in esame, pur plausibile, regge male alla prova dei fatti: una informazione altrettanto utile. Le cose si complicano quando saltano fuori significatività anche elevate che suggeriscono rapporti causa-effetto insensati. Due esempi.
Il primo esempio è tratto dal bel libro di Marco Bobbio “Il Malato Immaginato” (Einaudi 2010). Un inglese buontempone ha scartabellato i giornali sportivi del Regno Unito dal 1880 in poi trovando una correlazione statisticamente significativa (P = 0.047) tra la vittoria del Galles nel campionato nazionale di rugby e la morte del papa.
Secondo esempio. Com’è noto, piccole dosi di aspirina prevengono la ricorrenza di un infarto cardiaco. Lo conferma uno studio abbastanza recente secondo cui la mortalità diminuiva significativamente (P < 0.001, addirittura) nei pazienti trattati con questo farmaco. Fin qui tutto normale senonchè scomponendo i risultati saltava fuori un dato bizzarro: la significatività veniva a un tratto meno nei soggetti nati sotto il segno della Bilancia e dei Gemelli (http://www.agenziafarmaco.gov.it/allegati/bif5_08_sottogruppi.pd).
Che fare di questi dati? Dovrà il Vaticano prepararsi a un nuovo conclave ogni volta che i gallesi vincono il campionato di rugby? O il medico prescrivere l’aspirina ai convalescenti di infarto regolandosi con l’oroscopo? Evidentemente no. Ma perchè, se la statistica, che pure è una scienza affidabile, apparentemente ci dice che è molto difficile che questi eventi siano avvenuti per caso?
“La scienza è scienza; solo bisogna saperla adoperare” diceva a ragione don Ferrante che pure di scienza se ne intendeva poco. Infatti ci sono almeno due motivi per non prestar fede a questi risultati.
In primo luogo, in statistica inferenziale c’è una regola aurea per cui non si può rovistare nei dati acquisiti a caccia di significatività. Ciò perchè in questo modo si scopre la peculiarità “dopo” l’evento selezionando a priori un caso particolare. Il fisico Richard Feynman illustra efficacemente questo tranello nel libro “Il Senso delle Cose” (Adelphi 1999). Supponiamo, dice, di essere per strada e di fermare la nostra attenzione su una automobile presa a caso. Questa veicolo ha la (immaginaria) targa BA435GT. Con i milioni di automobili che ci sono a giro qual è la probabilità di imbattersi in un’auto proprio con quella identificazione? Microscopica naturalmente. Ma si tratta di significatività statistica secondo lo spirito del termine? Ovviamente no, il dato andava stabilito prima di essere osservato, occorreva per esempio scommettere: la prima auto che vedo appena uscito di casa avrà la targa BA435GT. Allora sì che sarebbe stato corretto calcolare la probabilità e parlare di significatività - anzi in questo caso di miracolo data l’eccezionalità dell’evento. Un importante corollario di questa regola è che la probabilità di incorrere in risultati falsi positivi aumenta quanti più dati si esaminano a posteriori.
I risultati paradossali appena menzionati sono privi di significato anche perchè la statistica usata è inadatta a valutarli. Infatti il valore P e misure consimili, così come sono congegnati, sono ottenuti senza tener conto della probabilità preliminare che l’ipotesi in esame sia corretta. In medicina, come in altre scienze applicate, questa può essere una manchevolezza perchè gli studi clinici testano ipotesi aventi gradi diversi di plausibilità e appare ragionevole che questa dimensione venga considerata nel calcolo della significatività. Il problema è trascurabile se, come di regola accade, le ipotesi in esame sono più o meno verosimili - ad esempio quando vengono testati farmaci aventi una base scientifica solida (antibiotici, cortisonici, beta bloccanti e così via). Le difficoltà sorgono nel caso di terapie scarsamente plausibili come quelle delle medicine non convenzionali (MnC). Che un farmaco simile alla penicillina guarisca una infezione è credibile poiché sappiamo che la penicillina impedisce ai batteri di conservare la loro membrana protettiva; ma perchè mai dovrebbe l’agopuntura favorire la fertilizzazione in vitro come sostengono con tanto di statistiche alcuni lavori clinici? Sbloccando l’energia vitale "Chi" come dicono i fondamenti di questa pratica? Siamo seri.
Insomma, come dice l’epidemiologo americano Steven Goodman, un valore P significativo non rende credibile una cura fondata su basi scientifiche manchevoli. O, se vogliamo, una sciocchezza statisticamente significativa rimane una sciocchezza.
Esiste un altro tipo di statistica, la statistica bayesiana, che considera nel calcolo della significatività la verosimiglianza dell’ipotesi in esame. Niente di straordinario, in medicina questo concetto è ampiamente usato quando vengono valutati i risultati di un test nel singoli pazienti. Ci spieghiamo (vedi anche il blog precedente). Un test positivo in un paziente sarà tanto più credibile quanto questo paziente ha maggiori probabilità di soffrire della la malattia che il test deve identificare. Un mammografia positiva sarà più allarmante in una donna anziana che in una donna giovane poichè il tumore del seno aumenta di frequenza con l’età. Quando la probabilità a priori è zero (un test di gravidanza in un uomo) un test positivo sarà sempre falso positivo. Corollario: se la probabilità iniziale di una ipotesi clinica è infinitesima, l’ipotesi non dovrebbe essere neppure testata perchè semplicemente non ne vale la pena.
Questa statistica sarebbe in teoria preferibile ma richiede calcoli più complessi ed è forse per questo che per ora è poco usata. Comunque il teorema da cui essa deriva (il teorema di Bayes appunto) dà un supporto matematico alla regola intuitiva di diffidare in medicina degli effetti positivi quando la probabilità iniziale di ottenerli è scarsa. Così, in medicina, scienza applicata, la probabilità che si avveri una ipotesi è correlata alla sua correttezza scientifica. Correttezza che difetta nelle MnC. Ad esempio, perchè sia vero il meccanismo di azione dell’agopuntura bisognerebbe che fosse falsa la maggior parte di quello che sappiamo di anatomia e fisiologia. Non sembra un sacrificio giustificato.
Nella letteratura medica esiste una sovrabbondanza di risultati positivi di cui una buona parte sono falsi. Ciò è causato da numerose ragioni di cui la principale è la propensione dei ricercatori e delle riviste mediche a pubblicare solo dati positivi (bias di pubblicazione). Gli studi clinici sulle MnC condividono e talvolta accentuano questa tendenza (ad esempio è impossibile trovare uno studio clinico di agopuntura fatto in Cina che non dia risultati positivi) alla quale si aggiunge l’effetto falsante di una statistica che non è sensibile alla verosimiglianza dell’ipotesi clinica da testare. Tutto ciò suggerisce una cautela ancora maggiore del solito nel valutare il significato di questi studi.
Nessun commento:
Posta un commento