RICERCA MEDICA: PERCHE' TANTI FALSI POSITIVI? II

RICERCA MEDICA: PERCHE' TANTI FALSI POSITIVI? II

Anni fa l'esperto di statistica John Ioannidis pubblicò uno studio intitolato "Perché la maggior parte delle ricerche pubblicate sono false." Esagerava come mostrò il commento critico di Steven Goodman, un altro esperto di statistica, ma non poi tanto e infatti è più che un'impressione generale quella di apprendere dai media notizie di scoperte confortanti per la nostra salute di cui dopo un po' non si sente parlare – segno evidente che erano illusioni. Perché? 

Un atto ricorrente del nostro vivere quotidiano è prendere in considerazione ipotesi e valutarne la probabilità che siano corrette prima di prendere una decisione. Facciamo un esempio di una banalità quasi offensiva:

Ipotesi: Pioverà?

Decisione: Prendere (o no) l'ombrello.

Senza troppo approfondire il dilemma anche per non cadere nel ridicolo, si può dire che, oltre a conoscenze a priori (previsioni del tempo, mese tradizionalmente piovoso o no ecc.) sono essenziali fattori derivanti dall'osservazione diretta: presenza di nuvole, loro quantità e aspetto, tipo di vento che spira (lo scirocco porta pioggia) ecc. Conoscenza e osservazione si combinano per guidarci a una decisione plausibile, avente quindi maggiori probabilità di essere corretta. Ci sono anche fattori esterni che influenzano la decisione, ad esempio prenderemo l'ombrello anche se giudichiamo improbabile che piova se dobbiamo trasportare materiali che non vogliamo esporre all'acqua.

Quante volte intraprendiamo più o meno compiutamente questo tipo di processo mentale? Innumerevoli naturalmente. E in che percentuale arriviamo alla giusta conclusione? Chissà, speriamo il più delle volte, molto dipende dalla diligenza con cui facciamo il ragionamento. Spesso però procediamo senza pensarci tanto e il mondo va come va anche perché chi ha il potere di prendere decisioni importanti non solo per sé ma anche per altri va avanti alla carlona. Analogamente allo screening medico trattato nel post precedente, avremo veri positivi oppure veri negativi (nell'esempio: pioverà o non pioverà con rispettive decisioni di "munirsi" – come si dice nelle istruzioni degli uffici pubblici – dell'ombrello).

Anche chi si occupa di ricerca, per esempio in medicina, intraprende, sperabilmente a più alto livello, questa umile trafila e ci si può chiedere, tornando quindi al tema del post, quante sono le valutazioni che si rivelano poi false. 
Innumerevoli sono le ipotesi che vengono esaminate ogni anno nella ricerca clinica a giudicare dalla grande quantità di riviste mediche. Secondo il British Medical Journal, nel 2010 esistevano 25400 riviste di medicina e scienze annesse mentre nel 2009 sono stati pubblicati circa 1.5 milioni di articoli. Quante saranno le ipotesi dimostrate a torto corrette cioè i falsi positivi? E' possibile farne una stima approssimata? La risposta è no, però si può procedere per via ipotetica supponendo che su 1000 ipotesi cliniche testate 500 risultino positive. Di queste quante saranno le false positive?

Se ci atteniamo alla prassi corrente di considerare significativo un p-value ≤0.05 e di dare a questo p-value valore di prova o, per lo meno, di supporto alla ipotesi, abbiamo 500 x 0.05 = 25 falsi positivi. Davvero non molte ma non è il caso di tranquillizzarsi. E questo per un sacco di ragioni molto diverse tra loro, alcune ben note altre meno. Vediamone le più importanti escludendo i falsi intenzionali e gli errori marchiani, quelli cioè che non si debbono davvero fare come gli studi clinici senza randomizzazione, o senza controlli appropriati per escludere l'effetto placebo. Anzi, veramente, studi clinici di questo tipo non hanno neppure la dignità di essere falsi positivi e non vanno presi in considerazione. Il guaio è che il discrimine tra studi chiaramente inaffidabile e quelli di affidabilità dubbia o appena incerta è molto sfumato. Inoltre, poiché chi fa ricerca è comprensibilmente interessato a ottenere risultati positivi, può commettere inconsciamente errori atti a conseguire questo scopo e produrre falsi positivi. Quanto inconsciamente? Quante volte sentirà, subito reprimendola, quella famosa vocina della coscienza che lo riprende mostrandogli che sta commettendo una frode? Impossibile saperlo e nel dubbio andiamo avanti rilevando lo sbaglio e classificandolo come involontario.

Consideriamo per primi gli errori di metodo che sono i principali.

Come ho detto, ogni ricercatore è naturalmente soggetto alla tentazione di far apparire positivi i risultati delle sue ricerche. Se cede a questo desiderio può comportarsi tendenziosamente in diversi modi, spesso senza volerlo, ad esempio dicendo parole di incoraggiamento ai soggetti che ricevono il farmaco in prova (e inducendo in questi il solito effetto placebo - per questo è così importante la tecnica del "double-blind") e avendo meno attenzioni per il gruppo di controllo. Sembra strano ma spesso bastano piccolezze del genere per distorcere il risultato di uno studio.

Un errore commesso di frequente da chi fa ricerca sulle medicine complementari è quello di intraprendere uno studio destinato di per sé a dare risultati positivi come aggiungere a una cura A (ad esempio antidolorifici convenzionali nel mal di schiena) un’altra B (agopuntura) e poi confrontare l’associazione delle due con la prima sola: A+ B vs B.

Un sottile (ma non poi tanto) errore di metodo, frequente nelle ricerche neurocognitive, è quello di esaminare due metodi A e B, trovare che A raggiunge la significatività statistica, B no e concludere che A è superiore a B senza (come dovrebbe farsi) confrontare direttamente A e B. Errore grave che secondo una rassegna di 157 articoli pubblicati su 5 riviste di ottima qualità è stato commesso nella metà dei casi. Stiamo bene.

Ci sono errori di valutazione più o meno ingenui elencati in un libro dello statistico americano B Bausell intitolato "Snake Oil Science", Oxford University Press 2008. Uno deriva dal decorso naturale della malattia: le malattie, per fortuna dei pazienti ed anche dei medici, tendono a guarire da sé e il ricercatore attribuisce il miglioramento alla terapia che esamina. Sono errori che si evitano usando un gruppo di controllo e non meriterebbero di essere menzionati se non fossero così diffusi. Peter Fisher, medico personale della regina d'Inghilterra e convinto omeopata, pensa che un valore di prova dell'omeopatia sia fortemente suggerito dal fatto che "l'80% dei pazienti che si rivolgono a noi registra un miglioramento dei disturbi i e il 90% è soddisfatto delle cure proposte." Che valore si può dare a queste ragioni? Nessuno naturalmente.

Assai più sottile è l'azione falsante esercitata dal cosiddetto effetto Hawthorn per cui i pazienti che sono sottoposti a un trattamento sperimentale, sentendosi osservati, si "comportano meglio" cioè fumano meno, bevono meno, fanno moto ecc. e il miglioramento che deriva viene erroneamente attribuito alla cura in prova. Anche qui un appropriato gruppo di controllo ci potrà disingannare.

Al “bias di pubblicazione” ("bias" = errore sistematico) è dovuta invece la sovrabbondanza di risultati positivi che si incontrano nella letteratura medica. Infatti, le riviste mediche tendono a pubblicare solo risultati positivi giudicandoli più interessanti per i lettori. Questo bias è condiviso dai ricercatori che archiviano un risultato negativo pensando (spesso a torto) che abbia poco valore oppure nel timore di vederlo respinto dal giornale. Tendenza che suggerisce l'esistenza di una propensione a "sollecitare" i dati ottenuti in senso positivo.  

Un curioso bias è quello “culturale”. In che consiste? Nel fatto che la percentuale dei lavori clinici con risultati positivi è maggiore in alcuni paesi che in altri. La Cina è una di queste felici nazioni, e se vi capita di imbattervi in uno studio sull’agopuntura condotto in una università del Celeste Impero state pur certi che la pratica risulterà efficace e consigliabile in ogni condizione, dal gomito del tennista alle vene varicose. 

C’è anche un bias puramente di tipo statistico in cui l’autore scompone i risultati ottenuti andando a caccia di dati favorevoli alla sua tesi e pubblicando solo quelli. Questa fonte di errori si chiama "data mining" ed è frequente anche se è impossibile sapere quanto. E' una fallacia illustrata bene dal fisico Feynman. Nel suo libro "Il Senso delle Cose", Adelphi 1998, l'autore racconta di un amico psicologo che analizzando i dati di un esperimento su topolini aveva notato una stranezza nel comportamento degli animali "altamente significativa" e pensava di pubblicarla. Feymnan gli consigliò di non farlo e di ripetere l'esperimento che dette un risultato qualunque. Quindi l'aurea massima di Feynman è che "non ha senso calcolare la probabilità di un evento dopo che è avvenuto".  A questo proposito vedi la buffa la striscia che mostra come, con questo metodo, sia possibile ottenere una correlazione statistica tra le gelatine di frutta verdi e l'acne giovanile.

Dunque una "ménagerie de vices", per usare un termine di Baudelaire nella bella poesia "Au Lecteur", che contribuiscono alla proliferazione dei falsi negativi, in cui però "il y en a un plus méchant" costituito dal corrente metodo di inferenza statistica che si esprime col solito p-value a cui tutti siamo così affezionati. Il quale p-value se è ad esempio = 0.05, cioè secondo l'accezione comune "significativo", non vuol dire che ci sono 5 probabilità su 100 che il risultato ottenuto è frutto del caso e, per converso, 95 probabilità su 100 che l'ipotesi in esame è vera. Il p-value esprime solo la probabilità di ottenere in futuro lo stesso risultato. Il valore di prova lo estrapoliamo noi.

Errore fondamentale perché le ipotesi cliniche che vengono testate variano moltissimo a seconda della loro verosimiglianza. Un paradossale articolo pubblicato nel 2006 sulla rivista Clinical Epidemiology  mostrava scherzosamente correlazioni statisticamente significative tra il segno zodiacale dei pazienti ricoverati in ospedali canadesi e le cause della loro ospedalizzazione: ad esempio, i nati sotto la costellazione del Leone avevano maggiori probabilità di essere ricoverati per emorragie gastroenteriche mentre "i Sagittari" erano significativamente più soggetti degli altri alle fratture dell'avambraccio. Don Ferrante, il quale credeva che la peste venisse dalle stelle, ci avrebbe creduto ma visto che è impossibile tracciare un alcunché legame causale nonché logico tra segno zodiacale e malattie si tratta naturalmente di falsi positivi. Come falsi positivi sono i risultati sull'esistenza della precognizione asserita (qui seriamente) dallo psicologo Daryl Bem in base a risultati statistici.

Che esistano in natura fenomeni come l'influenza delle costellazioni e la precognizione sono ipotesi situate all'estremo della plausibilità confinante con lo zero. Facciamo ora una ipotesi situata all'estremo opposto. 

I beta bloccanti sono una famiglia di farmaci aventi diversi effetti tra cui quello di abbassare la pressione sanguigna e quella oculare. Hanno una struttura chimica in comune con un anello aromatico e una catena ecc. ecc. Bene, supponiamo che il chimico di una casa farmaceutica ottenga per sintesi una molecola analoga a quella dei beta bloccanti già noti e ne voglia sperimentare l'effetto sulla pressione dell'occhio. Ora, tutti i beta bloccanti conosciuti, chi più chi meno, abbassano la pressione intraoculare con un meccanismo ben accertato (diminuiscono la produzione di liquido entro il bulbo oculare). Testiamo la nuova molecola e vediamo che essa, come collirio, abbassa la pressione con una differenza (in oculistica si raffronta l'occhio trattato con l'altro non trattato) significativa (p-value = 0.01). E' chiaro che nel caso di una ipotesi plausibile come questa possiamo estrapolare per il p-value un indubbio valore di prova. Il problema qui sarà solo se l'entità dell'effetto e quella dei possibile effetti collaterali ne giustifichino l'impiego nei malati di glaucoma. Lo stesso si potrà dire testando altri farmaci, ad es. un nuovo corticosteroide, appartenenti a un gruppo di rimedi aventi azioni ben note.

Tra questi due tipi di esperimento si colloca uno spettro di ipotesi cliniche più o meno plausibili con un significato di p-value che varia di conseguenza ad esse. E' intuitivo che il peso del p-value a conforto delle ipotesi esaminate vari direttamente con la plausibilità di ciascuna di esse.

Nella ricerca clinica si dà un gran valore alla replica indipendente dei risultati. Un risultato isolato aumenta di molto della sua credibilità se lo stesso esperimento, meglio se ripetuto da un altro ricercatore in altra sede, dà più o meno lo stesso esito. Non varia però il significato intrinseco del p-value: se l'ipotesi esaminata è improbabile essa rimarrà tale. In questo caso invece verrà rafforzata un'altra ipotesi più credibile di quella poco credibile proposta. Una influenza dell'oroscopo sulla salute e la precognizione hanno i caratteri del miracoloso e per i miracoli vale la regola di Hume (uno dei pochi filosofi da cui ho imparato qualcosa in tre anni di liceo) secondo cui "si può credere ai miracoli solo nel caso che se mentisse chi li riferisce fosse un fatto ancor più miracoloso del miracolo stesso". Regola che non si può trasportare alla lettera ai nostri giorni. Daryl Bem, ad esempio, che pensava di aver provato l'esistenza della precognizione, era uno stimato ricercatore nel campo della psicologia e certamente non mentiva. Però si sbagliava cadendo in uno o più degli errori del tipo appena descritto. Quindi riguardo alla ricerca medica la regola di Hume può essere può adattare come segue:

"Si può credere a ipotesi cliniche con una bassa probabilità di essere vere solo se la probabilità che chi le propone abbia commesso un errore sia ancora minore di quella dell'ipotesi stessa." 

THE FAULTY STATISTICS OF COMPLEMENTARY ALTERNATIVE MEDICINE (CAM)

THE FAULTY STATISTICS OF COMPLEMENTARY ALTERNATIVE MEDICINE (CAM) by M Pandolfi, G Carreras. European Journal of Internal Medicine, June 2014

ABSTRACT The authors illustrate the difficulties involved in obtaining a valid statistical significance in clinical studies especially when the prior probability of the hypothesis under scrutiny is low. Since the prior probability of a research hypothesis is directly related to its scientific plausibility, the commonly used frequentist statistics, which does not take into account this probability, is particularly unsuitable for studies exploring matters in various degree disconnected from science such as complementary alternative medicine (CAM) interventions. Any statistical significance obtained in this field should be considered with great caution and may be better applied to more plausible hypotheses (like placebo effect) than that examined – which usually is the specific efficacy of the intervention. 

Since achieving meaningful statistical significance is an essential step in the validation of medical interventions, CAM practices, producing only outcomes inherently resistant to statistical validation, appear not to belong to modern evidence-based medicine. 

La tesi di questo articolo, per ora apparso online, è che le medicine non convenzionali o CAM non possono essere considerate "evidence-based" come asserito da chi le sostiene perchè i loro trial clinici si sono finora serviti di una statistica inferenziale non adatta a valutarli. Questa statistica (detta frequentistica che si esprime in termini di p-value e che non prende in considerazione la probabilità a priori dell'ipotesi in esame) può funzionare negli ordinari studi clinici che testano ipotesi plausibili ma non può essere impiegata nel caso delle CAM le cui ipotesi cliniche (in genere l'effetto specifico dell'intervento) hanno una bassa probabilità a priori di essere corrette dato le insufficienti basi scientifiche di questi interventi. Così, i risultati positivi talvolta ottenuti in questi studi vanno attribuiti a ipotesi di ricerca più probabili quali l'effetto placebo.

RICERCA MEDICA: PERCHE' TANTI FALSI POSITIVI? I

Nei tempi semipreistorici in cui studiavo medicina ricordo un docente che parlava di un farmaco nato per far ricrescere i capelli finito come depilatore. Di rimedi annunciati come efficaci o anche miracolosi (l'ultimo, il  costoso Tamiflu contro l'influenza aviaria) e dimenticati perchè mostratisi inutili o peggio è piena la storia della medicina. Le cause? Le vorrei dividere in due gruppi: 

1. Errore (bias) di comunicazione/pubblicazione

2. Errore di fondo

Ove "bias" sta per errore sistematico, volontario o no. Chi fa ricerca, tende a pubblicare i risultati positivi e lascia quelli negativi nel cassetto ("file-drawer effect"). Così fanno anche le riviste mediche e, comprensibilmente, la grande stampa i cui lettori leggono con piacere che è stato scoperta la cura della malattia X o del disturbo Y.

Naturalmente questo errore di comunicazione non potrebbe aver luogo senza l'errore di fondo che avviene quando il ricercatore esamina i risultati ottenuti e conclude, a torto, che il rimedio X funziona contro la malattia Y. Ora, buona parte di queste illusioni sono dovute all'uso non ben meditato della statistica corrente che esprime la significatività col cosiddetto p-value e che va sotto la qualifica di "frequentistica".

"C'è la significatività?" Se sì (ad esempio al p≤0.05 che è considerato il limite critico) si lascia capire che l'ipotesi in questione è provata - indifferentemente se essa è credibile o no. Le cose non stanno in questo modo semplicemente perchè il p-value, che è la moneta con cui la significatività viene quantificata, non può per natura provare niente. Esso infatti è una misura che riguarda l'avvenire, non il passato, ed esprime solo la probabilità di ottenere in futuro lo stesso risultato (o uno ancor più evidente) ripetendo lo stesso esperimento senza che ci sia alcuna differenza tra i parametri esaminati (in genere quelli espressi dal gruppo trattato e dal gruppo non trattato o di controllo).

Sicchè, riguardo all'esempio di cui sopra, se non ci fosse alcuna differenza fra i due gruppi e ripetessimo lo stesso esperimento indefinitamente la probabilità di ottenere lo stesso risultato (o uno ancora più netto) sarebbe molto bassa cioè 0.05 (corretto) il che vuol dire che la differenza appena osservata è reale (sbagliato). Perchè sbagliato? Perchè facendo ciò conferiamo al p-value un valore confermativo che per definizione non ha. Oltre a questo errore di metodo esiste una fonte costante di errori facile a capire facendo presente il parallelo esistente tra ricerca clinica e test medici quali gli esami di screening.

Negli screening il dato che interessa è la presenza/mancanza di una malattia in un gruppo di soggetti mentre nella ricerca clinica è la presenza/mancanza di una differenza significativa in un raffronto - in genere tra il gruppo trattato e quello di controllo.

In medicina lo screening sembra, a prima vista, invariabilmente una bellissima cosa. Appare ottimo esaminare una grande quantità di persone per vedere se esse hanno, allo stato latente, una malattia che possa così essere curata all'inizio. Invece lo screening può essere inutile e anche dannoso. Perchè? Perchè i metodi di diagnosi hanno margini di errore che spesso sono superiori alla frequenza (prevalenza) delle malattia per cui si fa lo screening.

Mi spiego. Quando esaminiamo 10,000 persone per vedere se hanno, allo stato ancora latente, una malattia la cui prevalenza è dell'1% non diagnosticheremo mai la malattia in tutte le 100 persone che ne sono affette poichè la sensibilità (capacità di reagire in presenza della malattia) del metodo che usiamo non è mai del 100%. Se la sensibilità è, mettiamo, dell'80% avremo 80 veri positivi e non riconosceremo la malattia in 20 pazienti che saranno falsi negativi. Queste 20 persone saranno a torto sicure di essere sane e potranno non allarmarsi ai primi segni della malattia quando essa si paleserà ritardando così le cure. A queste 20 persone lo screening avrà fatto un cattivo servizio.

Assai più dannoso può rivelarsi l'altro versante del problema: quello dei risultati falsi positivi. Se il metodo usato ha una specificità (capacità di non reagire in assenza della malattia) del 95%, i risultati veri negativi saranno 99000 x 0.95 = 9405, e i falsi positivi 9900 x 0.05 = 495. Facile capire l'apprensione ingiustificata delle 495 persone cui, a torto, viene detto che sono malate, il disturbo e la spesa di successivi esami e, talvolta, terapie ingiustificate. Allora, quando conviene fare uno screening? La questione è complessa e buon sunto dei pro e contro si trova a http://www.health.ny.gov/diseases/chronic/discreen.htm. 

Alcune regole sono intuitive. Eccone due. Innanzi tutto, la malattia in questione deve essere curabile se presa ancora in fase latente. Meglio ancora se prevenibile con appropriate misure igieniche. Non serve a nulla da un punto di vista medico sapere che un dì ci ammaleremo di corea di Huntington, una grave malattia genetica refrattaria ad ogni prevenzione e a ogni cura. E, naturalmente, la frequenza della malattia da scoprire prima che essa dia dei sintomi deve essere alta nella popolazione da esaminare. Questo per evitare l'inconveniente che i falsi positivi siano assai più numerosi dei veri positivi.

Fine della prima sezione. Nella seconda proverò a spiegare perchè, come negli screening è importante la prevalenza della malattia in esame, nella ricerca clinica è importante che l'ipotesi clinica da testare sia ragionevole e quindi abbia buone probabilità di essere vera se si vogliono evitare risultati falsamente positivi. 

LA CHIAROVEGGENZA ESISTE (P= 0.01)

Nei preistorici anni quaranta era di moda la trasmissione del pensiero (telepatia) e noi bambinetti "giocavamo alla telepatia" pensando fortemente a qualcosa e tenendo per il polso (sinistro) un compagno di giochi cui volevamo trasmettere l'informazione. In genere si trattava di un luogo della casa dove avevamo nascosto qualcosa che il soggetto in esame immancabilmente trovava. 

Funzionava, dato che, inconsciamente ma non tanto, baravamo perchè cercando di comunicare il nostro pensiero, gentilmente conducevamo l'amico al nascondiglio. Oggi, assieme alla psicocinesi, cioè la facoltà di agire su (in genere spostare) oggetti col solo pensiero, e alla precognizione o chiaroveggenza, la telepatia forma un gruppo di "scienze"chiamato "Psi. In verità, credere alla Psi ci avvicina a Calandrino che pensava di diventare invisibile mettendosi in tasca l'"elitropia", una pietra raccolta dal greto del Mugnone, il fiumiciattolo che scorre alla periferia di Firenze.

  

Perchè? Perchè sono cose così improbabili da essere virtualmente impossibili. I motivi? Per dirne uno, c'è una formidabile prova del nove: a fare cose del genere l'umanità ci ha provato da sempre senza mai riuscirci. Si dirà: ma in massato ci sono stati episodi ecc. Grazie no, per fenomeni incredibili il passato fa poco testo: hic Rhodus hic salta. In verità non ci vorrebbe molto per credere ai fenomeni del Psi. Per la precognizione basterebbe un singolo soggetto che regolarmente dà una corretta e particolareggiata descrizione del futuro. Una persona così però non c'è tra i 7 miliardi e passa che abitano la terra - e se esistesse si saprebbe subito. Oltre a questa ragione estrinseca ce ne sono delle intrinseche tra cui la più convincente è forse quella della "freccia del tempo" (vedi poi). 

Oggi esiste la statistica inferenziale che ci aiuta ad accertare la verità, o meglio, a informarci su come probabilmente stanno le cose. Perchè non applicare questo strumento ai fenomeni del "Psi" e vedere che risultati otteniamo? Idea venuta a Daryl Bem, uno psicologo della Cornell University che nel 2001 ha pubblicato le sue ricerche in proposito in un articolo intitolato: "Feeling the future: Experimental evidence for anomalous retroactive influence on cognition and affect." Bem non esaminala telepatia ma l'altrettanto improbabile precognizione di eventi futuri che influenzerebbero le nostre azioni presenti. Si tratta di esperimenti compiuti su circa 1000 soggetti i quali dovevano predire particolari di immagini  che venivano mostrate in un secondo momento. Bem analizza i risultati usando la statistica classica (frequentista) e trova un p-value significativo (<0.01) in 8 esperimenti su 9. Conclusione: la precognizione esiste.

Penso che la Cornell University, la quale vanta tra tra i suoi passati associati 39 premi Nobel di fisica, chimica e medicina, non abbia impiegato bene i propri fondi finanziando un ricercatore scientificamente tanto, diciamo così, ingenuo da ideare e portare a temine un esperimento del genere. Perchè ingenuo? Perchè Bem non si è reso conto che un p-value<0.01 (tra l'altro "one-tailed", quindi più propenso a produrre la significatività) non prova neppure lontanamente l'esistenza della precognizione (in verità il P-value non "prova" nessuna ipotesi). Perchè?

Perchè alla base della statistica classica usata da Bem c'è un errore di fondo che è tollerabile, o per lo meno tollerato, solo quando l'ipotesi da provare è plausibile e quindi ha buone probabilità di essere corretta. L'errore è la cosiddetta fallacia di trasposizione: si deduce la probabilità che l'ipotesi in esame sia vera dalla bassa probabilità (p-value) di non osservare il risultato che si è ottenuto nel caso che non esista alcuna differenza tra i soggetti esposti all'intervento in esame e ai controlli. Ma, anche intuitivamente, il valore della prova varia da ipotesi a ipotesi. Esempio: una bassa probabilità che una diminuzione della pressione sanguigna non sia dovuta al nuovo beta bloccante che stiamo provando non è la stessa (è più alta - quindi addio significatività) se invece il farmaco in prova sono caramelle di menta o altre sostanze che presumibilmente non hanno alcun effetto ipotensivo.

Un gruppo di psicologi olandesi guidati da E Wagenmakers (W) ha analizzato i risultati di Bem arrivando alla prevedibile conclusione che si trattava di bollicine. L'articolo è molto tecnico ma i punti essenziali della critica sono chiari. Il difetto fondamentale è  quello già menzionato: Bem non ha prestato abbastanza attenzione alla fallacia di trasposizione usando la bassa probabilità del risultato ottenuto come sostegno a una ipotesi estremamente improbabile qual è l'esistenza della precognizione. Si dirà: ma com'è che sul p-value interpretato come probabilità a posteriori si fonda la maggior parte dei risultati accettati dalla medicina moderna? Giusto, ma il fatto è che finora è andata bene a servirsi del p-value (anche se ciò ha contribuito ai molti falsi positivi della letteratura) perchè nella medicina basata sulla scienza, quella che conta cioè, vengono di regola esaminate ipotesi scientificamente ragionevoli. Ma Bem testa una ipotesi irragionevole dal punto di vista scientifico, avente di conseguenza una probabilità infinitesimale o nulla di esser vera. In queste condizioni un risultato positivo indica solo che la ricerca, con ogni probabilità, è viziata da errore/i involontario/i o da bias.  W riesamina i risultati di Bem applicando loro una forma semplificata di statistica bayesiana che, a differenza della frequentista usata da Bem, prende in considerazione la bassa probabilità iniziale che la precognizione esista realmente. Risultato: solo un test dava chiaro sostegno all'esistenza della precognizione, 3 test davano chiaro sostegno alla non esistenza della precognizione (sic!) mentre gli indizi a favore forniti dai rimanenti test erano da considerarsi accidentali o degni appena di nota. 

Un'altra critica mossa da W è che Bem ha tratto precise conclusione da uno studio "esplorativo" e non "confermativo". In altre parole, i risultati di Bem, oltre ad essere improbabili, sono del tutto nuovi e quindi è ancor più difficile trarre conclusioni definitive da essi. E infatti, successivi esperimenti volti a ripetere quelli, o analoghi a quelli di Bem non ne hanno confermato i risultati. 

A questo punto una domanda viene spontanea: è accettabile impiegare tempo e denari (in genere pubblici o in forma di grants privati) per esaminare qualsiasi ipotesi pur bizzarra e inverosimile che sia? Penso di no se si impiegano persone, e forse anche animali, come materiale d'esperimento. Purtroppo, in medicina sono "quasi" impossibili i "Gedankenexperiment" o esperimenti mentali cari ai fisici, che non costano nulla perchè non vengono attuati in realtà ma solo immaginati e i loro risultati calcolati base alle leggi della fisica e della chimica. Ho detto "quasi" impossibili perchè il ragionamento per assurdo è in fondo un esperimento mentale e può, se vogliamo, essere applicato ai fenomeni del Psi. Secondo questo metro se esistesse la precognizione seguita da un comportamento condizionato da essa bisognerebbe che si invertisse la "freccia del tempo", un evento ritenuto impossibile dai fisici dato che in natura si procede fatalmente dall'ordine al disordine: la seconda, ferrea, legge della termodinamica implica che in un sistema isolato ogni progresso comporta una asimmetria irreversibile.

Oltre a concludere che non esiste alcuna prova dell'esistenza della precognizione W afferma che il p-value è una misura inadatta a valutare fenomeni improbabili come quelli sul Psi. Analoga conseguenza può essere tratta quando vengono studiati interventi medici fondati solo su autorità e tradizione (omeopatia, agopuntura ecc).