Penso che molta della variabilità possa derivare da questo”.

Né il metodo di analisi di questi documenti è stato descritto in modo molto dettagliato, nemmeno in un supplemento online. L’ironia insita in un articolo che si scaglia contro l’irriproducibilità della ricerca preclinica sul cancro ma non fornisce di per sé i dati su cui i suoi autori hanno basato le sue conclusioni in modo sufficientemente dettagliato da consentire al lettore di determinare da solo se le conclusioni derivano dai dati sono lasciate a SBM lettori per valutare da soli. Allo stesso modo fuorviante, come è stato sottolineato nei commenti online, è stata l’assunzione dichiarata degli autori che « le affermazioni in uno studio preclinico possono essere prese alla lettera – che sebbene possano esserci alcuni errori nei dettagli, il messaggio principale del documento può fare affidamento e i dati, per la maggior parte, resisteranno alla prova del tempo » e il loro stupore che « non è sempre così ». Se le ipotesi degli autori fossero vere, i tentativi di replicare i risultati scientifici sarebbero meno importanti di quanto non lo siano.

Comunque sia, ciò che gli autori stanno studiando, comunque lo abbiano studiato e quali che siano i 53 studi che hanno esaminato, è essenzialmente scienza di frontiera. Detto questo, mi sembra piuttosto strano che siano così stupiti che gran parte della scienza proprio alle frontiere si riveli non corretta quando viene testata ulteriormente. Nella scienza capiamo la differenza tra la scienza dei libri di testo e il tipo di scienza di frontiera che fa parte di riviste come Science. In effetti, spesso ci lamentiamo che le riviste di livello più alto, come Nature, Science e Cell, tendano ad essere troppo innamorate della pubblicazione di quella che sembra essere « scienza sexy », risultati eccitanti o controintuitivi che attirano davvero l’attenzione degli scienziati – in altre parole “all’avanguardia” o scienza di frontiera. Tali riviste sembrano essere orgogliose di pubblicare principalmente tali lavori (che è uno dei motivi per cui sono così ampiamente letti e citati), mentre risultati più solidi e meno « sexy » sembrano finire in riviste di secondo livello.

Questo porta a un paradosso: la scienza che viene pubblicata nelle riviste più prestigiose e di più alto profilo è quasi per definizione la scienza più incerta. Detto questo, è sorprendente quanto di ciò che viene pubblicato su tali riviste in realtà resista alla prova del tempo, ma non dovrebbe sorprendere che gran parte di ciò non lo faccia. Tuttavia, il prestigio stesso di tali riviste conferisce a tali ricerche apparentemente più autorità rispetto a ricerche pubblicate su riviste meno prestigiose. Si dice spesso che un articolo su Nature, Science o Cell valga cinque o anche dieci articoli in riviste più pedonali e di mezzo quando si tratta di migliorare il CV di uno scienziato (e la possibilità di un buon lavoro o di una promozione) . Forse è perché le pubblicazioni in tali riviste sono viste come un’indicazione che il lavoro svolto da uno scienziato è all’avanguardia. Questa percezione, accumulata nel tempo, è probabilmente la ragione principale per cui è molto, molto difficile far accettare e pubblicare un articolo su Science, Nature o Cell. La stragrande maggioranza delle proposte vengono respinte, molte senza nemmeno essere inviate per la revisione tra pari, perché viene presa una decisione editoriale che non sono abbastanza « interessanti » (cosa che mi è successa una volta). In altre parole, gli editori di tali riviste sono attivamente alla ricerca di una scienza che metta in discussione il paradigma esistente. Tuttavia, gli scienziati comprendono che gli articoli pubblicati nelle riviste più all’avanguardia sono provvisori. Sono interessati ai giornali perché è più probabile che questo lavoro faccia avanzare le frontiere della scienza.

In effetti, sono interessati a tali documenti per lo stesso motivo per cui Begley e il suo gruppo ad Amgen erano interessati a loro. Begley era a capo di un’importante divisione di ricerca di un’importante azienda farmaceutica. Cosa significa? Significa che era suo compito trovare nuovi bersagli molecolari per il cancro e sviluppare farmaci per bersagliarli. Ed era suo compito fare tutto questo e battere i suoi concorrenti sul mercato con nuovi farmaci efficaci basati su queste scoperte. Non c’è da stupirsi che il suo gruppo abbia setacciato riviste ad alto impatto per studi all’avanguardia che sembravano aver identificato bersagli molecolari promettenti! Quindi aveva un vero e proprio esercito di scienziati, circa 100 di loro nel team di replicazione di Amgen secondo questo rapporto di notizie, che erano pronti a balzare su qualsiasi studio pubblicato che suggerisse un bersaglio molecolare che l’azienda riteneva promettente.

Ecco un altro aspetto dello studio che deve essere affrontato. Mentre leggevo lo studio, un pensiero continuava a spuntare nella mia fragile mente a guscio d’uovo. Ricordi Reynold Spector? È il ragazzo su cui sia Mark Crislip che io ci siamo lanciati per una critica particolarmente negativa della medicina basata sulla scienza e della sua presunta mancanza di progressi che Spector ha chiamato Seven Deadly Medical Hypotheses. Come abbiamo sottolineato sia io che Mark, quasi tutte queste ipotesi non erano particolarmente letali e, in effetti, la maggior parte di esse non erano nemmeno ipotesi. Ciò che il dottor Spector ha in comune con il dottor Begley è un background nel settore farmaceutico e le somiglianze nel modo in cui pensano sono ovvie per tutti. Ad esempio, ho castigato Spector per aver usato il termine « pseudoscienza » per descrivere studi che secondo lui non raggiungono il livello di evidenza necessario per l’approvazione di un farmaco da parte della FDA. Questa è una serie di requisiti molto specifici per un problema molto specifico: sviluppare un farmaco partendo da principi scientifici e poi dimostrare che è efficace per l’indicazione prevista oltre che sicuro. Dai suoi articoli ho avuto l’impressione che il dottor Spector consideri pseudoscienza qualsiasi studio che non raggiunga gli standard a livello di FDA per l’approvazione dei farmaci o, per lo meno, una merda. Ho la stessa impressione da Begley. Ad esempio, ecco un passaggio del suo articolo:

Naturalmente, i tentativi di convalida potrebbero essere falliti a causa di differenze o difficoltà tecniche, nonostante gli sforzi per garantire che non fosse così. Nella convalida sono stati utilizzati anche modelli aggiuntivi, perché per guidare un programma di sviluppo di farmaci è essenziale che i risultati siano sufficientemente https://prodottioriginale.com/ robusti e applicabili oltre l’unico modello sperimentale ristretto che potrebbe essere stato sufficiente per la pubblicazione.

Altrove nell’articolo, Begley definisce « non riprodotto » un termine che ha assegnato « sulla base di risultati non sufficientemente solidi per guidare un programma di sviluppo di farmaci ». Questo atteggiamento è, ovviamente, comprensibile in qualcuno che gestisce un programma di sviluppo di farmaci oncologici per un’importante azienda farmaceutica. Sta cercando risultati che possa trasformare in farmaci approvati dalla FDA che possa portare sul mercato prima che lo facciano i suoi concorrenti. Quindi quello che fa è più che cercare di riprodurre i risultati come descritto nella pubblicazione. Il suo team di 100 scienziati cerca di riprodurre i risultati ed estenderli a più sistemi modello rilevanti per la progettazione di farmaci. Questa è, in sostanza, la scienza applicata. Pensala in questo modo: quante scoperte scientifiche di base in fisica e chimica sono mai state trasformate in un prodotto? Quanti di questi risultati sono sufficientemente robusti e riproducibili in più sistemi modello per giustificare un team di ingegneri a spendere milioni di dollari per svilupparli in prodotti? Fisici, scienziati dei materiali, chimici e ingegneri sono ossessionati da quante poche scoperte nella scienza di base nei loro campi possono essere utilizzate con successo per realizzare un prodotto?

Lo so, lo so, mele e arance. In medicina, quelli di noi che fanno ricerca lo fanno per sviluppare una comprensione di un processo patologico sufficiente per sviluppare un nuovo trattamento efficace. È molto esplicito in ciò che facciamo. Tuttavia, a volte dimentichiamo quanto sia importante disporre di una vasta e solida pipeline di risultati preclinici su cui basare i programmi di ricerca traslazionale. La ragione della percentuale apparentemente in calo degli studi scientifici di base che vengono tradotti con successo in farmaci è più una funzione della crescente capacità degli scienziati, attraverso schermi genomici e di piccole molecole su larga scala, di identificare sempre più potenziali bersagli molecolari e potenziali farmaci da utilizzare contro di loro che degli scienziati che fanno qualcosa di sbagliato? Devo anche chiedermi se quello che stanno osservando Begley ed Ellis è l’effetto di declino accelerato da 100 scienziati che si aggirano nella letteratura scientifica alla ricerca di risultati sperimentali che possano trasformare in farmaci. Come ho sottolineato prima, l’effetto di declino non significa che la scienza non funzioni e, come sottolineerò qui, ci si aspetterebbe quasi che gli stessi metodi di Begley accelerino l’effetto di declino.

Il resto della storia

Non fraintendermi. Sebbene ritenga che la premessa dell’articolo di Begley ed Ellis sia fuorviante, ci sono informazioni importanti e inquietanti lì. Sfortunatamente, le informazioni davvero importanti e inquietanti non sono nel documento di Begley ed Ellis. L’omissione di queste informazioni critiche mi sembra una decisione curiosa da parte degli autori e dei redattori di Nature.

Ad esempio, nel documento, apprendiamo questo:

Negli studi per i quali è stato possibile riprodurre i risultati, gli autori hanno prestato molta attenzione ai controlli, ai reagenti, ai bias del ricercatore e alla descrizione del set di dati completo. Per i risultati che non possono essere riprodotti, tuttavia, i dati non sono stati analizzati di routine da investigatori accecati dai gruppi sperimentali rispetto a quelli di controllo. Gli investigatori hanno spesso presentato i risultati di un esperimento, come una singola analisi Western-blot. A volte hanno affermato di aver presentato esperimenti specifici che supportavano la loro ipotesi sottostante, ma che non riflettevano l’intero set di dati. Non ci sono linee guida che richiedono che tutti i set di dati siano riportati in un documento; spesso, i dati originali vengono rimossi durante la revisione tra pari e il processo di pubblicazione.

Questo è uno dei motivi per cui quando rivedo i documenti chiedo sempre se i test sono stati eseguiti in cieco, in particolare quando i risultati implicano la selezione di parti di vetrini istologici per qualsiasi tipo di quantificazione.

In un’intervista, tuttavia, apprendiamo molte più informazioni critiche:

Quando il team di replica di Amgen di circa 100 scienziati non ha potuto confermare i risultati riportati, ha contattato gli autori. Coloro che hanno collaborato hanno discusso su cosa potrebbe spiegare l’incapacità di Amgen di confermare i risultati. Alcuni lasciano che Amgen prenda in prestito anticorpi e altri materiali utilizzati nello studio originale o addirittura ripetano gli esperimenti sotto la direzione degli autori originali.

Alcuni autori hanno richiesto agli scienziati di Amgen di firmare un accordo di riservatezza che impedisse loro di divulgare dati in contrasto con i risultati originali. « Il mondo non saprà mai » quali 47 studi – molti dei quali molto citati – sono apparentemente sbagliati, ha detto Begley.

Trovo molto interessante che Begley non abbia menzionato questa informazione piuttosto importante nel documento Nature e perché lui ed Ellis non hanno ritenuto opportuno nominare i nomi degli studi per i quali non sono stati firmati accordi di non divulgazione. Ci si chiede se lui (e gli editori di Nature) fossero preoccupati per il contenzioso. In ogni caso, gli accordi di riservatezza devono ovviamente essere anteriori al documento Nature. Questo mi dice che Begley era in sostanza complice nel non rivelare che il suo team non poteva riprodurre i risultati, apparentemente non pensando che tali accordi fossero un prezzo troppo alto al momento per l’accesso ai reagenti e l’aiuto nella causa dell’avanzamento degli sforzi della sua azienda. È disposto ad ammetterlo nelle interviste giornalistiche, a quanto pare, ma non nel documento su Nature usato come una bordata contro gli attuali sforzi di sviluppo preclinico di farmaci.

Ecco un altro passaggio molto irritante dall’articolo di Begley ed Ellis:

Alcuni articoli preclinici non riproducibili avevano generato un intero campo, con centinaia di pubblicazioni secondarie che si sono espanse su elementi dell’osservazione originale, ma in realtà non hanno cercato di confermare o falsificare le sue basi fondamentali. Più preoccupante, alcune delle ricerche hanno innescato una serie di studi clinici, suggerendo che molti pazienti si erano sottoposti a una sperimentazione di un regime o di un agente che probabilmente non avrebbe funzionato.

Perché dico che questo è un passaggio “irritante”? Semplice. Sarebbe stato molto utile se Begley ed Ellis avessero effettivamente nominato un paio di questi « interi campi », non credi? Suppongo che probabilmente non potrebbero farlo senza rivelare indirettamente quali documenti i cui risultati il ​​team di Begley non è stato in grado di riprodurre. La mancanza di queste informazioni rende questa geremiade contro il modo in cui la ricerca preclinica viene svolta oggi molto meno utile per risolvere effettivamente il problema di quanto avrebbe potuto essere. Valutare l’ironia di una ringhiera di carta contro gli attuali metodi di ricerca preclinica che di per sé non rivela i suoi metodi in modo sufficientemente dettagliato per essere valutati o addirittura i suoi risultati se non in modi abbastanza vaghi è di nuovo lasciato come esercizio per i lettori di SBM.

Ci sono anche molte spiegazioni per la variabilità nelle ricerche pubblicate, come è stato sottolineato da altri commentatori. Ad esempio, il premio Nobel Phil Sharp affronta un problema:

La risposta più comune degli scienziati sfidati è stata: « non l’hai fatto bene ». In effetti, la biologia del cancro è diabolicamente complessa, ha osservato Phil Sharp, biologo del cancro e premio Nobel al Massachusetts Institute of Technology.

Anche negli studi più rigorosi, i risultati potrebbero essere riproducibili solo in condizioni molto specifiche, ha spiegato Sharp: “Una cellula cancerosa potrebbe rispondere in un modo in una serie di condizioni e in un altro modo in condizioni diverse. Penso che molta della variabilità possa derivare da questo”.

È anche vero. Ricordo che alla fine degli anni ’90, diversi laboratori avevano difficoltà a riprodurre il lavoro fondamentale di Judah Folkman sugli inibitori dell’angiogenesi, incluso il laboratorio dove lavoravo in quel momento. Il Dr. Folkman ha fornito reagenti, protocolli e consigli a chiunque lo avesse chiesto, e alla fine siamo stati in grado di scoprire qual era il problema, parte del quale era che il peptide che stavamo usando si denaturava facilmente. Abbiamo anche appreso che aveva fatto la stessa cosa per diversi laboratori, fino al punto di inviare uno dei suoi dottori di ricerca per aiutare altri investigatori. Ora immagina se Folkman fosse stato come uno degli scienziati che aveva chiesto accordi di non divulgazione quando il gruppo di Begley aveva difficoltà a riprodurre i suoi studi.

Tuttavia, nonostante i problemi con l’articolo di Begley ed Ellis, forniscono informazioni utili e identificano quello che sembra essere un problema serio. Il problema non è tanto che così poche scoperte scientifiche di base finiscono come farmaci, per gentile concessione di Amgen o di uno dei suoi grandi concorrenti farmaceutici. Piuttosto, è la sciatteria che è troppo comune nella letteratura scientifica, insieme a bias di pubblicazione, bias dei ricercatori e la proliferazione di esperimenti di screening fatti per identificare bersagli genomici e piccole molecole con effetti biologici che si è trasformata nella proverbiale manichetta antincendio dei dati, spesso molti terrabyte per schermo. Mi chiedo anche se parte del problema sia che tutti i bersagli molecolari “facili” per la terapia siano già stati identificati, lasciando quelli difficili e problematici. Il risultato è accennato ma non adeguatamente discusso nella notizia che ho citato sopra:

Fino alla fine degli anni ’90, la maggior parte dei potenziali bersagli di farmaci antitumorali era sostenuta da 100-200 pubblicazioni. Ora ognuno potrebbe averne meno di mezza dozzina.

Le rivoluzioni genomiche, proteomiche e metabolomiche che si sono verificate negli ultimi 10-15 anni sono in gran parte da biasimare per questo.