 |
Come pubblicare cattiva scienza in riviste scientifiche ad alto impatto
Un recentissimo studio condotto da ricercatori biomedici dell’Università di Graz, pubblicato sull’autorevole rivista Plos ONE, rischia di mettere in discussione la validità del sistema di valutazione della qualità scientifica e la reputazione dello stesso giornale.
L’articolo di Nathalie T. Burkert, Johanna Muckenhuber, Franziska Großschadl, Eva Rasky e Wolfgang Freidl parte dal presupposto che “gli studi basati sulla popolazione hanno sempre dimostrato che la nostra dieta ha un'influenza sulla salute”. Pertanto, l'obiettivo del loro lavoro è stato quello di “analizzare le differenze tra gruppi con diverse abitudini alimentari in termini di variabili relative alla salute. Il campione utilizzato per questo studio è stato preso dall’Austrian Health Interview Survey AT- HIS 2006/07. In una prima fase, i soggetti sono stati raggruppati in base alla loro età, al sesso e allo stato socioeconomico (SES). Dopo una procedura di corrispondenza (matching), il numero totale di soggetti inclusi nell'analisi era 1320 (N = 330 per ogni forma di dieta: vegetariana, dieta carnivora ricca di frutta e verdura, dieta carnivora meno ricca di carne, e la dieta carnivora ricca di carne). Analisi della varianza sono state condotte controllando per fattori di stile di vita nei seguenti settori: sanità (tumori, numero di malattie croniche, rischio vascolare, etc.), assistenza sanitaria (cure mediche, vaccinazioni, visite preventive) e qualità della vita. Inoltre, le differenze relative alla presenza di 18 condizioni croniche sono state analizzate mediante test del Chi-quadro. Complessivamente, il 76,4 % di tutti i soggetti erano donne. Il 40,0 % degli individui aveva meno di 30 anni, il 35,4 % tra i 30 e 49 anni e il 24,0 % più di 50 anni. Il 30,3 % dei soggetti aveva un basso SES , per il 48,8% era intermedio e per il 20,9 % era alto”.
Stando ai risultati dello studio una dieta vegetariana risulterebbe caratterizzata da “un indice di massa corporea basso e a un minor consumo di alcol”. Ma, i risultati del team austriaco mostrano che una dieta vegetariana è, allo stesso tempo, associata a “scarse condizioni di salute (maggiore incidenza di cancro, allergie e disturbi della salute mentale), a una maggiore necessità di assistenza sanitaria e a una bassa qualità della vita”.
Peccato che gli stessi dati (derivanti sempre dall’Austrian Health Interview Survey AT-HIS 2006/07) sono stati analizzati dagli stessi autori per un’altra pubblicazione, ma hanno prodotto a risultati completamente in antitesi rispetto a questo riportato stavolta.
Nell’articolo pubblicato nel febbraio 2014 Nathalie T. Burkert e gli altri autori concludevano: "I nostri risultati mostrano che una dieta vegetariana è associata a un miglior comportamento in campo sanitario, a un BMI inferiore e a un SES più alto. Soggetti che seguono una dieta carnivora risultano godere di scarsa salute, soffrire di un numero maggiore di patologie croniche, possedere un aumentato rischio vascolare, nonché avere una qualità inferiore di vita".
Perché due studi basati sugli stessi dati dimostrano tutto e il contrario di tutto?
 |
Gli autori si difendono dichiarando che “I nostri diversi risultati sono dovuti al fatto che nella nostra pubblicazione nella Wiener klinische Wochenschrift - The Central European Journal of Medicine, abbiamo analizzato i dati di tutte le 15.474 persone che hanno partecipato al Health Interview Survey austriaco 2006/07 sulle differenze tra le varie tipologie di dieta nelle variabili connessi alla salute (confrontando il 2,2% dei vegetariani vs il 23,6 % degli intervistati che adottano una dieta carnivora ricca di frutta e verdura contro il 48,5 % di coloro che seguono una dieta carnivora meno ricca di carne, e il 25,7 % che seguono una dieta carnivora ricca di carne). Al contrario, - proseguono i ricercatori austriaci - nella pubblicazione su Plos ONE abbiamo analizzato i dati di 1.320 soggetti (che hanno partecipato allo stesso sondaggio) sulle differenze di salute tra soggetti dello stesso sesso, età e status socio-economico, ma che seguono una diversa dieta. Il numero totale dei soggetti analizzati comprende 330 vegetariani, che sono stati ciascuno abbinati a 330 soggetti che consumano una dieta carnivora ricca di frutta e verdura, 330 individui con una dieta carnivora meno ricca di carne e 330 soggetti con una dieta ricca di carne”.
Ed è proprio questo il problema. Basta ignorare alcuni dati, associare ai 330 vegetariani del campione 330 non vegetariani estratti da un campione più grande (non viene spiegato nello studio con quale criterio e, soprattutto, chi assicura che non siano stati estratti 330 “carnivori” più in salute rispetto agli altri?); basta ridurre i dati da 15474 persone a 1320 ed è possibile affermare due tesi completamente opposte pur provenendo dalla stessa base di dati.
Ovviamente se due metodi scientifici portano alla formulazione di una tesi e della sua esatta antitesi utilizzando la stessa fonte di dati non esiste alcuna prova possibile per dimostrare che i metodi utilizzati siano validi e abbiano conclusioni sensate.
Inoltre, in questo più recente articolo è stato commesso un gravissimo errore statistico poiché sembra che gli autori non abbiano verificato l'efficacia della loro corrispondenza (o matching, come lo definiscono) tra vegetariani e non-vegetariani. I soggetti sono stati abbinati "secondo il loro sesso, l’età (in gruppi di età che raccolgono cinque anni , ad esempio 20-24 anni di età) e stato socioeconomico ( SES )". L'età massima dei gruppi era di 80+ anni e questo comprendeva 8 vegetariani (tutte donne) e lo stesso numero di donne per ciascuno degli altri tre gruppi di dieta carnivora.
Poiché questo gruppo di età non ha un limite superiore è possibile che gli 8 vegetariani fossero tutti intorno ai 90-100 anni e siano stati abbinati con i “carnivori” di 80 anni.
Anche se questa possibilità sembra improbabile, gli autori avrebbero dovuto riportare le età medie (e le misure di SES) dei 4 gruppi di dieta e avrebbero dovuto realizzare un'analisi della varianza per verificare che non vi fossero differenze significative tra i valori. Se i vegetariani fossero, infatti, 1 o 2 anni più vecchi in media rispetto al gruppi dei carnivori (piuttosto probabile data la corrispondenza carente per quanto riguarda l’età) ciò potrebbe esser sufficiente a motivare le loro condizioni di salute apparentemente più scarse. Dato che solo il 2,2% dei partecipanti al sondaggio complessivo è stato classificato come "vegetariano" (e più della metà dei vegetariani hanno ammesso di consumare anche pesce), gli autori avrebbero potuto sicuramente realizzare degli abbinamenti più ristretti sull'età (ad esempio in gruppi di 2 anni o addirittura di 1 anno). Perché non è stato fatto? Per rendere più accattivanti i risultati?
Poiché gli autori avevano solo gruppi di età e non l’età esatta è impossibile verificare la loro affermazione secondo la quale "... non esistono differenze di età tra i gruppi" perché non è possibile calcolare e confrontare l'età media in ciascuna delle 4 categorie dietetiche.
 |
Inoltre, essendo quello dei vegetariani numericamente di gran lunga il più piccolo dei 4 gruppi di dieta viene spontaneo chiedersi perché gli autori non hanno aumentato la potenza dello studio facendo corrispondere ogni vegetariano a 2 o più partecipanti provenienti da ciascuno degli altri tre gruppi di dieta. Questo avrebbe ridotto la possibilità di abbinamenti casuali. Meglio ancora, perché non includere tutti i partecipanti al sondaggio nell'analisi e confrontarli per sesso, età e SES (o suddividere i dati per sesso e confrontarli per età e SES in ogni sottogruppo)?
Stupisce altresì che 13 vegetariani intervistati siano stati esclusi dall'analisi “in quanto non tutti corrispondevano a un soggetto dello stesso sesso, età e SES di un diverso gruppo dietetico". Questa è una motivazione assurda visto che i vegetariani costituivano solo il 2,2 % della popolazione intervistata. A quali sesso, età e categorie di SES potevano non appartenere i vegetariani esclusi?
Infine, a render ancor più oscuro questo studio c’è la procedura di raggruppamento dei vegetariani. In questa macro-categoria sono stati compresi vegan, ovo-latto vegetariani e anche coloro che mangiano pesce, senza alcun criterio. Sono inclusi persino vegetariani che mangiano molti carboidrati e zuccheri e proteine animali sottoforma di formaggio e burro. Questi andrebbero raggruppati in gruppi separati per realizzare uno studio rigoroso. L’apporto calorico e la qualità del cibo devono essere controllati e i gruppi con dieta "ricca di frutta e verdura", "meno ricca di carne" e "ricca di carne" devono essere definiti univocamente.
Quasi nessuno è nato vegetariano, quindi sarebbe importante anche sapere da quanto tempo i partecipanti sono vegetariani poiché, se qualcuno mangia molta carne e poi modifica la sua dieta a causa di un problema medico, è necessario che venga considerato in maniera adeguata in questo tipo di studi.
Insomma, nonostante il peer-review, i cospicui pagamenti richiesti per pubblicare, l’elevato numero di articoli rifiutati e l’assicurata qualità del valore scientifico delle pubblicazioni anche le riviste più prestigiose non possono fare a meno di pubblicare quella bad science che mette nelle mani dei detrattori della qualità, dei promotori del cibo industriale ai danni del biologico, dei manager delle multinazionali alimentari e dei negazionisti dei benefici della dieta vegetariana armi scientifiche prive di qualunque fondamento.
Roberto Cazzolla Gatti è biologo ambientale ed evolutivo, ricercatore presso l’Università degli Studi della Tuscia – CMCC, esperto in biodiversità, bioetica ed ecologia teoretica. È editor-in-chief dell'Economology Journal e editorialista della rivista scientifica Villaggio Globale, Collaudatore per il Consorzio di ricerca "Digamma" del sistema stereoscopico-chirurgico e microchirurgico "Tredimed" presso il Policlinico di Bari e specializzato in biologia della nutrizione vegetariana.
16 aprile 2014