Zelfde gegevens, andere resultaten? Dit gebeurt wanneer zeventig teams van onderzoekers dezelfde gegevens analyseren

(24-05-2020) Studie toont aan hoe variabel bevindingen van hersenonderzoek kunnen zijn als gevolg van keuzes die onderzoekers maken tijdens data-analyse.

Wat gebeurt er als zeventig teams van onderzoekers onafhankelijk dezelfde dataset analyseren om dezelfde hypothesen te testen? Het wetenschappelijke proces omvat vele aspecten, zoals theorieën ontwikkelen, hypothesen creëren, gegevens verzamelen en gegevens analyseren. Elk van deze aspecten kan de uiteindelijke conclusies beïnvloeden, maar in welke mate? Bijvoorbeeld, zullen verschillende onderzoekers verschillende conclusies trekken op basis van dezelfde gegevens en hypothesen? De analyse van (neurowetenschappelijke) data bestaat immers vaak uit een lange reeks van stappen. Een grote studie, waaraan zes cognitieve neurowetenschappers van de UGent meewerkten, toont aan dat dezelfde gegevens kunnen leiden tot verschillende uitkomsten.

Zelfde gegevens, andere resultaten

De teams kregen maximaal drie maanden de tijd om de gegevens te analyseren, waarna ze de eindresultaten moesten rapporteren, alsook gedetailleerde informatie over de manier waarop ze de gegevens en tussentijdse statistische resultaten hadden geanalyseerd. Het aantal teams dat statistisch significante resultaten rapporteerde, varieerde substantieel. Voor vijf van de negen hypothesen was er een substantiële onenigheid, met 20 tot 40% van de teams die een significant resultaat rapporteren. De overige vier hypothesen vertoonden meer consistentie.

Opvallend is dat de tussentijdse bekomen “ongecorrigeerde” hersenactivatiepatronen meer vergelijkbaar waren dan de uiteindelijke resultaten. Met andere woorden, zelfs zeer gelijkaardige tussentijdse resultaten leken te leiden tot verschillende uitkomsten over de verschillende teams. Er werden enkele aspecten geïdentificeerd in de analyseprocedures die duidelijk tot systematisch meer of minder positieve resultaten leken te leiden (zoals het gebruikte softwarepakket en de manier waarop de data werden voorbereid).

Sharing is caring

De resultaten van deze studie laten voor het eerst zien dat er grote verschillen kunnen zijn wanneer dezelfde complexe neuroimaging gegevens wordt geanalyseerd met verschillende procedures. Dit is belangrijk voor de leden van de neuroimaging onderzoeksgemeenschap, evenals voor elk ander gebied met complexe analyseprocedures. Tegelijkertijd bleken de onderliggende bekomen hersenactievatiepatronen relatief consistent tussen groepen; ook leidden meta-analyses over de datasets tot meer convergente resultaten. Deze bevindingen suggereren dus ook manieren om hedendaags hersenonderzoek verder te verbeteren. Het onderzoek benadrukt ook het belang van transparantie en het delen van gegevens en code. Alle analyses in dit project zijn dan ook volledig reproduceerbaar, met openlijk beschikbare computercode en gegevens.

De wetenschappelijke gemeenschap streeft er voortdurend naar kennis op te doen over menselijk gedrag en de fysieke wereld, en het bestuderen van dergelijke complexe processen vereist vaak complex methoden, big data en complexe analyses. De huidige studie toonde aan dat deze complexe processen snel kunnen leiden tot een variabiliteit in uitkomsten. Het is dan ook belangrijk om deze variabiliteit beter te begrijpen om te weten hoe ze aan te pakken. Zoals de recente COVID-19 pandemie duidelijk heeft gemaakt, zelfs rekening houdende met de onzekerheid inherent aan het wetenschappelijk proces, is er geen vervanging voor de zelfcorrigerende wetenschappelijke methode om de uitdagingen aan te pakken waarmee de wereldwijde menselijke samenleving wordt geconfronteerd.

Meer informatie over deze studie

In deze Neuroimaging-Analyse, Replicatie en Predictie Studie (NARPS) werkten bijna 200 onderzoekers samen, waaronder zes cognitieve neurowetenschappers van de UGent (Senne Braem, Cristian B. Calderon, Carlos González-García, Elise Lesage, Tom Verguts, & David Wisniewski), om uit te zoeken hoe variabel de bevindingen van hersenonderzoek kunnen zijn als gevolg van de keuzes die onderzoekers maken tijdens hun data-analyse.

Er werden gegevens verzameld van 108 deelnemers (in het Strauss Imaging Center aan de universiteit van Tel Aviv) waarbij hersenactiviteit werd gemeten terwijl deelnemers een goktaak uitvoerden. Deze gegevens werden vervolgens gedeeld met zeventig teams over de hele wereld. Elk team werd gevraagd om negen vooraf gedefinieerde onderzoeksvragen te toetsen, door onafhankelijk dezelfde gegevens te analyseren aan de hand van hun standaard analysemethoden. Elk van deze onderzoeksvragen ging na of activiteit in een bepaald hersendeel zou veranderen afhankelijk van de aard van de goktaak, zoals hoeveel geld men kon winnen of verliezen bij elke beslissing.

Het project werd geleid door drie onderzoekers uit Dartmouth College, de universiteit van Tel Aviv, en Stanford University, en verscheen op 20 mei 2020 in Nature.

Contact