EEGManyPipelines - influence of analytical variability on results in EEG research
Elektroencefalografi (EEG) är en mycket utbredd metod för att studera kognition hos människan. Trovärdigheten hos EEG-forskning har emellertid ifrågasatts. Analysstrategier varierar i hög grad mellan studier, eftersom det finns många vägval vid bearbetning och analys av EEG-data. Vilken betydelse denna variabilitet har för resultat och slutsatser är okänt.
Denna ansökan presenterar EEGManyPipelines, ett storskaligt internationellt samarbetsprojekt för att undersöka robustheten hos EEG-resultat genom att låta många olika grupper analysera samma data med en analysstrategi som respektive grupp anser är rimlig och som representerar deras egen forskning. Deltagande forskare kommer att rapportera sina resultat och en detaljerad metodbeskrivning, vilket kommer att göra det möjligt att analysera variabiliteten i analysstrategier och dess effekt på resultaten. Således kommer detta projekt att undersöka robustheten hos EEG-resultat över alternativa analysstrategier, identifiera (sub)-optimala strategier, och ligga till grund för riktlinjer för att rapportera EEG-resultat i publikationer.
Vi förväntar oss att detta projekt kommer att bidra till ett skifte bort från småskaliga studier i enstaka grupper mot stora samarbeten. Detta projekt kommer att bidra till att stärka trovärdigheten hos EEG-forskning och analyskvalitet, och kommer att leda till nya standarder för att genomföra och rapportera EEG-studier, och därmed bidra till att framtida EEG-forskning vilar på fastare mark.
Denna ansökan presenterar EEGManyPipelines, ett storskaligt internationellt samarbetsprojekt för att undersöka robustheten hos EEG-resultat genom att låta många olika grupper analysera samma data med en analysstrategi som respektive grupp anser är rimlig och som representerar deras egen forskning. Deltagande forskare kommer att rapportera sina resultat och en detaljerad metodbeskrivning, vilket kommer att göra det möjligt att analysera variabiliteten i analysstrategier och dess effekt på resultaten. Således kommer detta projekt att undersöka robustheten hos EEG-resultat över alternativa analysstrategier, identifiera (sub)-optimala strategier, och ligga till grund för riktlinjer för att rapportera EEG-resultat i publikationer.
Vi förväntar oss att detta projekt kommer att bidra till ett skifte bort från småskaliga studier i enstaka grupper mot stora samarbeten. Detta projekt kommer att bidra till att stärka trovärdigheten hos EEG-forskning och analyskvalitet, och kommer att leda till nya standarder för att genomföra och rapportera EEG-studier, och därmed bidra till att framtida EEG-forskning vilar på fastare mark.
Slutredovisning
Projektets syfte samt utveckling
EEGManyPipelines-projektet var ett projekt för att i stor skala replikera experimentella resultat inom EEG-forskning genom att samla in data från flera laboratorier. Vi använde en multi-analytiker-metod för att undersöka EEG-analysmetoder: Många oberoende analysgrupper testade samma uppsättning avhypoteser på samma data och rapporterade sina analyser i detalj, med resultat och analyskod. Vi avsåg att studera EEG-forskares arbete under naturalistiska betingelser: (1) Utöver att sammanfatta analysmetoder som rapporterats i publicerade EEG-studier observerade vi i detalj hur analyser genomförs och implementeras i faktiska forskningsmiljöer. (2) Analyserna utfördes av ett stort, representativt urval av analytiker och inte bara ett enda team. (3) Analytikerna gavs autonomi att fatta sina egna analytiska val, vilket speglar deras eget ”naturliga” forskningsarbete.
Kort om genomförandet
Projektets genomförande leddes av en styrgrupp som inkluderade flera yngre forskare. Vi rekryterade 168 analytikerteam, bestående av 396 enskilda forskare från 37 länder, som oberoende av varandra analyserade samma opublicerade, representativa EEG-datauppsättning för att testa samma uppsättning fördefinierade hypoteser och sedan tillhandahöll sina analyspipelines och rapporterade resultaten. Styrgruppen valde ut ett dataset som var representativt för ett typiskt EEG-experiment, bestående av EEG-data från 33 deltagare som utförde ett minnestest. Vi formulerade åtta hypoteser vilka varierade i analysmetod och grad av specificitet. Vi samlade in analyskod, preprocesserade data, verbala beskrivningar av analyser samt analytikernas förutsägelser om resultaten.
Projektets tre viktigaste resultat, samt ett resonemang om projektets slutsatser
Ingen av de inlämnade analyserna var identiska vad gäller preprocessering och analys. Teamen använde en rad vanliga EEG-analyspaket och olika referenssystem. Strategier för statistisk analys varierade också avsevärt mellan teamen.
Våra resultat visade att (1) variationen mellan analyspipelines återspeglar stora skillnader i forskarnas val av analysprocedurer och parameterinställningar; (2) forskarna nådde ändå en hög konsensus (i genomsnitt 76,9 %) om huruvida hypoteser om eventrelaterade potentialer (ERP) bekräftades, trots märkbara skillnader i effektstorlek (p-värden och differensvågor); (3) vissa förbehandlingsparametrar, främst referenskanalen och högpassfilterets, predicerade differensvågens storlek; och (4) valet av analysmetod förklarade en begränsad variation i p-värden för två av tre hypoteser. Sammantaget visar våra resultat på variationer i EEG-analyspraxis och därmed variationer i rapporterade effektstorlekar.
Denna storskaliga, samordnade insats ger den första systematiska kvantifieringen av hur analytiska val påverkar EEG-forskningsresultat under kontrollerade förhållanden. Detta arbete skapar en ny empirisk grund för att förstå reproducerbarhet inom human neurovetenskap och understryker behovet av transparent rapportering, metodologisk standardisering och samarbetsbaserad verifiering mellan forskarteam.
I ett bredare perspektiv och avseende öppen vetenskap, metavetenskap och metaanalyser visar våra resultat återigen att projekt som syftar till att sammanväga enskilda resultat till en effektskattning bör använda rådata på individnivå, snarare än att förlita sig på binära signifikanta/icke-signifikanta rapporter. Detta kräver delning av data, kod och lämplig dokumentation.
Eventuellt nya forskningsfrågor
Vi har introducerat ett nytt mått för prototykikalitet som kan användas i framtida multi-analystprojekt. Vi definierade den prototypiska pipelinen avseende stegordning och val inom varje steg separat, och kvantifierade avvikelsen för varje teams pipeline från denna prototyp. Genom att koppla det nya måttet på prototypikalitet till den observerade differensvågen kunde vi konstatera att team med mer ovanliga pipelines (dvs. större avvikelse från den prototypiska stegordningen) tenderade att observera svagare effekter (dvs. mindre avvikelser för differensvågen från noll). Framtida forskning med simulerade data där den verkliga underliggande effektstorleken är känd behövs för att avgöra om en övergripande bedömning av en pipeline som ”typisk” kontra ”atypisk” säger något om dess lämplighet.
Hur projektgruppen har spridit forskningen och resultaten samt om och hur samverkan skett
Projektet var förhandsregistrerat. Vi har publicerat ett ”position paper” med initiala data om rekryteringen av analysteam med mera. Data kommer att delas öppet på plattformen BrainLife. Ett datadekriptormanuskript och ett huvudmanuskript är under förberedelse. Vi har spritt projektinformation och resultat på många olika konferenser, inklusive Society for the Improvement of Psychological Science (SIPS) och Psychologie und Gehirn (PuG).
Publikationslista, samt länk till egna webbsidor
Trübutschek, D., Yang, Y. F., Gianelli, C., Cesnaite, E., Fischer, N. L., Vinding, M. C., ... & Nilsonne, G. (2024). EEGManyPipelines: a large-scale, grassroots multi-analyst study of electroencephalography analysis practices in the wild. Journal of Cognitive Neuroscience, 36(2), 217-224. Publicerad med öppen tillgång.
https://eegmanypipelines.github.io/
EEGManyPipelines-projektet var ett projekt för att i stor skala replikera experimentella resultat inom EEG-forskning genom att samla in data från flera laboratorier. Vi använde en multi-analytiker-metod för att undersöka EEG-analysmetoder: Många oberoende analysgrupper testade samma uppsättning avhypoteser på samma data och rapporterade sina analyser i detalj, med resultat och analyskod. Vi avsåg att studera EEG-forskares arbete under naturalistiska betingelser: (1) Utöver att sammanfatta analysmetoder som rapporterats i publicerade EEG-studier observerade vi i detalj hur analyser genomförs och implementeras i faktiska forskningsmiljöer. (2) Analyserna utfördes av ett stort, representativt urval av analytiker och inte bara ett enda team. (3) Analytikerna gavs autonomi att fatta sina egna analytiska val, vilket speglar deras eget ”naturliga” forskningsarbete.
Kort om genomförandet
Projektets genomförande leddes av en styrgrupp som inkluderade flera yngre forskare. Vi rekryterade 168 analytikerteam, bestående av 396 enskilda forskare från 37 länder, som oberoende av varandra analyserade samma opublicerade, representativa EEG-datauppsättning för att testa samma uppsättning fördefinierade hypoteser och sedan tillhandahöll sina analyspipelines och rapporterade resultaten. Styrgruppen valde ut ett dataset som var representativt för ett typiskt EEG-experiment, bestående av EEG-data från 33 deltagare som utförde ett minnestest. Vi formulerade åtta hypoteser vilka varierade i analysmetod och grad av specificitet. Vi samlade in analyskod, preprocesserade data, verbala beskrivningar av analyser samt analytikernas förutsägelser om resultaten.
Projektets tre viktigaste resultat, samt ett resonemang om projektets slutsatser
Ingen av de inlämnade analyserna var identiska vad gäller preprocessering och analys. Teamen använde en rad vanliga EEG-analyspaket och olika referenssystem. Strategier för statistisk analys varierade också avsevärt mellan teamen.
Våra resultat visade att (1) variationen mellan analyspipelines återspeglar stora skillnader i forskarnas val av analysprocedurer och parameterinställningar; (2) forskarna nådde ändå en hög konsensus (i genomsnitt 76,9 %) om huruvida hypoteser om eventrelaterade potentialer (ERP) bekräftades, trots märkbara skillnader i effektstorlek (p-värden och differensvågor); (3) vissa förbehandlingsparametrar, främst referenskanalen och högpassfilterets, predicerade differensvågens storlek; och (4) valet av analysmetod förklarade en begränsad variation i p-värden för två av tre hypoteser. Sammantaget visar våra resultat på variationer i EEG-analyspraxis och därmed variationer i rapporterade effektstorlekar.
Denna storskaliga, samordnade insats ger den första systematiska kvantifieringen av hur analytiska val påverkar EEG-forskningsresultat under kontrollerade förhållanden. Detta arbete skapar en ny empirisk grund för att förstå reproducerbarhet inom human neurovetenskap och understryker behovet av transparent rapportering, metodologisk standardisering och samarbetsbaserad verifiering mellan forskarteam.
I ett bredare perspektiv och avseende öppen vetenskap, metavetenskap och metaanalyser visar våra resultat återigen att projekt som syftar till att sammanväga enskilda resultat till en effektskattning bör använda rådata på individnivå, snarare än att förlita sig på binära signifikanta/icke-signifikanta rapporter. Detta kräver delning av data, kod och lämplig dokumentation.
Eventuellt nya forskningsfrågor
Vi har introducerat ett nytt mått för prototykikalitet som kan användas i framtida multi-analystprojekt. Vi definierade den prototypiska pipelinen avseende stegordning och val inom varje steg separat, och kvantifierade avvikelsen för varje teams pipeline från denna prototyp. Genom att koppla det nya måttet på prototypikalitet till den observerade differensvågen kunde vi konstatera att team med mer ovanliga pipelines (dvs. större avvikelse från den prototypiska stegordningen) tenderade att observera svagare effekter (dvs. mindre avvikelser för differensvågen från noll). Framtida forskning med simulerade data där den verkliga underliggande effektstorleken är känd behövs för att avgöra om en övergripande bedömning av en pipeline som ”typisk” kontra ”atypisk” säger något om dess lämplighet.
Hur projektgruppen har spridit forskningen och resultaten samt om och hur samverkan skett
Projektet var förhandsregistrerat. Vi har publicerat ett ”position paper” med initiala data om rekryteringen av analysteam med mera. Data kommer att delas öppet på plattformen BrainLife. Ett datadekriptormanuskript och ett huvudmanuskript är under förberedelse. Vi har spritt projektinformation och resultat på många olika konferenser, inklusive Society for the Improvement of Psychological Science (SIPS) och Psychologie und Gehirn (PuG).
Publikationslista, samt länk till egna webbsidor
Trübutschek, D., Yang, Y. F., Gianelli, C., Cesnaite, E., Fischer, N. L., Vinding, M. C., ... & Nilsonne, G. (2024). EEGManyPipelines: a large-scale, grassroots multi-analyst study of electroencephalography analysis practices in the wild. Journal of Cognitive Neuroscience, 36(2), 217-224. Publicerad med öppen tillgång.
https://eegmanypipelines.github.io/