Tvivelaktiga forskningspraxis: Om (o)etisk datahantering i kvantitativ forskning inom humaniora
Tvivelaktiga forskningspraxis utgör gråzonen mellan ”lämpligt beteende” och ”etiskt oacceptabelt förfarande”. På grund av deras svårdefinierade natur kan de vara svårupptäckta och för att göra det hela mer komplicerat är forskare i vissa fall inte ens medvetna om att de har gjort fel. I en forskningsmiljö där pressen att erhålla externa forskningsmedel är hög kan forskare till exempel känna sig lockade att tona ned forskningsrön som inte ligger i linje med forskningsfinansiärens intressen. Felaktigt framställande av forskningsresultat eller underlåtande att objektivt rapportera dem är dock exempel på tvivelaktiga forskningspraxis och bör därför undvikas.
Detta projekt syftar till att skapa klarhet i det underbeforskade begreppet tvivelaktiga forskningspraxis inom humaniora och därigenom tillhandahålla för forskningsområdet specialiserade verktyg för att hjälpa forskare att undvika oetiskt förfarande. En systematisk jämförelse med USA, en av huvudaktörerna på forskningsscenen, kommer även att genomföras. Specifikt undersöker projektet (a) utbredningen samt allvarsgraden av tvivelaktiga forskningspraxis, (b) forskares erfarenheter av desamma och (c) i vilken omfattning forskarutbildningen inom humaniora behandlar dem. Baserat på resultaten kommer fyra artiklar att publiceras och utbildningsmaterial att utvecklas. Sammanfattningsvis bidrar projektet till att öka medvetenheten om tvivelaktiga forskningspraxis och därigenom möjliggöra högkvalitativ forskning på stark etisk grund.
Slutredovisning
Tvivelaktiga forskningspraxis: Om (o)etisk datahantering i kvantitativ forskning inom humaniora (FOE20-0017)
Vetenskaplig slutredovisning
Detta projekt utformades för att undersöka prevalensen, frekvensen och den upplevda allvarlighetsgraden av så kallade tvivelaktiga forskningspraxis (Questionable Research Practices på engelska) inom kvantitativ humanistisk forskning. Dessa forskningspraxis utgör gråzonen mellan ansvarsfullt forskningsarbete å ena sidan och förfalskning, påhittande av forskningsresultat och plagiering å andra sidan.
Projektet genomfördes genom trefaser. Fas 1 involverade utvecklingen av en taxonomi av tvivelaktiga forskningspraxis med målet att erhålla en heltäckande lista över praxis som är relevanta för kvantitativ humanistisk forskning. För att uppnå detta mål använde vi den så kallade Delphi-metoden, en metod som inte har använts mycket inom vårt område. Delphi-metoden kan liknas vid en asynkron fokusgrupp där ett team av experter bjuds in för att delge sina åsikter gällande vilka praxis som ska läggas till taxonomin och hur dessa ska formuleras. Något förenklat föreslog experterna (10 forskare från relevanta områden som har expertis inom forskningsetik) praxis som vi i forskargruppen sammanfattade; vi kompletterade också listan med praxis från befintliga taxonomier från andra forskningsområden. Experterna kom sedan med återkoppling på taxonomin under flera granskningsrundor. Den resulterande taxonomin omfattar 58 praxis, varav 90 procent kom från experterna. Praxisen är grupperade i fyra kategorier: finansiering, design/datainsamling, dataanalys och spridning av resultat. Under denna fras genomförde vi också en tematisk översikt av forskningsetik inom vårt område.
I fas 2 använde vi taxonomin för att utarbeta en forskningsenkät, som vi skickade ut med målet att bättre förstå prevalensen, frekvensen och den upplevda allvarlighetsgraden av dessa tvivelaktiga forskningspraxis bland forskare inom kvantitativ humaniora. Enkäten skickades ut till forskare med doktorsexamen som för närvarande är verksamma vid ”forskningsintensiva” institutioner i Sverige eller USA. För Sveriges del innebar det att vi skickade ut enkäten till alla universitet som har forskare inom kvantitativ humaniora; för USA innebar det att vi skickade ut enkäten till forskningsinstitutioner (’R1’ eller ’R2’-universitet). Vårt urval (n = 230) omfattade discipliner såsom tillämpad lingvistik, utbildning, historia, genusvetenskap, medievetenskap och filosofi.
I fas 3 utvecklade vi läromedel baserat på våra resultat från fas 1 och 2. Vi spelade in instruktionsvideor som introducerade de tvivelaktiga forskningspraxisen, tog fram exempel på lektionsplaner och en aktivitetsbank med klassrumsaktiviteter utformade för att hjälpa lärare att implementera etikutbildning i sina klasser och läroplaner. Under denna fas genomförde vi även en översikt över befintliga läromedel inom området genom att titta på kursplaner och läroböcker.
De viktigaste resultaten var som följer:
•Även om forskningsetik har varit ett ämne som har diskuterats på området sedan 1980-talet, var det först på 2010-talet som vi började se ett större intresse för att forska i ämnet.
•Tvivelaktiga forskningspraxis är mycket vanliga: 96 procent av deltagarna rapporterade att de har gjort minst en av praxisen minst en gång under de senaste fem åren.
•De tvivelaktiga forskningspraxis från taxonomin som var vanligast var som följer:
-Att presentera samma presentation på flera konferenser
-Att välja metod av konvention (t.ex. att välja en design eller instrumenttyp eftersom den används i tidigare forskning, utan att se till att det är den mest lämpliga designen eller instrumentet)
•De tvivelaktiga forskningspraxis från taxonomin som var minst vanliga var som följer:
-Att inte rapportera en intressekonflikt (finansiell eller annan)
-Att använda omotiverade metoder för att hantera saknad data
•De tvivelaktiga forskningspraxis från taxonomin som ansågs vara minst allvarliga var som följer:
-Att presentera samma presentation på flera konferenser
-Att välja metod av konvention
•De tvivelaktiga forskningspraxis från taxonomin som ansågs vara mest allvarliga var som följer:
-Att inte rapportera en intressekonflikt
-Att ta bort data medvetet/avsiktligt för att få gynnsamma resultat
•Vi såg en stark negativ korrelation mellan frekvens och upplevd svårighetsgrad av praxisen från taxonomin (Spearmans rho = -0,77).
•Befintlig täckning av forskningsetik i kurser och läroböcker tenderade att främst fokusera på (i) forskningsetik som uteslutande fokuserad på etiknämnden, (ii) metodologiska beslut (t.ex. val av lämpliga statistiska test och datadelning), och (iii) forskningsetik som ett specialiserat ämne (d.v.s. täckt i bara ett kapitel/klass, snarare än som ett ämne av relevans för alla stadier av forskningsprocessen).
Vi ser alltså att forskningsetik som delområde har fått momentum inom kvantitativ humanistisk forskning. Våra forskningsresultat visade också att forskningsetik tenderar att behandlas på ett uppdelat sätt, då befintligt utbildningsmaterial mest fokuserar på isolerade ämnen i ett enda kapitel eller kurstillfälle. När det gäller specifikt tvivelaktiga forskningspraxis noterade vi att de är allmänt förekommande i fältet. Vi såg en stark negativ korrelation mellan frekvens och upplevd allvarlighetsgrad, vilket tyder på att forskare inte gör saker som de anser vara allvarliga. Baserat på resultaten föreslår vi att mer utbildning skulle vara till nytta för området, och vi föreslår att denna utbildning integrerar diskussioner om forskningsetik (och tvivelaktiga forskningspraxis) i alla stadier av forskningsprocessen. Vårt mål med utbildningsmaterialet som vi producerade är att uppmuntra till reflektion kring tvivelaktiga forskningspraxis, inte att ge tydliga svar, eftersom sådana svar sällan finns att tillgå när det gäller tvivelaktiga forskningspraxis.
Vår forskning har spridits på flera olika sätt: vi har publicerat en bok med utbildningsmaterial, fem refereegranskade artiklar i prestigefyllda tidskrifter och vi har presenterat tio konferenspresentationer. Vi har också anordnat tre workshops med inbjudna talare och publik från flera olika institutioner: två vid Uppsala universitet i Sverige och en vid Northern Arizona University i USA. Diskussioner som genomfördes under dessa evenemang resulterade i en publikation i vilken vi samarbetade med presentatörer från dessa evenemang. Dessutom har vi ett socialt mediekonto på X där vi har lagt upp uppdateringar om projektet samt en hemsida där vi lägger upp information om detta projekt och relaterade, nyare projekt.
Vetenskaplig slutredovisning
Detta projekt utformades för att undersöka prevalensen, frekvensen och den upplevda allvarlighetsgraden av så kallade tvivelaktiga forskningspraxis (Questionable Research Practices på engelska) inom kvantitativ humanistisk forskning. Dessa forskningspraxis utgör gråzonen mellan ansvarsfullt forskningsarbete å ena sidan och förfalskning, påhittande av forskningsresultat och plagiering å andra sidan.
Projektet genomfördes genom trefaser. Fas 1 involverade utvecklingen av en taxonomi av tvivelaktiga forskningspraxis med målet att erhålla en heltäckande lista över praxis som är relevanta för kvantitativ humanistisk forskning. För att uppnå detta mål använde vi den så kallade Delphi-metoden, en metod som inte har använts mycket inom vårt område. Delphi-metoden kan liknas vid en asynkron fokusgrupp där ett team av experter bjuds in för att delge sina åsikter gällande vilka praxis som ska läggas till taxonomin och hur dessa ska formuleras. Något förenklat föreslog experterna (10 forskare från relevanta områden som har expertis inom forskningsetik) praxis som vi i forskargruppen sammanfattade; vi kompletterade också listan med praxis från befintliga taxonomier från andra forskningsområden. Experterna kom sedan med återkoppling på taxonomin under flera granskningsrundor. Den resulterande taxonomin omfattar 58 praxis, varav 90 procent kom från experterna. Praxisen är grupperade i fyra kategorier: finansiering, design/datainsamling, dataanalys och spridning av resultat. Under denna fras genomförde vi också en tematisk översikt av forskningsetik inom vårt område.
I fas 2 använde vi taxonomin för att utarbeta en forskningsenkät, som vi skickade ut med målet att bättre förstå prevalensen, frekvensen och den upplevda allvarlighetsgraden av dessa tvivelaktiga forskningspraxis bland forskare inom kvantitativ humaniora. Enkäten skickades ut till forskare med doktorsexamen som för närvarande är verksamma vid ”forskningsintensiva” institutioner i Sverige eller USA. För Sveriges del innebar det att vi skickade ut enkäten till alla universitet som har forskare inom kvantitativ humaniora; för USA innebar det att vi skickade ut enkäten till forskningsinstitutioner (’R1’ eller ’R2’-universitet). Vårt urval (n = 230) omfattade discipliner såsom tillämpad lingvistik, utbildning, historia, genusvetenskap, medievetenskap och filosofi.
I fas 3 utvecklade vi läromedel baserat på våra resultat från fas 1 och 2. Vi spelade in instruktionsvideor som introducerade de tvivelaktiga forskningspraxisen, tog fram exempel på lektionsplaner och en aktivitetsbank med klassrumsaktiviteter utformade för att hjälpa lärare att implementera etikutbildning i sina klasser och läroplaner. Under denna fas genomförde vi även en översikt över befintliga läromedel inom området genom att titta på kursplaner och läroböcker.
De viktigaste resultaten var som följer:
•Även om forskningsetik har varit ett ämne som har diskuterats på området sedan 1980-talet, var det först på 2010-talet som vi började se ett större intresse för att forska i ämnet.
•Tvivelaktiga forskningspraxis är mycket vanliga: 96 procent av deltagarna rapporterade att de har gjort minst en av praxisen minst en gång under de senaste fem åren.
•De tvivelaktiga forskningspraxis från taxonomin som var vanligast var som följer:
-Att presentera samma presentation på flera konferenser
-Att välja metod av konvention (t.ex. att välja en design eller instrumenttyp eftersom den används i tidigare forskning, utan att se till att det är den mest lämpliga designen eller instrumentet)
•De tvivelaktiga forskningspraxis från taxonomin som var minst vanliga var som följer:
-Att inte rapportera en intressekonflikt (finansiell eller annan)
-Att använda omotiverade metoder för att hantera saknad data
•De tvivelaktiga forskningspraxis från taxonomin som ansågs vara minst allvarliga var som följer:
-Att presentera samma presentation på flera konferenser
-Att välja metod av konvention
•De tvivelaktiga forskningspraxis från taxonomin som ansågs vara mest allvarliga var som följer:
-Att inte rapportera en intressekonflikt
-Att ta bort data medvetet/avsiktligt för att få gynnsamma resultat
•Vi såg en stark negativ korrelation mellan frekvens och upplevd svårighetsgrad av praxisen från taxonomin (Spearmans rho = -0,77).
•Befintlig täckning av forskningsetik i kurser och läroböcker tenderade att främst fokusera på (i) forskningsetik som uteslutande fokuserad på etiknämnden, (ii) metodologiska beslut (t.ex. val av lämpliga statistiska test och datadelning), och (iii) forskningsetik som ett specialiserat ämne (d.v.s. täckt i bara ett kapitel/klass, snarare än som ett ämne av relevans för alla stadier av forskningsprocessen).
Vi ser alltså att forskningsetik som delområde har fått momentum inom kvantitativ humanistisk forskning. Våra forskningsresultat visade också att forskningsetik tenderar att behandlas på ett uppdelat sätt, då befintligt utbildningsmaterial mest fokuserar på isolerade ämnen i ett enda kapitel eller kurstillfälle. När det gäller specifikt tvivelaktiga forskningspraxis noterade vi att de är allmänt förekommande i fältet. Vi såg en stark negativ korrelation mellan frekvens och upplevd allvarlighetsgrad, vilket tyder på att forskare inte gör saker som de anser vara allvarliga. Baserat på resultaten föreslår vi att mer utbildning skulle vara till nytta för området, och vi föreslår att denna utbildning integrerar diskussioner om forskningsetik (och tvivelaktiga forskningspraxis) i alla stadier av forskningsprocessen. Vårt mål med utbildningsmaterialet som vi producerade är att uppmuntra till reflektion kring tvivelaktiga forskningspraxis, inte att ge tydliga svar, eftersom sådana svar sällan finns att tillgå när det gäller tvivelaktiga forskningspraxis.
Vår forskning har spridits på flera olika sätt: vi har publicerat en bok med utbildningsmaterial, fem refereegranskade artiklar i prestigefyllda tidskrifter och vi har presenterat tio konferenspresentationer. Vi har också anordnat tre workshops med inbjudna talare och publik från flera olika institutioner: två vid Uppsala universitet i Sverige och en vid Northern Arizona University i USA. Diskussioner som genomfördes under dessa evenemang resulterade i en publikation i vilken vi samarbetade med presentatörer från dessa evenemang. Dessutom har vi ett socialt mediekonto på X där vi har lagt upp uppdateringar om projektet samt en hemsida där vi lägger upp information om detta projekt och relaterade, nyare projekt.