Bortom Peer Review

2019-05-23
Bortom Peer Review

På Volkswagenstiftung i Tyskland har man sedan en tid tillbaka testat nya sätt att dela ut medel till forskning. Syftet är att finna det djärva, men projektet är intressant för alla som är intresserade av forsnkingsfinansiering. Man testar nämligen att lotta (!) ut anslag.

Sakkunnig granskning av forskning, så kallad peer review, brukar med jämna intervall komma upp till diskussion – funkar den? Är den inte passé? Främjar den inte likriktning? Missgynnas inte kvinnor? Och så vidare.

Med lika jämna mellanrum brukar det konstateras att peer review är svår att göra sig av med eftersom det saknas goda alternativ. Visst kan öppen granskning bidra! Kanske kan man i framtiden använda sig mer av avancerad bibliometri! AI kan förstås bidra, liksom avancerad teknik för studier av så kallade big data. Metrics och altmetrics, ropar andra! Och kanske, möjligen, kommer robotar i framtiden göra all granskning, men nu och här tycks vi få nöja oss med det vi har, det vill säga peer review.

Eller? Sedan ett par år tillbaka har Volkswagenstiftung gjort försök med ett helt nytt sätt att dela ut forskningsanslag. Satsningen heter Experiment och vänder sig till  naturvetenskap och teknik (STEM). Syftet var från börjar, berättar Ulrike Bischler som ansvarat och lett satsningen, att främja djärva idéer.

-  Det fanns, som ni säkert hört talas om, föreställningar om att peer review-processen tenderar att rensa bort det udda och därmed också det djärva. Paneler, hur djärva vi än ber dem att vara, tenderar att leta efter konsensus. Det ville vi bort ifrån. Vi tänkte att vi ville skapa något som ledde till att det som var lite crazy och oortodoxt också kunde få anslag, säger hon.

Vad är det då som gör Experiment unikt? Jo, det är slumpen! Anslagen lottas nämligen ut till de projekt som sökt medel. Projekten dras – precis som lottokulorna på tv – ur en tombola och processen övervakas av tyska företrädare för lotterinspektionen.

Det låter helt galet, men har visat sig ha många fördelar. Och det finns en rad kontrollstationer. Dessutom har Volkswagenstiftung valt att låta en sedvanlig bedömarpanel ta ställning samma ansökningar och på traditionellt vis plocka ut de ansökningar som de finner bäst. Om ett par år kommer stiftelsen kunna jämföra projekten med varandra, och om det går att se skillnader i kvalitet, frejdighet och genomslag.

- Och innan projekten går till lottning har vi så klart haft en lång process internt, understryker Ulrike Bischler.

Lång process innan lottning

Det brukar vara ungefär 600 ansökningar som skickas in i just den här utlysningen – det kan jämföras med RJ:s årliga utlysning där det under senare år rört sig om ca 700 ansökningar om året. Alla dessa ansökningar läses internt på stiftelsen av en grupp, som med hänsyn till utlysningens krav på kvalitet och djärva projekt rensar bort en stor del av de inskickade projekten. Ungeför 100 projekt går vidare - det har varit mellan 100 och 140 ansökningar som bedömts som tillräckligt spännande sedan man började.

De cirka 100 ansökningarna skickas sedan till en vetenskaplig jury med en hälsning om att belöna de djärva projekten. Alla projekten anonymiserades i detta läge, för att juryn inte skulle ta med meriter i bedömningen. Med i bedömarpanelen sitter dessutom en journalist som är expert på riskbedömningar. Panelen väljer sedan ut vilka projekt som ska få medel. Så långt är det hela ganska traditionellt. Men parallellt med bedömargruppens arbete lottas lika många projekt fram – och även de får medel. Juryn har dock innan alla ansökningar går till lottning möjlighet att peka ut ansökningar som helt enkelt inte håller måttet, men i övrigt går de uttagna projekten vidare till dragning.

Joker i leken

För att ytterliga öka trycket på att välja ut djärva projekt har bedömarpanelerna också utrustats med ännu en innovation i sakkunniggranskningarnas värld.

-Vi har gett varje bedömare en joker, som de kan använda som ett slags omvänt veto, säger Ulrik Bischler.

Tanken är att varje medlem i juryn ska kunna lägga en joker på projekt som de särskilt värnar om. Även om andra i gruppen inte skulle gilla ansökan eller ha invändningar av olika slag, går de ansökningar som fått en joker vidare. Alla i panelen har varsin jury och kan således plocka med sig ett projekt var.

- Här var vi förstås mycket rädda för att det skulle utnyttjas och inte alls användas på ett genomtänkt sätt, eller att det skulle leda till osämja i gruppen, men det har funkat väldigt bra. Vi har bara upplevt att det använts klokt och ansvarsfullt, och är väldigt nöjda med det. Det är inte heller så att alla paneldeltagare utnyttjar sin joker – och det var precis så vi tänkte. Bara om det gäller ett projekt som man verkligen tror på, trots att de andra inte vill låta det gå vidare,ska man använda sin joker.

Under de år som systemet funnits har en joker använts 11 gånger.

Slumpen utvärderas

Utlysningen som alltså går under namnet Experiment har gjorts ett par gånger, men det är bara sedan 2017 som stiftelsen använt sig av lotteri. 17 projekt valdes då ut av en bedömarpanel och lika många lottades ut. Fem projekt lyckades i båda systemen, så totalt har 29 projekt satt i gång och om två år kommer stiftelsen kunna göra de första analyserna och om fyra en mer komplett utvärdering. De forskare som fått medel vet inte själva om de utsetts med lottens hjälp eller till följd av bedömarpanelens insatser.

Hur har då detta bemötts? Vad säger forskarna och vad säger styrelsen? Ja, till Ulrike Bischlers glädje och förvåning var styrelsen direkt positiv till att göra något nytt och försöka sig på att förnya uttagningen av forskningsprojekt. Hon tror dessutom att detta är något som stiftelser som står mer fria skulle kunna göra i mycket högre grad än i dag. Stiftelser har mer frihet att pröva nya saker, och det är en viktig roll för stiftelser.

Till en början var tanken att Volkswagenstiftung skulle satsa på alla ämnen – även humanvetenskaperna – men så blev det inte. En anledning var att forskare inom just humaniora vid en workshop som föregick satsningen, var ganska kritisk till lottning som ett system för att dela forskarmedel.

- Jag fick intrycket att matematiker och naturvetare var mer pragmatiska och till och med positiva till tanken på att låta slumpen styra, så länge dåliga projekt plockades bort. Och det senare var förstås viktigt för alla forskare, eftersom det är sådan konkurrens om pengar till forskning. Den processen, alltså hur vi väljer bort sämre ansökningar, är jätteviktig för att forskarna ska ha tillit till hela processen. Den kvalitetskontrollen är avgörande, säger Ulrike Bischler.

Det finns förstås kritik mot satsningen. Få kvinnor har lyckats få medel, men det beror inte på lottningen i sig. En anledning som Ulrike Bischler och hennes kollegor har diskuterat är om det kan bero på hur kvinnor och män skriver ansökningar, det vill säga om det helt enkelt är en språkfråga. På samma sätt är det svårare för mindre discipliner att hålla sig framme och få medel. Men det är alltså inte slumpen som väljer bort de kvinnliga forskarna eller de små ämnena, utan juryn. En del av förklaringen till det finns förstås i vilka som sitter med i panelen, tror Ulrike Bischler.

Intresse från en rad olika finansiärer

I det tyska vetenskapssamhället har satsningen förstås också väckt en del uppmärksamhet. Liksom i Sverige och övriga världen pågår det där en diskussion om peer review och dess för- och nackdelar. Det är en kostsam process, både vad det gäller tid och pengar. Det finns som RJ skrivit om tidigare forskare som ägnar upp till 25 procent av sin tid till att granska andra forskare – och det finns studier som menar att den tiden ökar med allt fler forskare runt om i världen. Är det rimligt, kan man fråga sig, och borde inte forskare forska snarare än att granska varandra?

Satsningen har väckt en del uppmärksamhet i såväl Tyskland som i Nederländerna och i Danmark, där bland annat Veluxfonden och Lundbeck har intresserat sig för de här utmaningarna av det traditionella peer review systemet vid anslagsutdelning. Ulrika Bischler och hennes kollegor har fått presentera det hela på en rad konferenser och även i en del tidskrifter.

Tyska Wissenschaftsrat som intresserat sig för de här experimenten med peer review-systemet rekommenderade i oktober 2017 fler att pröva nya vägar att bedöma och granska forskning.

- De uppmanade fler att vara oortodoxa, och det var jag lite förvånad över, men så klart stolt också eftersom jag jobbat så mycket med satsningen.

Däremot så är Ulrike Bischer osäker på om det faktiskt har lett till en tidsvinst. Helt klart är att det inte går snabbare för stiftelsen eftersom den initiala granskningen av ansökningar måste vara glasklar och ha hög kvalitet för att forskarna ska känna tillit till processen. Möjligt är förstås att det i framtiden, med mer vana och erfarenhet går att spara tid, och därmed också pengar på indragna sakkunniggranskningar, men därom vet vi ännu inget.

Därtill understryker Ulrike Bischler att man måste vara mycket tydlig till de som söker medel med hur det hela går till.

- Forskarna lägger så otroligt mycket tid på att skriva ansökningar och då måste de redan på förhand veta hur bedömningsprocessen går till. Alla måste veta att det kommer att vara en lottdragning, för det innebär ju att man inte får någon respons eller feed back på sin ansökan, vilket många forskare vill ha.

Om ett par år ska Volkswagenstiftung utvärdera både de projekt som dragits genom lottning och de som setts ut via granskande paneler, och kanske kommer de då leverera svaret på frågan om peer review. Men Ulrike Bischler som visserligen är stolt och glad över att ha fått vara med och utveckla en utlysning där slumpen spelar en avgörande roll, tror inte att lottning någonsin kan ersätta vanlig peer review.

- Vår satsning handlar om risk. Vi efterlyser djärva projekt och nyskapande idéer som på sikt kan leda till oförutsedda innovationer och liknande. Slumpen bör nog inte styra medel till vanlig grundforskning. Det tror jag till och med kan vara farligt. Och jag vet inte om det skulle gå att ha liknande satsningar inom humaniora och samhällsvetenskap.

Utan att i dag kunna säga hur de slumpmässigt dragna ansökningarna håller, väcker emellertid satsningen en rad tankar och idéer. Det går att göra annorlunda!