Kan vi lita på PISA-resultaten? En jämförelse med elevernas betyg och resultat på nationella prov
PISA genererar stort intresse hos såväl beslutsfattare som forskare och en intresserad allmänhet – men går resultaten att lita på? I det här projektet undersöker vi giltigheten i PISA:s provpoäng 2018 genom att analysera bortfallet av elever samt relationen mellan PISA-resultaten, elevernas betyg och nationella provresultat. För första gången kan registerdata från SCB kopplas till elevernas PISA-resultat, vilket ger unika möjligheter att fylla en kunskapslucka beträffande hur resultaten är påverkade av de begränsade konsekvenser som PISA-undersökningen har för eleverna. I den första delstudien undersöks huruvida urvalet av elever är representativt för 15-åriga elever i Sverige. Ett stort antal elever skrev inte PISA-provet 2018, trots att de var utvalda. I den andra delstudien undersöks relationen mellan PISA, elevernas betyg och nationella prov för att utröna om elever underpresterar på PISA. I den tredje delstudien utreds om elevers provmotivation kan förklara skillnader mellan PISA-resultaten och de nationella kunskapsmåtten samt om test-motivation varierar mellan olika elevgrupper. I ett kort perspektiv bidrar projektet till förståelsen mellan prov där konsekvenserna är stora respektive små. I ett längre perspektiv kan resultaten i det här projektet leda till förändringar i hur PISA genomförs och rapporteras. Om vi finner stöd för bristande giltighet i PISA föreslår vi att elever behöver fler motiv till att göra provet såsom feedback på sin egen och sin skolas prestation.
Slutredovisning
Projektets syfte och utveckling
Syftet med projektet Kan vi lita på PISA-resultaten? En jämförelse med elevernas betyg och resultat i nationella prov är att undersöka aspekter av tillförlitlighet och giltighet i PISA 2018, med särskilt fokus på hur exkludering, bortfall och olika aspekter av elevers motivation och svarsmönster kan påverka resultaten. Projektplanen består av tre delprojekt, och det övergripande målet är att belysa i vilken utsträckning PISA-resultat är jämförbara mellan länder och över tid. Sedan projektstart har inga större förändringar gjorts av de ursprungliga målen, men nya frågeställningar har uppstått kring tillförlitligheten i elevers enkätsvar. Dessa nya frågor ryms inom projektets syfte och har lett till ytterligare undersökningar där PISA-elevernas enkätsvar jämförs med registerdata.
Kort om genomförandet
Projektet är uppdelat i tre delstudier som huvudsakligen följt den ursprungliga planeringen. I varje delstudie har vi analyserat data från PISA 2018 samt registerdata som täcker elevers bakgrund nationella prov och betyg. I ett tidigt skede fokuserade vi på att kartlägga hur exkludering och bortfall i PISA underskattas eller överskrider OECD:s riktlinjer, samt vilka konsekvenser detta har för länders genomsnittliga PISA-resultat. Parallellt har vi fördjupat oss i frågor om elevers motivation i PISA och hur elever med olika grad av motivation presterar på nationella prov. En hypotes var att elever generellt är mer motiverade inför ett nationellt prov, och att sambandet mellan PISA och nationella prov är starkare för de elever som är motiverade att genomföra PISA. Ett senare fokusområde är hur elevers enkätsvar stämmer överens med registerdata, exempelvis när elever rapporterar föräldrars utbildningsnivå, och hur avvikelser i rapporteringen kan påverka de analyser som använder dessa variabler.
Projektets tre viktigaste resultat och resonemang om projektets slutsatser
Betydelsen av exkludering och bortfall för länders resultat
Våra analyser visar att länders prestationer i PISA kan påverkas när exkluderingsgraden och bortfallet är högt. I exemplet med Sverige 2018 var både exkludering och bortfall omfattande, vilket enligt våra beräkningar skulle kunna sänka Sveriges resultat om man justerade för en lägre exkluderingsgrad och ett minimalt bortfall. Samtidigt är exkludering och bortfall en utmaning för många länder. Det finns dock stor variation mellan länder vad gäller dessa faktorer, vilket kan påverka de jämförelser som görs i rankingtabellerna. OECD tillåter upp till 5 % exkludering, men i många fall inkluderas länder i rapporteringen trots betydligt högre exkluderingsgrad. Resultaten belyser därmed en utmaning för OECD i hur länders resultat rapporteras och jämförs.
Elevers motivation och underprestation
Ett återkommande antagande är att vissa elever underpresterar på PISA på grund av att provet saknar konsekvenser för dem. Resultaten från våra studier visar att elever självrapporterar att de skulle ha ansträngt sig mer på PISA-provet om det haft betydelse för dem. Resultaten visar också att mer motiverade elever uppvisar ett starkare samband mellan PISA och det mer högkonsekventa nationella provet. Detta tyder på att elever med lägre motivation uppvisar större diskrepans mellan sina resultat på PISA och på nationella prov. Våra resultat indikerar dock att det endast är en mindre grupp elever som kan tänkas prestera avsevärt bättre om PISA-poängen hade påverkat deras betyg. Därför kan bristande motivation inte ensamt förklara de stora skillnader som ses mellan länder, exempelvis i jämförelser mellan Europa och Asien. Frågan om provmotivation har dock väckt stort intresse och anknyter till diskussioner om hur meningsfulla PISA-resultat är för både elever och beslutsfattare.
Ämnesspecificitet och giltighet i PISA-resultat
Genom strukturella ekvationsmodeller och jämförelser av PISA-resultat, nationella prov och ämnesbetyg har vi identifierat en särskild faktor som tycks vara specifikt kopplad till PISA. Sambanden mellan de olika PISA-ämnena är höga, medan sambanden mellan PISA-resultat och motsvarande ämnesprov eller ämnesbetyg i svenska skolämnen är lägre. Detta kan tyda på att PISA i högre grad mäter en övergripande kognitiv förmåga eller en förmåga relaterad till provformatet, snarare än de ämnesspecifika kunskaper som nationella prov och skolbetyg mäter.
Våra slutsatser understryker vikten av att beakta metodologiska aspekter vid tolkningen av resultaten i internationella kunskapsmätningar. Variationer i exkludering och bortfall kan påverka de rapporterade resultaten och därmed internationella jämförelser, särskilt med tanke på den variation som finns mellan länder. Parallellt visar våra fynd att PISA mäter ett relativt stort mått av generella kognitiva förmågor jämfört med nationella bedömningar. En ytterligare faktor rör provformatet och elevernas motivation att genomföra provet. Detta innebär att skillnader i resultat inte enbart speglar utbildningskvalitet eller elevprestation, utan även påverkas av faktorer relaterade till datainsamlingen och elevernas inställning till provet. Projektet manar därför till försiktighet vid tolkningen av internationella mätresultat, där mer nyanserade analyser krävs för att möjliggöra adekvata jämförelser över tid och mellan länder.
Nya forskningsfrågor
Projektet har genererat nya frågor om tillförlitligheten i elevers enkätsvar och vilka konsekvenser detta kan få för efterföljande analyser. Det gäller exempelvis när variabler som elevrapporterad föräldrautbildning används i regressionsmodeller eller i studier av socioekonomisk bakgrund. Vi har jämfört självrapporterad information om föräldrars utbildningsnivå med registerdata och funnit betydande avvikelser. Fortsatta analyser planeras för att undersöka hur registerdata kan användas för att validera enkätsvar.
En annan forskningsfråga rör hur negativt formulerade enkätfrågor kan påverka elevers svar och leda till systematiska mätfel, exempelvis vid skattningar av motivation. Ytterligare en fråga som väckt intresse handlar om hur elevmotivation att genomföra PISA ser ut i andra länder och utifrån olika informationskällor. En sådan källa är processdata, till exempel hur lång tid elever tillbringar på olika uppgifter, hur mycket de skriver och andra interaktioner i testsituationen. En annan möjlig källa är kvalitativa observationer, där exempelvis observatörer vittnar om hur provsituationen gått till och i vilken grad eleverna varit motiverade eller fullföljt provet.
Spridning och samverkan
Projektets resultat kommuniceras genom vetenskapligt granskade artiklar i internationella tidskrifter samt genom konferenspresentationer. Projektet har hittills resulterat i flera publikationer och ytterligare manuskript är under granskning. Alla publikationer görs tillgängliga med öppen tillgång (open access). Göteborgs universitet har avtal med flera tidskrifter som vi har publicerat i, och i vissa fall har vi betalat för open access-publicering.
Resultaten har presenterats vid utbildningsvetenskapliga konferenser som ECER (European Conference for Educational Research) samt vid EARLI 2023. Intresset för att använda internationell storskalig data har växt internationellt, och projektmedlemmarna organiserar ett symposium vid ECER 2025 där forskare från ett tiotal länder deltar för att diskutera hur registerdata kan användas i utbildningsvetenskaplig forskning. Projektmedlemmar har även utvecklat ett samarbete med forskare vid Umeå universitet kring provmotivation och har blivit inbjudna till flera seminarier, bland annat som diskutanter vid doktorandseminarium. Kopplingen mellan PISA-data och registerdata har även väckt uppmärksamhet bland doktorander, flera av vilka planerar att använda liknande data i sina avhandlingsarbeten. Projektledaren har också fått möjlighet att besöka Nanyang Technological University i Singapore och den organisation som ansvarar för PISA där, i syfte att studera hur provmotivation förstås i olika testkulturer.
Syftet med projektet Kan vi lita på PISA-resultaten? En jämförelse med elevernas betyg och resultat i nationella prov är att undersöka aspekter av tillförlitlighet och giltighet i PISA 2018, med särskilt fokus på hur exkludering, bortfall och olika aspekter av elevers motivation och svarsmönster kan påverka resultaten. Projektplanen består av tre delprojekt, och det övergripande målet är att belysa i vilken utsträckning PISA-resultat är jämförbara mellan länder och över tid. Sedan projektstart har inga större förändringar gjorts av de ursprungliga målen, men nya frågeställningar har uppstått kring tillförlitligheten i elevers enkätsvar. Dessa nya frågor ryms inom projektets syfte och har lett till ytterligare undersökningar där PISA-elevernas enkätsvar jämförs med registerdata.
Kort om genomförandet
Projektet är uppdelat i tre delstudier som huvudsakligen följt den ursprungliga planeringen. I varje delstudie har vi analyserat data från PISA 2018 samt registerdata som täcker elevers bakgrund nationella prov och betyg. I ett tidigt skede fokuserade vi på att kartlägga hur exkludering och bortfall i PISA underskattas eller överskrider OECD:s riktlinjer, samt vilka konsekvenser detta har för länders genomsnittliga PISA-resultat. Parallellt har vi fördjupat oss i frågor om elevers motivation i PISA och hur elever med olika grad av motivation presterar på nationella prov. En hypotes var att elever generellt är mer motiverade inför ett nationellt prov, och att sambandet mellan PISA och nationella prov är starkare för de elever som är motiverade att genomföra PISA. Ett senare fokusområde är hur elevers enkätsvar stämmer överens med registerdata, exempelvis när elever rapporterar föräldrars utbildningsnivå, och hur avvikelser i rapporteringen kan påverka de analyser som använder dessa variabler.
Projektets tre viktigaste resultat och resonemang om projektets slutsatser
Betydelsen av exkludering och bortfall för länders resultat
Våra analyser visar att länders prestationer i PISA kan påverkas när exkluderingsgraden och bortfallet är högt. I exemplet med Sverige 2018 var både exkludering och bortfall omfattande, vilket enligt våra beräkningar skulle kunna sänka Sveriges resultat om man justerade för en lägre exkluderingsgrad och ett minimalt bortfall. Samtidigt är exkludering och bortfall en utmaning för många länder. Det finns dock stor variation mellan länder vad gäller dessa faktorer, vilket kan påverka de jämförelser som görs i rankingtabellerna. OECD tillåter upp till 5 % exkludering, men i många fall inkluderas länder i rapporteringen trots betydligt högre exkluderingsgrad. Resultaten belyser därmed en utmaning för OECD i hur länders resultat rapporteras och jämförs.
Elevers motivation och underprestation
Ett återkommande antagande är att vissa elever underpresterar på PISA på grund av att provet saknar konsekvenser för dem. Resultaten från våra studier visar att elever självrapporterar att de skulle ha ansträngt sig mer på PISA-provet om det haft betydelse för dem. Resultaten visar också att mer motiverade elever uppvisar ett starkare samband mellan PISA och det mer högkonsekventa nationella provet. Detta tyder på att elever med lägre motivation uppvisar större diskrepans mellan sina resultat på PISA och på nationella prov. Våra resultat indikerar dock att det endast är en mindre grupp elever som kan tänkas prestera avsevärt bättre om PISA-poängen hade påverkat deras betyg. Därför kan bristande motivation inte ensamt förklara de stora skillnader som ses mellan länder, exempelvis i jämförelser mellan Europa och Asien. Frågan om provmotivation har dock väckt stort intresse och anknyter till diskussioner om hur meningsfulla PISA-resultat är för både elever och beslutsfattare.
Ämnesspecificitet och giltighet i PISA-resultat
Genom strukturella ekvationsmodeller och jämförelser av PISA-resultat, nationella prov och ämnesbetyg har vi identifierat en särskild faktor som tycks vara specifikt kopplad till PISA. Sambanden mellan de olika PISA-ämnena är höga, medan sambanden mellan PISA-resultat och motsvarande ämnesprov eller ämnesbetyg i svenska skolämnen är lägre. Detta kan tyda på att PISA i högre grad mäter en övergripande kognitiv förmåga eller en förmåga relaterad till provformatet, snarare än de ämnesspecifika kunskaper som nationella prov och skolbetyg mäter.
Våra slutsatser understryker vikten av att beakta metodologiska aspekter vid tolkningen av resultaten i internationella kunskapsmätningar. Variationer i exkludering och bortfall kan påverka de rapporterade resultaten och därmed internationella jämförelser, särskilt med tanke på den variation som finns mellan länder. Parallellt visar våra fynd att PISA mäter ett relativt stort mått av generella kognitiva förmågor jämfört med nationella bedömningar. En ytterligare faktor rör provformatet och elevernas motivation att genomföra provet. Detta innebär att skillnader i resultat inte enbart speglar utbildningskvalitet eller elevprestation, utan även påverkas av faktorer relaterade till datainsamlingen och elevernas inställning till provet. Projektet manar därför till försiktighet vid tolkningen av internationella mätresultat, där mer nyanserade analyser krävs för att möjliggöra adekvata jämförelser över tid och mellan länder.
Nya forskningsfrågor
Projektet har genererat nya frågor om tillförlitligheten i elevers enkätsvar och vilka konsekvenser detta kan få för efterföljande analyser. Det gäller exempelvis när variabler som elevrapporterad föräldrautbildning används i regressionsmodeller eller i studier av socioekonomisk bakgrund. Vi har jämfört självrapporterad information om föräldrars utbildningsnivå med registerdata och funnit betydande avvikelser. Fortsatta analyser planeras för att undersöka hur registerdata kan användas för att validera enkätsvar.
En annan forskningsfråga rör hur negativt formulerade enkätfrågor kan påverka elevers svar och leda till systematiska mätfel, exempelvis vid skattningar av motivation. Ytterligare en fråga som väckt intresse handlar om hur elevmotivation att genomföra PISA ser ut i andra länder och utifrån olika informationskällor. En sådan källa är processdata, till exempel hur lång tid elever tillbringar på olika uppgifter, hur mycket de skriver och andra interaktioner i testsituationen. En annan möjlig källa är kvalitativa observationer, där exempelvis observatörer vittnar om hur provsituationen gått till och i vilken grad eleverna varit motiverade eller fullföljt provet.
Spridning och samverkan
Projektets resultat kommuniceras genom vetenskapligt granskade artiklar i internationella tidskrifter samt genom konferenspresentationer. Projektet har hittills resulterat i flera publikationer och ytterligare manuskript är under granskning. Alla publikationer görs tillgängliga med öppen tillgång (open access). Göteborgs universitet har avtal med flera tidskrifter som vi har publicerat i, och i vissa fall har vi betalat för open access-publicering.
Resultaten har presenterats vid utbildningsvetenskapliga konferenser som ECER (European Conference for Educational Research) samt vid EARLI 2023. Intresset för att använda internationell storskalig data har växt internationellt, och projektmedlemmarna organiserar ett symposium vid ECER 2025 där forskare från ett tiotal länder deltar för att diskutera hur registerdata kan användas i utbildningsvetenskaplig forskning. Projektmedlemmar har även utvecklat ett samarbete med forskare vid Umeå universitet kring provmotivation och har blivit inbjudna till flera seminarier, bland annat som diskutanter vid doktorandseminarium. Kopplingen mellan PISA-data och registerdata har även väckt uppmärksamhet bland doktorander, flera av vilka planerar att använda liknande data i sina avhandlingsarbeten. Projektledaren har också fått möjlighet att besöka Nanyang Technological University i Singapore och den organisation som ansvarar för PISA där, i syfte att studera hur provmotivation förstås i olika testkulturer.