Ewa Bergqvist

Effekter på krav på läsförmåga när matematikuppgifter översätts mellan olika språk

Idag genomförs stora internationella studier (t.ex. PISA) där elevers matematikkunskaper jämförs mellan olika länder. Resultaten från dessa studier har ofta stort genomslag i media och påverkar politiska beslutsfattare och det är därför viktigt att de är rättvisande. Det finns dock studier som visar att det inte är självklart att samma matematikuppgift på två olika språk mäter samma sak, t.ex. kan elever med olika språk men med samma matematiska förmåga ha olika stora chanser att lösa en uppgift korrekt (trots att var och en får uppgiften på sitt eget språk). Ibland beror sådana skillnader på rena misstag när uppgifterna översätts, men orsaken kan också vara inneboende egenskaper hos de språk som uppgifterna formulerats i. Det kan handla om att vissa ord inte går att översätta ordagrant eller om att grammatiska strukturer som används för att formulera matematiskt innehåll har olika egenskaper i olika språk. Projektet kommer att undersöka PISA-uppgifter primärt på svenska, engelska och tyska, för att avgöra om egenskaper hos dessa språk påverkar uppgifternas krav på läsförmåga hos lösaren. Det saknas studier av uppgifter på svenska liksom i fler än två språk samtidigt och detta projekt är därför av hög vikt. Inom projektet görs statistiska analyser på sambandet mellan uppgifters formuleringar och elevers resultat i matematik och läsning i PISA. Målet är att öka förståelsen för relationen mellan matematikuppgifters språk och deras krav på elevernas läsförmåga.
Slutredovisning

Projektets syfte var att fördjupa förståelsen för relationen mellan språket i matematiska provuppgifter och uppgifternas krav på läsförmåga, både när det gäller lingvistiska aspekter av uppgifterna (t.ex. ordval och grammatiska strukturer) och när det gäller det naturliga språk som uppgifterna är formulerade i (t.ex. engelska eller svenska).

Projektet undersökte matematikuppgifter på svenska, engelska och tyska från Programme for International Student Assessment, PISA (www.oecd.org/pisa). Både kvalitativa analyser av uppgifternas formulering och statistiska analyser av elevernas resultat genomfördes.

De huvudsakliga forskningsfrågorna var:
1. I vilken utsträckning är det olika krav på läsförmåga för olika språkversioner av samma matematikuppgifter?
2. Vilka lingvistiska egenskaper hos uppgifter associeras med stora skillnader rörande krav på läsförmåga mellan olika språkversioner av samma matematikuppgift?
Det har inte skett några väsentliga förändringar av projektets syfte under projektperioden.

Projektets tre viktigaste resultat
De tre viktigaste resultaten från projektet kan sammanfattas enligt följande:
1) Ett ramverk för att jämföra matematiska uppgifter på olika språk (Bergqvist, Edmonds-Wathen & Österholm). En av projektets publikationer är ett ramverk som bidrar till metodologin för forskning om lingvistiska egenskaper som påverkar svårigheten hos uppgifter (i matematik). Ramverket kan användas för att jämföra olika språkversioner av samma uppgifter och kan vägleda planering och genomförande av framtida forskning inom området. Att kunna förklara skillnader i svårigheter hos matematikuppgifter på olika språk bidrar också till förståelsen av sambandet mellan matematik och språk både inom enskilda språk och när det gäller skillnader mellan olika språk.

2) Det finns skillnader mellan olika naturliga språk när det rör uppgifters krav på läsförmåga, som beror på inneboende egenskaper hos språken (Bergqvist, Theens & Österholm och Theens, Bergqvist & Österholm). Dessa empiriska resultat grundar sig på djupgående analyser av lingvistiska egenskaper hos PISA-uppgifter i svenska, engelska och tyska. Denna typ av analys för tre olika språk har inte gjorts tidigare. Till exempel visar våra resultat att ordlängd, som i allmänhet är mycket olika i de tre språken (orden är längst i tyska och kortast i engelska), också har olika kopplingar till krav på läsförmåga för olika språkversioner av samma uppgift. Detta resultat bidrar med mer specifik kunskap om hur vissa inneboende egenskaper hos språk kan komplicera översättningsprocesser.

3) Det finns ett samband mellan avståndet mellan naturliga språk och hur stor skillnaden i krav på läsförmåga hos matematikuppgifter är (Österholm, Bergqvist & Edmonds-Wathen). Översatta uppgifter har alltid i viss utsträckning andra egenskaper än de ursprungliga uppgifterna. Emellertid visar detta resultat att när en uppgift översätts till ett annat naturligt språk, ökar risken för att kraven på läsförmåga förändras med avståndet mellan språken. Med “avstånd mellan språk” avses här skillnader i till exempel ordförråd och grammatiska strukturer. Detta resultat bidrar därför med ny kunskap om möjliga orsaker till att översatta uppgifter inte är likvärdiga med originaluppgifterna.

Nya forskningsfrågor som har genererats genom projektet
Vi har påvisat existens av olika samband, särskilt avseende andra och tredje punkten ovan, som båda visar på inneboende egenskaper hos naturliga språk som hänger ihop med provresultat. Baserat på att det existerar sådana samband är det relevant att analysera storleken av dessa samband i förhållande till tolkningen av resultaten från internationella komparativa studier som PISA. Det vill säga, vi har genererat följande nya frågeställningar för statistiska analyser: Om, och i så fall i vilken utsträckning, påverkar dessa inneboende egenskaper hos naturliga språk rankingen av länder eller andra typer av resultat från internationella bedömningar?

Projektets internationella förankring
Projektet har varit internationellt förankrat på flera sätt:
- Referensgruppen. Projektet har haft en internationell referensgrupp med specifik språklig kompetens, särskilt i förhållande till utbildningsvetenskap, till matematik, och till de tre språken som specifikt studeras i projektet. Medlemmarna i referensgruppen är välrenommerade forskare inom området och två kommer från andra länder än Sverige.
- Prof. Candia Morgan, professor i matematikdidaktik vid University of London, England. Prof. Morgan har varit en av medlemmarna i referensgruppen för projektet. Tack vare det samarbete som därmed initierats, är hon nu ansluten till forskargruppen mer allmänt som en gästprofessor vid Umeå universitet och samarbetet fortsätter även efter att projektet är avslutat. Prof. Morgan är en av de mest erfarna forskarna kring språk i matematikundervisningen.
- En internationell postdoc (Edmonds-Wathen) från Australien har tillbringat två år som medlem av forskargruppen vid Umeå universitet. Hon har inte finansierats av Riksbankens Jubileumsfond, men har arbetat med studier och publikationer i projektet tillsammans med forskarna. Samarbetet fortsätter efter att hennes anställning i Umeå avslutats och kommer att leda till framtida gemensamma publikationer.
- Symposium on Language and Mathematics, SLaM, juni 2016, delvis finansierat av projektet. Sex internationellt välkända forskare från olika områden var inbjudna föreläsare vid symposiet: Dr. Avi Allalouf, Israel (testning och utvärdering), Prof. Richard Barwell, Kanada (matematikdidaktik), Prof. Kadriye Ercikan, Kanada (utbildningsvetenskapliga mätningar), Dr. Silvia Pixner, Österrike (psykologi), Dr. Máire Ní Ríordáin, Irland (matematikdidaktik) och Prof. Guillermo Solano-Flores, USA (utbildningsvetenskapliga bedömningar). Föreläsningarna var öppna, men projektgruppen, inklusive prof. Candia Morgan, tillbringade också 1,5 dag med de inbjudna föreläsarna med att diskutera både allmänna frågor rörande temat och särskilda frågor relaterade till forskningsprojekt. Mötet var mycket produktivt och det finns planer på fortsatt samarbete med de inbjudna föreläsarna.
- Presentationer vid internationella konferenser. Forskarna har, tillsammans med doktoranden och postdoken, gett föreläsningar om resultaten från projektet på flera internationella matematikdidaktiska konferenser. Fler presentationer av denna typ är redan planerade.
- Presentationer vid andra internationella evenemang. Doktoranden har presenterat pågående forskning och resultat från projektet vid internationella sommarskolor, internationella kurser och besök som anordnas av Forskarskolan i utbildningsvetenskap vid Umeå universitet.

Forskningsinformativa insatser utanför vetenskapssamhället
Hittills har projektet inte presenterat resultaten utanför den akademiska världen. Det finns planer på att presentera vid Matematikbiennalen i januari 2018, vilket är en stor konferens för ca 2000 matematiklärare i Sverige.

Projektets två viktigaste publikationer samt ett resonemang om dessa
Detta projekt fokuserar på matematikuppgifter, men tar också upp mer allmänna frågor kring språket i provuppgifter och potentiella problem vid översättning av testuppgifter. Vi ser följande två publikationer som de viktigaste för projektet, eftersom de har detta bredare perspektiv:
- Bergqvist, E., Edmonds-Wathen, C., & Österholm, M. A framework for comparing mathematical tasks in different languages. Manuscript to be submitted to International Journal of Educational Research.
- Österholm, M., Bergqvist, E., & Edmonds-Wathen, C. Effects of language distance in the translation of PISA tasks. Manuscript to be submitted to Journal of Educational Measurement.
Dessa publikationer adresserar första och tredje punkten i avsnittet om de viktigaste resultaten.

Projektets publiceringsstrategi samt kommentarer till denna
Projektmedlemmarna har samarbetat med forskare med finansiering från andra källor än Riksbankens Jubileumsfond, vilket har gjort det möjligt att fördjupa projektet. Baserat på samarbetet finns det flera publikationer som granskas för närvarande och även manuskript som kommer att skickas in för granskning inom kort. Projektet siktar på att publicera brett inom vetenskapliga tidskrifter inom olika forskningsområden, till exempel matematikdidaktik, pedagogik och pedagogiska mätningar. Alla tidskrifter använder peer-review och är av hög kvalitet. Projektet har också publicerat i flera konferensrapporter (med peer-review) för internationella konferenser i matematikdidaktik. Dessa konferensrapporter är registrerade som vetenskapliga publikationer på den så kallade norska listan (dbh.nsd.uib.no/publiseringskanaler/Forside), som ofta används för att mäta kvalitet inom utbildningsvetenskap, till exempel i matematikdidaktisk forskning.
     Open access säkerställs för samtliga publikationer genom parallellpublicering i DiVA, en gemensam söktjänst och ett öppet arkiv för forskningspublikationer och studentuppsatser producerade vid svenska universitet (http://www.diva-portal.org/). Endast tidskrifter som tillåter sådan parallellpublicering väljs ut för publicering av projektresultat.

Bidragsförvaltare
Umeå universitet
Diarienummer
P13-0226:1
Summa
SEK 3 489 000
Stödform
RJ Projekt
Ämne
Didaktik
År
2013