Redovisning av projektet ”Mätning av ordförrådet i andraspråket” (MOA) 
Diarienummer: P2008-0185:1-E 

Detta projekt fokuserar på evidensbaserad bedömning av skolrelaterat ordförråd. Projektet ägde rum mellan 2009-2013, inklusive förlängd dispositionstid på ett år. Projektet är lika aktuellt idag som för 10 år sedan och dess ackumulerade kunskap har vidareutvecklats och givit närliggande forskningsprojekt Science And Literacy Teaching (SALT)-finansierat av VR, Content and Language Integration in Swedish Schools (CLISS) - finansierat av VR, ny kunskap.

Syfte, bakgrund och utveckling
Syftet med projektet var att utveckla och pröva ut webbaserade verktyg för mångdimensionell diagnostisk bedömning av skolrelaterat ordförråd i andraspråket. Den huvudsakliga forskningsfrågan har varit att ta reda på vilka lexikaliska utmaningar andraspråkselever möter i skolkontexten med avseende på en ämnesneutral och en ämnesrelaterad vokabulär i åtta skolämnen och dess ämnestexter i högstadiet. Med lexikaliska utmaningar i språket avses vilken kunskap en elev besitter vad gäller djup och bredd i ordförrådet. Den språkliga ordkunskapsmodell som projektets arbete och tillvägagångssätt bygger på är inspirerad av Nation (2013). Ytterligare aspekter som har utforskats är även lexikala nätverk och relationer mellan ord, s.k. lexikal kohesion, inspirerat av Hoey (1991).
Resultatet av de genomförda utprövningarna av de utvecklade ordtesterna visade flera skillnader i prestation, både mellan L1-elever och L2-elever. Dessutom uppvisades signifikanta skillnader mellan pojkar och flickor.

Genomförande
Projektet genomfördes i ett antal olika steg. Det empiriska textmaterialet som användes för att skapa evidensbaserad bedömning av ordförrådet i en skolkontext bestod av en textkorpus av läromedelstexter på sammanlagt drygt 1 miljon ord som skapades i forskningsprojektet OrdIL (Lindberg & Johansson Kokkinakis eds. 2007). Texterna representerade läromedel i åtta olika skolämnen, geografi, historia, religion, samhällskunskap, matematik, fysik, kemi och biologi. Med utgångspunkt ifrån denna textkorpus sammanställdes och extraherades representativa ord, både ämnesneutrala och ämnesrelaterade ord, som förekom med en viss frekvens i texterna och ämnena. 
Fem olika typer av tester skapades. Det var 1) frekvensbaserat ordförrådstest (FOT) som testar storleken/bredden på ordförrådet, 2-3) test på ordförrådets djup (TORD) som testar djupet i ordförrådet (2 st), 4) verktyg för analys av lexikal profil (VALP) samt Lexical cohesion för mätning av produktiva kvantitativa aspekter av lexikal kompetens (Collex). 
När det gäller teoretiskt ramverk som vi har använt för att beskriva vad som testas, hur det görs och hur resultat ska tolkas så har vi använt oss av Read & Chapelles ramverk för bedömning av ordförrådet i andraspråket. (Read & Chapelle 2001).  

De tre viktigaste resultaten i projektet är följande:
1) Ordkunskap kan inte bedömas ur ett enda perspektiv utan bör vara mångdimensionellt. Därför bör både ordförrådets bredd och djup analyseras. 
2) Ordkunskap kan ses ur olika perspektiv, nämligen receptiv och produktiv förmåga, kunskap om ordens form, betydelse och användning (Nation 2013) vilket innebär att de dimensioner som beskrevs i föregående punkt kan ses som olika typer av färdigheter inom en eller flera dimensioner.
3) Det finns inga homogena elevgrupper, vilket är mer aktuellt idag än någonsin. Resultaten kan skilja sig åt mellan pojkar och flickor, mellan elever som har ett annat modersmål och de som har svenska som modersmål samt mellan elever som har föräldrar med högre utbildning eller inte.  

Resonemang om slutsatser
Med tanke på dagens heterogena skolkontext, ställs större krav på lärare i språk- och ämnesundervisningen för att anpassa nivån efter elevens kunskaper än någonsin tidigare. Därför är det viktigt att använda bedömningsinstrument som redskap i skolkontexten för att underlätta framtagning av fakta om var eleven befinner sig i sin språk- och kunskapsutveckling.
Eftersom språket i samhället och i skolkontexten ständigt genomgår förändringar, så är bedömningsinstrument också färskvara. I detta projekt har därför de utvecklade bedömningsinstrumenten uppdaterats både innehållsmässigt och utseendemässigt under en lång tid. 
Att ha tillgång till empirisk data i form av läromedelskorpusar har varit avgörande för att dels kunna studera det skolrelaterade språket och vokabulären. Avsikten är att även fortsättningsvis arbeta i denna riktning med nya uppdateringar.

Nya forskningsfrågor
Vi har framför allt tre frågeställningar som har uppstått under projektets gång. 
1) I projektet används en modell för att beskriva lexikal kunskap inom vilken de tester som utvecklas i projektet också kan placeras. Modellen består av en matris med två axlar som ska beskriva olika ytterligheter: produktiv-receptiv samt kvantitativ-kvalitativ. Dessa begrepp kan definieras på olika sätt och det finns förmodligen ytterligare aspekter att lägga i en sådan modell och matris som t.ex. utveckling och förändring över tid. Modellen skulle då kunna betraktas som tredimensionell. 
2) Att resonera om hur ordförråd och lexikalisk kunskap kan beskrivas är en mycket komplex fråga. Vad är ett ord? Vi har lagt ner mycket tid på att definiera vår syn på ord och begrepp. Men i samarbete med andra forskare både på ett nationellt och ett internationellt plan, kan vi konstatera att man ofta använder begrepp som ”ordfamiljer” för att gruppera ord som kan förknippas med varandra, t.ex. morfologiskt närliggande eller avledningar och sammansättningar. Vi föredrar att använda oss av en mer detaljerad beskrivning och syn på ordbegreppet i form av olika lemman och lexem vilka är ord i grundform som skiljer sig åt i ordklass/böjningsmönster resp. betydelse. Internationellt använder man alltså ofta det vidare mer generella begreppet ”ordfamiljer” t.ex. vid beskrivning och beräkning av storlek på en individs ordförråd. Vi har kommit fram till att det inte är lämpligt att använda på icke-avancerade inlärare av ett språk med anledning av att man inte kan förutsätta kännedom om morfologisk kunskap osv. 
3) Hur kan vi skapa ett bättre samarbete med lärare som använder bedömningsinstrument på ett effektivt och tidsbesparande sätt i sin undervisning? Lärares ständiga tidsbrist och höga arbetsbelastning är problematisk då nya metoder och arbetssätt ska införas.

Spridning av forskning och resultat
Resultaten av projektet används kontinuerligt i undervisningen på grund- avancerad och forskarnivå både genom vår höjda ämneskompetens samt faktiska empiriskt baserade bedömningsinstrument. 
Vi har presenterat projektet på att antal olika nationella, nordiska och internationella konferenser, med följande bidrag: 
•    Johansson Kokkinakis S., Lindberg I., Eurosla conference 2009, Cork, Ireland, “Cross-disciplinary and Disciplinary-specific vocabulary in Secondary School Textbooks” 
•    Lindberg I., Johansson Kokkinakis S., Den 9:e konferensen om Nordens språk som andraspråk, 2009, Helsingör, Danmark, ”Diagnostiskt test av skolrelaterat ordförråd” 
•    Lindberg I., Mätning av ordförrådet i andraspråket, Symposium 2009, Genrer och funktionellt språk i teori och praktik, Stockholms universitet. 
•    Johansson Kokkinakis S., Carlund C. Konferensen ”Forum för textforskning 5” Lund 7-8 juni 2010, ”Grundskolans ämnestexter, ordförståelse och frekvensbaserat ordförrådstest” 
•    Lindberg I., Johansson Kokkinakis S., “Identification of lexical cohesive ties in secondary school textbooks”, The 16th World Congress of Applied Linguistics (AILA), 2011. 

I maj 2010 arrangerade vi en workshop tillsammans med kollegor på romanska språk vid Stockholms universitet med liknande forskningsintressen. Vi presenterade där var sitt bidrag från projektet. Vi hade även bjudit in fyra forskare med internationell bakgrund: Tom Cobb, Birgit Henriksen, Henrik Gyllstad och James Milton. 
Workshopen var välbesökt och vi fick mycket bra respons framför allt från de internationella gästerna. Workshopen ”Developing multidimensional methods for vocabulary assessment” vid Stockholms universitet 20-21 maj, 2010. Inbjudna gäster: 
•    Tom Cobb, Université du Québec à Montréal, “DDL 2.0: The challenge of homographs and frequent multi-words” 
•    Birgit Henriksen, University of Copenhagen, “Collocational knowledge - a challenge for learners but also for SLA researchers” 
•    Henrik Gyllstad, University of Lund, ”L2 vocabulary knowledge constructs and assessment - what is the way forward?” 
•    James Milton, University of Swansea, “Comparing aural and orthographic word recognition” 
•    Camilla Bardel, Stockholm University, “How many and which words are known at the CEFR levels?” 
•    Christina Lindqvist, Stockholm University, “Creating frequency bands for spoken French and Italian” 
•    Sofie Johansson, University of Gothenburg, “Lexical profiling as means for characterising subject-specific school book texts” 
•    Inger Lindberg, Stockholm University, “Assessing depth of vocabulary knowledge in secondary school” 

Referenser
Hoey, Michael. Patterns of Lexis in Text. Oxford (UK): Oxford University Press, 1991.
Lindberg, I., Johansson Kokkinakis, S., Järborg, J., & Holmegaard, M. (2007). OrdiL–en korpusbaserad kartläggning av ordförrådet i läromedel för grundskolans senare år. rapport nr.: ROSA 8.
Nation, I. S. (2013). Learning vocabulary in another language Google eBook. Cambridge University Press.
Read & Chapelle ”A framwork for second language vocabulary assessment, Language Testing, 2001, 18 (1), 1-32.