Projektets syfte
Under de senaste 50 åren har ett stort antal internationella jämförelser genomförts av elevers kunskaper och färdigheter inom olika områden av organisationer som IEA och OECD, med ett växande antal deltagande länder. De insamlade materialen utgör en mycket värdefull resurs för forskningen, men av två olika skäl har deras fulla potential inte tagits till vara i forskningen. Det ena är att dessa material är svåra att hantera och analysera, och det andra är att data från de undersökningar som genomfördes före mitten av 1990-talet inte varit tillgängliga på samma enkla sätt som data från de moderna undersökningarna. Huvudsyftet med infrastrukturprojektet Compeat (Center for Comparative Analysis of Educational Achievement) har därför varit att skapa förutsättningar för analyser av data från de komparativa studierna genom att bygga upp och förbereda databaser för analys, samt genom att medverka till uppbyggnad av analyskompetens.

Projektet har i huvudsak genomförts i enlighet med de ursprungliga planerna, även om lokalisering av data, uppbyggnad och dokumentation av databaser för de tidiga IEA-undersökningarna visade sig vara mer resurskrävande än vad som förutsågs i planeringen av projektet. 

Projektets resultat
Projektets huvudresultat är att data och dokumentation har lokaliserats för de IEA-undersökningar som genomfördes 1964-1991 för praktiskt taget samtliga länder, och att lättillgängliga databaser lagts upp för åtkomst via Internet. Arbetet har bedrivits i tre olika steg. 

I det första steget har data och dokumentation lokaliserats. Data har varit förhållandevis enkla att återfinna vid arkiv vid IEAs internationella högkvarter i Amsterdam, och vid IEA Data Processing Center i Hamburg. Dessa institutioner har varit mycket tillmötesgående, både vid besök på plats och vid kommunikation via e-post. Betydligt mer möda har fått läggas på att lokalisera de instrument som användes i de olika studierna, liksom övrig dokumentation som inte föreligger i publicerad form. Även här har de nämnda arkiven varit viktiga källor, liksom även arkivet vid Institutionen för internationell pedagogik, Stockholms universitet, och inte minst de forskare som var engagerade i genomförandet av de svenska delarna av de internationella studierna.

I det andra steget har datafilerna konverterats från de ursprungliga filformaten till SPSS-format, vilket inneburit användning av olika konverteringsprogram och i vissa fall komplettering av variabelnamn och beteckningar på variabelvärden. Eftersom de internationella studierna omspänner tiden från de tidigaste stordatorerna till modern datateknik har detta arbete inneburit möte med en stor variation i statistikprogram och lagringsformat. 

I det tredje steget, slutligen, har kvalitetskontroller genomförts genom granskning av univariata frekvensfördelningar, och därefter har filerna lagts upp på hemsidan som enskilda filer för de olika länderna, liksom som komprimerade filarkiv för samtliga deltagande länder i de olika studierna. Vidare har instrument och dokumentation skannats och lagts upp på hemsidan i anslutning till datafilerna.

Totalt har mer än 750 datafiler med tillhörande dokumentation från 10 IEA studier lagts upp på hemsidan. Dessa är:

First International Mathematics Study (FIMS64) 1961-1965 (12 länder)
First International Science Study 1966-1975 (FISS70)  (17 länder)
The Study of Reading Comprehension (RC70) 1967-1973 (15 länder)
The Study of Literature Education 1966-1973 (10 länder)
The Study of English as a Foreign Language 1968-1975 (10 länder)
The Study of French as a Foreign Language 1968-1975 (10 länder)
The Study of Civics Education 1967-1975 (11 länder)
Second International Mathematics Study (SIMS80) 1976-1989 (20 länder) 
Second International Science Study (SISS84) 1979-1991 (23 länder)
Reading Literacy Study (RLS91) 1985-1994 (31 länder)

För studier genomförda från och med 1995 finns länkar till IEAs och OECDs hemsidor, från vilka data kan laddas ner.

Eftersom Compeat är ett infrastrukturprojekt har inte några egentliga forskningspublikationer producerats inom ramen för projektet. Värdet av de tillgängliggjorda data exemplifieras dock av att de redan utgjort grund för forskning. Inom ramen för ett av RJ finansierat projekt har Monica Rosén fört över resultat från fyra läsundersökningar som täcker perioden 1970 till 2006 på en och samma skala, och undersökt förändringar i läsprestation för olika länder, med intressanta resultat. Jan-Eric Gustafsson har studerat resultatutvecklingen i den svenska skolan sedan 1964, och har dragit slutsatsen att de undersökningar som genomförts före 1995 underskattat den svenska skolans resultat, på grund av att de svenska elever som ingått i urvalen gått i skolan kortare tid än elever i de flesta andra länder, trots att de varit åldersmässigt jämförbara. 

Oförutsedda tekniska och metodiska problem
Under arbetet med konvertering av data från de ursprungliga lagringsformaten uppkom en del oförutsedda tekniska problem. Dessa kunde dock lösas utan alltför stora tidsmässiga fördröjningar i genomförandet av projektet.    

Arbetets integrering i organisationen samt hur arbetet kommer att vidareföras Databaser kräver mer eller mindre kontinuerligt underhåll, bland annat därför att användning av data i olika forskningsprojekt leder till upptäckt av korrigerbara felaktigheter i data och till utveckling av nya variabelkonstruktioner, vilka bör tillfogas databasen. En förutsättning för att forskningsdatabaser skall kunna vidareutvecklas och utnyttjas fullt ut, är därför att de finns i en aktiv forskningsmiljö. Vid institutionen började forskning baserad på data från de internationella studierna bedrivas under början av 1990-talet, och har sedan dess successivt ökat i omfattning. Planerna är också att denna verksamhet skall fortsätta, och att den skall expandera ytterligare. Kvaliteten på databaserna kommer därför under de kommande åren att höjas ytterligare.    

Nya forskningsfrågor som har genererats inom projektet
Inom flera olika discipliner, såsom ekonomi, sociologi, psykologi och pedagogik, har forskare under senare år systematiskt dragit nytta av data från de internationella studierna av utbildningsresultat för att undersöka olika forskningsfrågor, med fokus på orsaker till och konsekvenser av de stora skillnaderna i utbildningsresultat mellan olika länder. Förutom den rika tillgången på data är en av anledningarna till denna forsknings framgångar att betydande metodologiska framsteg har gjorts vad gäller kausalinferens från observationsdata. Vidgningen av tillgången på data till att omfatta även de tidiga internationella studierna stärker ytterligare dessa forskningsmöjligheter. Som en fortsättning på Compeat-projektet planeras därför en ansökan till RJ om ett program med syfte dels att studera utveckling av utbildningsresultat för olika grupper från 1960-talet till nutid för Sverige och andra länder, dels att studera olika determinanter av utbildningsresultat. Analyserna kommer att fokusera både samhälleliga och utbildningsmässiga faktorer, såsom läroplaner, tidsallokering, skolstartsålder, organisatorisk differentiering, lärarkompetens, undervisningens utformning, läxor, samverkan hem-skola, och fritidsaktiviteter. 

Förmedling av projektets resultat
Information om möjligheten att få tillgång till data från de tidiga internationella undersökningarna spreds dels vid 3rd IEA International Research Conference i Taipei, 2010, dels vid 4th IEA International Research Conference, som arrangerades i Göteborg den 1-3 juli, 2010. 

Information om möjligheten att utnyttja data från de internationella studierna för sekundäranalysprojekt har också spridits vid seminarier och workshops vid Institutionen för pedagogik och didaktik. För närvarande bygger två doktorander sin forskning på data från de internationella studierna. Inom forskarutbildningskurser i mätlära med nationell rekrytering har Monica Rosén tagit utgångspunkt i problemställningar och data inom de internationella studierna.

Den i särklass viktigaste formen för förmedling av projektets resultat är dock hemsidan, eftersom den både ger information om projektet, och ger möjlighet till nedladdning av data och dokumentation. Länken till den är: www.ips.gu.se/english/Research/research_databases/compeat
    
In English:
Aims of the project
During the last 50 years, a large number of international comparisons of educational achievement in terms of knowledge and skills in different areas have been conducted by organizations such as the IEA and OECD. The data collected in these projects form a valuable resource for research, but for two different reasons, their potential has not been fully exploited. One reason is that these data are difficult to manage and analyze, and another reason is that data from studies conducted before the mid-1990s have not been accessible in the same simple way as data from the modern studies. The main aim of the infra structure project Compeat (Center for Comparative Analysis of Educational Achievement) has therefore been to improve the possibilities to take advantage of data from the comparative studies through creating and preparing databases for analysis, and through supporting development of analytical competence.

The project has largely been conducted in accordance with original plans, even though localization of data, creation and documentation of data for the early IEA-studies has proven to require more resources than was expected when the project was planned.  

Results
The main result of the project is that data and documentation has been localized for the IEA-studies that were carried out 1964-1991 for practically all countries and that easily accessible databases have been put on a webpage. The work has been conducted in three steps.

In the first step data and documentation has been localized. Data has been relatively easy to find in archives at the IEA international headquarters in Amsterdam and at the IEA Data Processing Center in Hamburg. These institutions have been very helpful, both in connection with visits and in e-mail communication. More effort has been spent on localizing the instruments used in the different studies, and the other non-published documentation. Here too the archives mentioned above have been very helpful, as has the archive at the Department of International Education, Stockholm University, and not the least so the researchers who were engaged in the conduct of the Swedish parts of the international studies.

In the second step, the data files have been converted from their original formats to the SPSS-format, through use of different format conversion programs and in some cases further information about variable and value labels has been added. Given that the international studies cover the time period from early development of computers to current technology, this work has met with a great variation in statistics programs and storage formats. 

In the third step, finally, quality has been controlled through inspection of univariate frequency distributions, and thereafter the data files have been added to the webpage as single files for individual countries, and also as compressed file archives for all participating countries for each study. Instruments and other documentation also has been scanned and put on the webpage in conjunction with the data files.

In all more than 750 data files with accompanying documentation from 10 IEA studies have been put on the webpage. These are:    
 
First International Mathematics Study (FIMS64) 1961-1965 (12 countries)
First International Science Study 1966-1975 (FISS70) (17 countries)
The Study of Reading Comprehension (RC70) 1967-1973 (15 countries)
The Study of Literature Education 1966-1973 (10 countries)
The Study of English as a Foreign Language 1968-1975 (10 countries)
The Study of French as a Foreign Language 1968-1975 (10 countries)
The Study of Civics Education 1967-1975 (11 countries)
Second International Mathematics Study (SIMS80) 1976-1989 (20 countries) 
Second International Science Study (SISS84) 1979-1991 (23 countries)
Reading Literacy Study (RLS91) 1985-1994 (31 countries)

For studies conducted from 1995 and onwards, there are links to the IEA and OECD webpages, from where data can be downloaded.

Since Compeat is an infrastructure project, no research publications as such have been produced within the project. However, the value of the data made accessible is demonstrated by the fact that they have already been used for research. Within an RJ project, Monica Rosén has put results from four studies of reading literacy onto the same scale, and has investigated changes in level of achievement for different countries, with interesting results. Jan-Eric Gustafsson has studied the development of educational achievement within Swedish comprehensive school since 1964, and has concluded that the studies conducted before 1995 have underestimated the results of the Swedish school, because the students in the Swedish samples have gone to school for a shorter period of time than students in most other countries.

Unforeseen technical problems
During the work with conversion of data from original formats of storage, some unforeseen technical problems were encountered. However, these could be solved without too much delay in the project work.

Integration of the work within the organization and continuation of the work
Databases require more or less continuous maintenance, among other things because use of data within different research projects lead to detection of amendable errors and inconsistencies in the data, and to development of new variables, which need to be added to the database. For research data bases to develop and be fully utilized it is, therefore, necessary that they are localized in an active research environment. At the department, research on data from the international studies has been conducted since the early 1990s, and the research has successively increased in scope. It has planned that this research shall continue, and that it shall expand further. The databases will thus be maintained, and their quality will be further improved.

New research questions generated within the project
Researchers within different disciplines, such as economy, sociology, education and psychology, have lately taken advantage of data from the international studies of educational achievement to investigate different issues, with a focus on determinants and consequences of the large differences in educational outcomes between different countries. In addition to the rich availability of data, one of the reasons for the success of this research is that great progress has been made in methodology for causal inferences from observational data. The widening of access of data to include also the early international studies further strengthens these research opportunities. In continuation of the Compeat project, a proposal will be submitted to RJ about a program aiming to study development of educational achievement for different groups from the 1960s until now for Sweden and other countries, and to study determinants of educational outcomes. The analyses will focus both societal and educational factors, such as curricula, allocation of time, school start age, organizational differentiation, teacher competence, modes of teaching, homework, home-school relations, and spare time activities.        

Dissemination of project results
Information about the possibilities to get access to data from the early international studies has been disseminated at the 3rd IEA International Research Conference in Taipei, 2008 and at the 4th IEA International Research Conference in Gothenburg, July 1-3, 2010.

Information about the possibilities to take advantage of the international studies for secondary analyses has also been spread at seminars and workshops at the department. Currently, two doctoral students build their research on data from these studies. Within the framework of doctoral courses on measurement with national recruitment, Monica Rosén has taken a starting point in issues and data from the international studies.

However, the most important means of dissemination of the project results is the webpage, because it both provides information about the project and opportunities to download data and documentation. The link is: 
www.ips.gu.se/english/Research/research_databases/compeat