60 år av globala miljöförändringar 1939-1999: digitalisering av 1,6 miljoner historiska flygbilder
Den globala miljön har förändrats till oigenkännlighet under det senaste århundradet. Världen står således inför nya utmaningar i förvaltandet av naturresurser, inklusive förlusten av biologisk mångfald och klimatförändringar. För att utforma effektiva handlingsprogram krävs kunskap om de bakomliggande orsakssambanden som skapar långsiktig miljöförändring. För att förstå vad långsiktiga miljöförändringar innebär måste vi dock kunna mäta dem. Satellitbilder ger oss möjlighet att mäta miljöförändringar sedan början av 1970-talet, men vi har hittills inte kunnat analysera långsiktiga och storskaliga förändringar som går längre tillbaka i tiden.
I samarbete med Bodleian Library i Oxford och National Collection of Aerial Photography i Edinburgh kommer vi att digitalisera, bearbeta och tillgängligöra ett unikt arkiv med 1,6 miljoner flygfoton över dagens utvecklingsländer som går tillbaka till 1930-talet. Hittills har tillgången till arkivet varit ytterst begränsad men genom projektet kommer informationen vara tillgänglig i en digital databas på nätet där allmänheten kan följa miljöförändringar från början av andra världskriget eller från och med tiden runt avkolonialiseringen. Databasen förlänger studiet av miljöförändringar med över 30 år eller mer än 50 procent och förväntas bidra med central kunskap inom geologi, historia, arkeologi, utvecklingsstudier, ekologi och klimatologi. Framförallt kommer den möjliggöra nya studier av förhållandet mellan utveckling och miljö.
Slutredovisning
Syfte
Under det senaste århundradet har den globala miljön förändrats radikalt. Världen står inför nya utmaningar i förvaltandet av naturresurser, inklusive förlusten av biologisk mångfald, snabb och oplanerad urbanisering, avskogning och klimatförändringar. För att utforma effektiva handlingsprogram krävs kunskap om de bakomliggande orsakssambanden som driver långsiktiga miljöförändringar. För att kunna förstå dessa långsiktiga miljöförändringar måste vi först kunna mäta dem. Satellitbilder ger oss möjlighet att mäta miljöförändringar sedan början av 1970-talet, men hittills har vi inte kunnat analysera långsiktiga och storskaliga förändringar längre tillbaka i tiden, särskilt i regioner där administrativa data är begränsade. Det är här vårt projekt kommer in. I samarbete med National Collection of Aerial Photography (NCAP) i Edinburgh har projektet digitaliserat, bearbetat och börjat tillgängliggöra ett unikt arkiv med cirka 1,7 miljoner historiska flygfoton från 65 utvecklingsländer, insamlade mellan 1930-talets slut och 1990-talet av brittiska Department of Overseas Surveys. Tillgängliggörandet av databasen kommer att utöka den tillgängliga tidsperioden för studiet av globala miljöförändringar med mellan 30 och 60 år eller mer än 50 procent.
Resultat hittills
I projektets första steg omvandlades de fysiska fotografierna till digitala bilder. Trots de betydande utmaningar som Covid-pandemin medförde lyckades vår samarbetspartner NCAP utveckla en ny robotiserad bearbetningskedja som automatiserar digitaliseringen av arkivet. Vi uppskattar att denna lösning leder till en trettiofaldig ökning av personalens produktivitet. För att utveckla och driftsätta processen krävdes inte bara omfattande forsknings- och utvecklingsarbete, utan också en totalrenovering av en industrilokal anpassad för robotlösningen, där ett system av luftslussar bibehåller ett svagt övertryck som säkerställer stabila förhållanden för skanningen. NCAP slutförde digitaliseringen av samtliga 1,7 miljoner bilder under 2023.
Det andra steget i projektet är att sammanfoga och positionsbestämma bilderna i georefererade mosaiker som sedan kan jämföras med moderna satellitbilder för att följa förändringar över tid. Vår forskargrupp har utvecklat en ny metod för att “sy ihop” och georeferera stora arkiv av flygfoton. Metoden kan skapa mosaiker av flygbilder helt utan metadata, genom att använda igenkännbara särdrag i de överlappande bilderna för att identifiera matchningar och sammanfoga dem till mosaiker. Då flygfoton överlappar avsiktligt, gör detta metoden genomförbar, även om den är extremt beräkningskrävande. Metoden kan anpassas för att utnyttja tillgängliga metadata, som positionsdata för en delmängd bilder eller den ungefärliga kartläggningen av flyguppdraget utifrån så kallade flygruttsplaner, dvs. skisser över flygvägarna som dokumenterades vid fotograferingen. Vi tillämpar metoden först på bilderna från Afrika, som utgör över 60 procent av arkivet. Då omkring 10 procent av bilderna saknar metadata är bearbetningen mycket tidskrävande. Arbetet med mosaikerna pågår fortfarande, men vi har hittills sammanställt 108 fullständigt georefererade mosaiker för 12 länder, baserade på över 335 000 enskilda bilder.
I projektets sista steg omvandlar vi den ostrukturerade informationen i bilderna till strukturerade data som forskare kan analysera. Vi har utvecklat en maskininlärningsprocess som omvandlar råbilder till prediktioner, vilka sedan sammanfogas till ett dataset i nationell skala utifrån information vi fick fram i projektets andra steg. Med stöd av ett programanslag från Riksbankens Jubileumsfond utvecklar vi detaljerade kartor över markanvändning, befolkningstäthet, förmögenhetsmått och bebyggda områden. Bland dessa projekt har arbetet med att upptäcka byggnader i städer kommit längst. Hittills har vi skapat 148 detaljerade kartor över byggnader i 95 städer i 12 länder från 1900-talets andra hälft, med en prediktionsprecision som motsvarar eller överträffar de mest avancerade modellerna för moderna högupplösta satellitbilder.
Användning av infrastrukturen och påbörjad forskning
Den infrastruktur vi tagit fram är ännu inte fullt offentligt tillgänglig, men vårt team använder redan nu kartorna med prediktioner i flera pågående forskningsprojekt. Projekten studerar bland annat anpassningen till långsiktiga klimatförändringar, kolonialismens arv i Afrika och drivkrafterna bakom städers tillväxt och form. Mer allmänt förväntar vi oss att dessa data kommer till nytta inom vitt skilda områden, som miljöhistoria, geomorfologi, klimatologi, arkeologi och urbanforskning.
Oförutsedda tekniska och metodologiska problem och avvikelser från den ursprungliga planen
Projektet har krävt utveckling av helt nya teknologier och metoder i varje delfas. Tidigare forskning som använt flygfoton för att exempelvis spåra förändringar i markanvändning har omfattat 1 400 bilder. Detta kan jämföras med vår mindre pilotstudie i Karibien som ensam omfattade 6 000 bilder, vilket motsvarar en 4-faldig ökning. De mosaiker vi nu utvecklar innebär i sin tur en 700-faldig ökning jämfört med tidigare studier. Att ta projektet så långt förbi den teknologiska frontlinjen har därför krävt extra tid, förutom de förseningar som orsakades av Covid-pandemin. Samtidigt har vi framgångsrikt övervunnit många av de utmaningar som uppstått under resans gång.
Långsiktigt tillgänglig infrastruktur
De dataset vi skapar inkluderar mer än 400 terabyte råa skannade flygfotografier och över 200 terabyte mosaiker. Att lagra och underhålla åtkomst till dessa data är en utmaning.
I enlighet med vårt dataanvändningsavtal kvarstår ansvaret för de råa skannade flygfotografierna hos NCAP, som är deras officiella förvaltare. NCAP har utvecklat en ny webbplats (https://www.ncap.org/) för att hantera de enorma datavolymer som uppstått genom projektets storskaliga digitalisering. Bilderna blir tillgängliga via denna webbplats under det kommande året. Mosaikerna från steg två gör det sedan möjligt att hitta specifika råbilder och rikta fokus mot ett mindre geografiskt område. Då NCAP är en offentlig organisation med krav på kostnadstäckning kommer användare som vill få tillgång till de råa bildfilerna att debiteras en mindre avgift, vilken finansierar underhåll och drift av webbplatsen.
De georefererade mosaikerna kommer att distribueras på flera sätt. För det första har Stockholms universitet åtagit sig att tillhandahålla långsiktig finansiering för att data ska kunna lagras permanent på Sunet Drive, en Amazon S3-lagringstjänst som administreras av Sunet, som är en del av Vetenskapsrådet. Sunet Drive finansieras av Stockholms universitetsbibliotek och utgör universitetets huvudsakliga lagringstjänst för forskningsdata, medan den praktiska hanteringen sköts av personal vid universitetsbiblioteket. Data kommer att göras tillgängliga via Open Science Framework (OSF) genom en direkt koppling mellan en metadatapost på OSF och lagringen i Sunet Drive. Via gränssnittet i OSF kan användare ladda ner mosaiker för specifika länder eller regioner. Detta garanterar fri och långsiktigt hållbar tillgång till mosaikerna, även om det inte är den mest användarvänliga lösningen. För det andra gör vi data tillgängliga via Google Earth Engine (GEE), vilket låter användare enkelt integrera mosaikerna i analyser av geografiska data. Denna lösning är inte helt färdigutvecklad och vi arbetar fortfarande med en långsiktig finansieringsplan, eftersom GEE:s villkor nyligen ändrats. För det tredje har vi tagit fram en prototyp av ett MapBox-liknande gränssnitt som gör det enkelt för allmänheten att utforska mosaikerna och studera förändringar över tid. Denna produkt är fortfarande under utveckling. All åtkomst till mosaikerna kommer att ske under en Creative Commons NC-BY-licens, enligt vårt dataanvändningsavtal. Ett sökverktyg med information om mosaikernas geografiska täckning kommer att bistå användarna med att hitta områden som intresserar dem.
Slutligen kommer de bearbetade dataprodukterna – exempelvis kartorna med byggnader som hittills producerats (cirka 800 megabyte) – att göras tillgängliga via Google Earth Engine under Creative Commons BY-licenser.
Internationella samarbeten
Projektet leds gemensamt av Hannah Druckenmiller (California Institute of Technology), Solomon Hsiang (Stanford University), Andreas Madestam (Stockholms universitet) och Anna Tompsett (Stockholms universitet och Beijer Institute for Ecological Economics) samt Allan Williams (NCAP). I projektgruppen ingår även forskare från Göteborgs universitet, MIT och UC Berkeley.
Publikationer
Noda, E., Huang, L. Y., Chong, T., Jain, S., Madestam, A., Tompsett, A., Druckenmiller, H., & Hsiang, S. (2024, December). A machine-learning pipeline for merging and georeferencing very large archives of historical aerial photographs. In 2024 IEEE International Conference on Big Data (BigData) (pp. 74-83). IEEE.
Masson, S., Potts, A., Williams, A., Berggreen, S., McLaren, K., Martin, S., Noda, E., Nordfors, N., Ruecroft, N., Druckenmiller, H., Hsiang, S., Madestam, A., & Tompsett, A. (2025). A robot-assisted pipeline to rapidly scan 1.7 million historical aerial photographs.
Under det senaste århundradet har den globala miljön förändrats radikalt. Världen står inför nya utmaningar i förvaltandet av naturresurser, inklusive förlusten av biologisk mångfald, snabb och oplanerad urbanisering, avskogning och klimatförändringar. För att utforma effektiva handlingsprogram krävs kunskap om de bakomliggande orsakssambanden som driver långsiktiga miljöförändringar. För att kunna förstå dessa långsiktiga miljöförändringar måste vi först kunna mäta dem. Satellitbilder ger oss möjlighet att mäta miljöförändringar sedan början av 1970-talet, men hittills har vi inte kunnat analysera långsiktiga och storskaliga förändringar längre tillbaka i tiden, särskilt i regioner där administrativa data är begränsade. Det är här vårt projekt kommer in. I samarbete med National Collection of Aerial Photography (NCAP) i Edinburgh har projektet digitaliserat, bearbetat och börjat tillgängliggöra ett unikt arkiv med cirka 1,7 miljoner historiska flygfoton från 65 utvecklingsländer, insamlade mellan 1930-talets slut och 1990-talet av brittiska Department of Overseas Surveys. Tillgängliggörandet av databasen kommer att utöka den tillgängliga tidsperioden för studiet av globala miljöförändringar med mellan 30 och 60 år eller mer än 50 procent.
Resultat hittills
I projektets första steg omvandlades de fysiska fotografierna till digitala bilder. Trots de betydande utmaningar som Covid-pandemin medförde lyckades vår samarbetspartner NCAP utveckla en ny robotiserad bearbetningskedja som automatiserar digitaliseringen av arkivet. Vi uppskattar att denna lösning leder till en trettiofaldig ökning av personalens produktivitet. För att utveckla och driftsätta processen krävdes inte bara omfattande forsknings- och utvecklingsarbete, utan också en totalrenovering av en industrilokal anpassad för robotlösningen, där ett system av luftslussar bibehåller ett svagt övertryck som säkerställer stabila förhållanden för skanningen. NCAP slutförde digitaliseringen av samtliga 1,7 miljoner bilder under 2023.
Det andra steget i projektet är att sammanfoga och positionsbestämma bilderna i georefererade mosaiker som sedan kan jämföras med moderna satellitbilder för att följa förändringar över tid. Vår forskargrupp har utvecklat en ny metod för att “sy ihop” och georeferera stora arkiv av flygfoton. Metoden kan skapa mosaiker av flygbilder helt utan metadata, genom att använda igenkännbara särdrag i de överlappande bilderna för att identifiera matchningar och sammanfoga dem till mosaiker. Då flygfoton överlappar avsiktligt, gör detta metoden genomförbar, även om den är extremt beräkningskrävande. Metoden kan anpassas för att utnyttja tillgängliga metadata, som positionsdata för en delmängd bilder eller den ungefärliga kartläggningen av flyguppdraget utifrån så kallade flygruttsplaner, dvs. skisser över flygvägarna som dokumenterades vid fotograferingen. Vi tillämpar metoden först på bilderna från Afrika, som utgör över 60 procent av arkivet. Då omkring 10 procent av bilderna saknar metadata är bearbetningen mycket tidskrävande. Arbetet med mosaikerna pågår fortfarande, men vi har hittills sammanställt 108 fullständigt georefererade mosaiker för 12 länder, baserade på över 335 000 enskilda bilder.
I projektets sista steg omvandlar vi den ostrukturerade informationen i bilderna till strukturerade data som forskare kan analysera. Vi har utvecklat en maskininlärningsprocess som omvandlar råbilder till prediktioner, vilka sedan sammanfogas till ett dataset i nationell skala utifrån information vi fick fram i projektets andra steg. Med stöd av ett programanslag från Riksbankens Jubileumsfond utvecklar vi detaljerade kartor över markanvändning, befolkningstäthet, förmögenhetsmått och bebyggda områden. Bland dessa projekt har arbetet med att upptäcka byggnader i städer kommit längst. Hittills har vi skapat 148 detaljerade kartor över byggnader i 95 städer i 12 länder från 1900-talets andra hälft, med en prediktionsprecision som motsvarar eller överträffar de mest avancerade modellerna för moderna högupplösta satellitbilder.
Användning av infrastrukturen och påbörjad forskning
Den infrastruktur vi tagit fram är ännu inte fullt offentligt tillgänglig, men vårt team använder redan nu kartorna med prediktioner i flera pågående forskningsprojekt. Projekten studerar bland annat anpassningen till långsiktiga klimatförändringar, kolonialismens arv i Afrika och drivkrafterna bakom städers tillväxt och form. Mer allmänt förväntar vi oss att dessa data kommer till nytta inom vitt skilda områden, som miljöhistoria, geomorfologi, klimatologi, arkeologi och urbanforskning.
Oförutsedda tekniska och metodologiska problem och avvikelser från den ursprungliga planen
Projektet har krävt utveckling av helt nya teknologier och metoder i varje delfas. Tidigare forskning som använt flygfoton för att exempelvis spåra förändringar i markanvändning har omfattat 1 400 bilder. Detta kan jämföras med vår mindre pilotstudie i Karibien som ensam omfattade 6 000 bilder, vilket motsvarar en 4-faldig ökning. De mosaiker vi nu utvecklar innebär i sin tur en 700-faldig ökning jämfört med tidigare studier. Att ta projektet så långt förbi den teknologiska frontlinjen har därför krävt extra tid, förutom de förseningar som orsakades av Covid-pandemin. Samtidigt har vi framgångsrikt övervunnit många av de utmaningar som uppstått under resans gång.
Långsiktigt tillgänglig infrastruktur
De dataset vi skapar inkluderar mer än 400 terabyte råa skannade flygfotografier och över 200 terabyte mosaiker. Att lagra och underhålla åtkomst till dessa data är en utmaning.
I enlighet med vårt dataanvändningsavtal kvarstår ansvaret för de råa skannade flygfotografierna hos NCAP, som är deras officiella förvaltare. NCAP har utvecklat en ny webbplats (https://www.ncap.org/) för att hantera de enorma datavolymer som uppstått genom projektets storskaliga digitalisering. Bilderna blir tillgängliga via denna webbplats under det kommande året. Mosaikerna från steg två gör det sedan möjligt att hitta specifika råbilder och rikta fokus mot ett mindre geografiskt område. Då NCAP är en offentlig organisation med krav på kostnadstäckning kommer användare som vill få tillgång till de råa bildfilerna att debiteras en mindre avgift, vilken finansierar underhåll och drift av webbplatsen.
De georefererade mosaikerna kommer att distribueras på flera sätt. För det första har Stockholms universitet åtagit sig att tillhandahålla långsiktig finansiering för att data ska kunna lagras permanent på Sunet Drive, en Amazon S3-lagringstjänst som administreras av Sunet, som är en del av Vetenskapsrådet. Sunet Drive finansieras av Stockholms universitetsbibliotek och utgör universitetets huvudsakliga lagringstjänst för forskningsdata, medan den praktiska hanteringen sköts av personal vid universitetsbiblioteket. Data kommer att göras tillgängliga via Open Science Framework (OSF) genom en direkt koppling mellan en metadatapost på OSF och lagringen i Sunet Drive. Via gränssnittet i OSF kan användare ladda ner mosaiker för specifika länder eller regioner. Detta garanterar fri och långsiktigt hållbar tillgång till mosaikerna, även om det inte är den mest användarvänliga lösningen. För det andra gör vi data tillgängliga via Google Earth Engine (GEE), vilket låter användare enkelt integrera mosaikerna i analyser av geografiska data. Denna lösning är inte helt färdigutvecklad och vi arbetar fortfarande med en långsiktig finansieringsplan, eftersom GEE:s villkor nyligen ändrats. För det tredje har vi tagit fram en prototyp av ett MapBox-liknande gränssnitt som gör det enkelt för allmänheten att utforska mosaikerna och studera förändringar över tid. Denna produkt är fortfarande under utveckling. All åtkomst till mosaikerna kommer att ske under en Creative Commons NC-BY-licens, enligt vårt dataanvändningsavtal. Ett sökverktyg med information om mosaikernas geografiska täckning kommer att bistå användarna med att hitta områden som intresserar dem.
Slutligen kommer de bearbetade dataprodukterna – exempelvis kartorna med byggnader som hittills producerats (cirka 800 megabyte) – att göras tillgängliga via Google Earth Engine under Creative Commons BY-licenser.
Internationella samarbeten
Projektet leds gemensamt av Hannah Druckenmiller (California Institute of Technology), Solomon Hsiang (Stanford University), Andreas Madestam (Stockholms universitet) och Anna Tompsett (Stockholms universitet och Beijer Institute for Ecological Economics) samt Allan Williams (NCAP). I projektgruppen ingår även forskare från Göteborgs universitet, MIT och UC Berkeley.
Publikationer
Noda, E., Huang, L. Y., Chong, T., Jain, S., Madestam, A., Tompsett, A., Druckenmiller, H., & Hsiang, S. (2024, December). A machine-learning pipeline for merging and georeferencing very large archives of historical aerial photographs. In 2024 IEEE International Conference on Big Data (BigData) (pp. 74-83). IEEE.
Masson, S., Potts, A., Williams, A., Berggreen, S., McLaren, K., Martin, S., Noda, E., Nordfors, N., Ruecroft, N., Druckenmiller, H., Hsiang, S., Madestam, A., & Tompsett, A. (2025). A robot-assisted pipeline to rapidly scan 1.7 million historical aerial photographs.