Storskalig satellitdata med flera källor för upptäckt och bedömning av skogsbränder med hjälp av djupinlärning

Earth Observation (EO) satellites have great potential in wildfire detection and assessment at fine spatial, temporal, and spectral resolutions. For a long time, satellite data have been employed to systematically monitor wildfire dynamics and assess wildfire impacts, including (i) to detect the location of actively burning spots, (ii) to map the spatial extent of the burn scars, (iii) to assess the wildfire damage levels. Active fire detection plays an important role in wildfire early warning systems. Accurate and timely burned area mapping is critical to delineate the fire perimeter and enables the analysis of fire suppression efforts and potential drivers of fire spread. Subsequently, burn severity assessment aims to infer the degree of environmental change caused by fire. Recent advances in deep learning (DL) empower the automatic interpretation of a huge amount of remote sensing data. The objective of the thesis is to employ large-scale multi-source satellite data that are publicly available, e.g., Landsat, Sentinel-1, and Sentinel-2, for detecting active fires and spatial delineation of burned areas and analyzing fire impacts using DL-based approaches. A biome-based multi-criteria approach is developed to extract unambiguous active fire pixels using the reflectance of Sentinel-2 MultiSpectral Instrument (MSI) data at a 20-m resolution. The adaptive thresholds are statistically determined from 11 million observation samples acquired over summertime across broad geographic regions and fire regimes. The primary criterion takes advantage of the significant increase in fire reflectance in Sentinel-2 band 12 (2.20 μm) relative to band 4 (0.66 μm) over representative biome property. It proves to be effective in cool smoldering fire detection. Multiple conditional constraints that threshold the reflectance of band 11 (1.61 μm) and band 12 can decrease the commission errors caused by extremely bright flames around the hot cores. The overall commission and omission errors can be kept at a relatively low level around 0.14 and 0.04, respectively. The proposed algorithm is suitable for rapid active fire detection based on uni-temporal imagery without the requirement of time series. Burned area mapping algorithms have been developed based on Landsat series, Sentinel-2 MSI, and Sentinel-1 SAR data. On one hand, the thesis expounds on the capability of DL-based methods for automatically mapping burn scars from uni-temporal (post-fire) Sentinel-2 imagery. The validation results demonstrate that deep semantic segmentation algorithms outperform traditional machine learning (ML) methods (e.g., random forest) and threshold-based methods (empirical and automatic) in detecting compact burn scars. When directly transferred to corresponding Landsat-8 test data, HRNet preserves the high accuracy. On the other hand, a large-scale annotated dataset for wildfire analysis (SAR-OPT-Wildfire) is proposed, which includes bi-temporal Sentinel-1 SAR imagery, Sentinel-2 MSI imagery, and rasterized fire perimeters across over 300 large wildfire events in Canada. These multi-source data are used for burned area mapping under three UNet-based change detection architectures, i.e., Early Fusion (EF) and two Siamese (Siam) variants. UNet-EF achieves the highest IoU score on Sentinel-1 data, while UNet-Siam-Difference performs best on the Sentinel-2 data with weight-sharing encoders. Bi-temporal scenes can significantly boost the IoU score to 0.86 and 0.80 for Sentinel-2 and Sentinel-1, respectively. By fusing bi-temporal Sentinel-1 backscatter with Sentinel-2 data, no improvement is observed compared to standalone optical-based results. This multi-source integration may provide new opportunities for near real-time wildfire progression mapping and could reduce the impacts of cloud cover. Mapping burn severity with multispectral satellite data is typically performed through classifying bi-temporal indices (e.g., dNBR and RdNBR) using thresholds derived from parametric models incorporating field measures. The thesis re-organizes a large-scale Landsat-based bi-temporal burn severity dataset (LandSat-BSA) through visual data cleaning based on annotated MTBS data (around 1000 large fire events across the United States). The study emphasizes that multi-class semantic segmentation architectures can approximate the thresholding techniques used extensively for burn severity assessment. Specifically, UNet-like models substantially outperform other region-based CNN and Transformer-based models. Combined with the online hard example mining algorithm, Attention UNet can achieve the highest mIoU (0.7832) and Kappa coefficient close to 0.9. The bi-temporal inputs with multispectral bands and ancillary spectral indices perform much better than the uni-temporal inputs. When transferred to the Sentinel-2 data, Attention UNet maintains a Kappa value over 0.815 with high overall accuracy after the scaling operation. Considering that SAR can effectively penetrate clouds and images under all-weather conditions during day and night, complementary use of both optical and SAR data is investigated for precise interpretation of fire-induced sites. Nevertheless, the widely used burn-sensitive spectral indices cannot be applied to SAR data because of the inherent difference between optical and SAR sensors in physical imaging mechanisms. The thesis proposes a new wildfire mapping framework by transforming SAR and optical data into a common domain based on Generative Adversarial Networks. Several experiments are conducted on the paired Sentinel-1 and Sentinel-2 images (SAR-OPT-Wildfire) using the ResNet-based Pix2Pix model. Translated optical images from SAR images preserve similar spectral characteristics and the corresponding generated spectral indices (i.e., dNBR, RdNBR, and Relativized Burn Ratio) also show good agreement with real optical ones. Regarding burned area detection using the generated indices, their medium values of the area under the receiver operating characteristics curves are over 0.85, which achieves competitive performance against the truly optical-based indices and significantly outperforms SAR-based ones. Furthermore, the derived burn severity maps from multi-source data can reach high accuracy (Kappa coefficient: 0.77). This study validates the feasibility and effectiveness of SAR-to-optical translation for the wildfire impacts assessment, which may have the potential to promote the multi-source fusion of optical and SAR data. This thesis contributes to the development of approaches for detecting, mapping, and assessing wildfire through the large-scale publicly available EO data across fire-prone regions around the world. The research output compiled in this thesis demonstrates that the open-access medium-resolution EO data are convenient and efficient to monitor wildfires and assess the impact of fire damage. The frameworks developed in this thesis can be easily adapted to other SAR or optical data. The thesis mainly demonstrates that DL models can make full use of contextual information and capture spatial details on multiple scales from fire-sensitive spectral bands to map burned areas or burn severity. Combining with multi-source data will substantially increase the temporal observation frequency. The future work will focus on improving the generalization capability of DL models in wildfire applications by exploiting more diverse and complex study areas and the use of multi-frequency SAR (Sentinel-1 in C band, PALSAR-2 in L band, and future Biomass in P band) and multispectral data (Landsat-8, Landsat-9, and Sentinel-2). Jordobservationssatelliter (EO) har stor potential för detektering och bedömning av skogsbränder vid fina rumsliga, tidsmässiga och spektrala upplösningar. Under lång tid har satellitdata använts för att systematiskt övervaka bränders dynamik och bedöma effekterna av skogsbränder, inklusive (i) för att upptäcka platsen för aktivt brinnande fläckar, (ii) för att kartlägga den rumsliga omfattningen av brännärren, (iii) för att bedöma skadenivåerna vid skogsbrand. Aktiv branddetektering spelar en viktig roll i system för tidig varning för skogsbränder. Noggrann kartläggning av brända områden i rätt tid är avgörande för att avgränsa brandens omkrets och möjliggör analys av brandbekämpningsinsatser och potentiella orsaker till brandspridning. Därefter syftar bedömningen av brännskador till att sluta sig till graden av miljöförändringar orsakade av brand. De senaste framstegen inom djupinlärning (DL) möjliggör automatisk tolkning av en enorm mängd fjärranalysdata. Syftet med avhandlingen är att använda storskalig satellitdata från flera källor som är allmänt tillgänglig, t.ex., Landsat, Sentinel-1 och Sentinel-2, för att upptäcka aktiva bränder och rumslig avgränsning av brända områden och analysera brandpåverkan med DL-baserade metoder. En biombaserad multikriteria-metod har utvecklats för att extrahera entydiga aktiva brandpixlar med hjälp av reflektansen av Sentinel-2 MultiSpectral Instrument (MSI)-data vid en 20-m upplösning. De adaptiva tröskelvärdena bestäms statistiskt från 11 miljoner observationsprover som förvärvats under sommaren över breda geografiska regioner och brandregimer. Det primära kriteriet drar fördel av den signifikanta ökningen av brandreflektans i Sentinel-2 band 12 (2,20 μm) i förhållande till band 4 (0,66 μm) jämfört med representativ biomegenskap. Det visar sig vara effektivt för att upptäcka sval glödande brand. Flera villkorliga begränsningar som trösklar reflektansen för band 11 (1,61 μm) och band 12 kan minska de kommissionsfel som orsakas av extremt ljusa lågor runt de heta kärnorna. De totala provisions- och underlåtelsefelen kan hållas på en relativt låg nivå kring 0,14 respektive 0,04. Den föreslagna algoritmen är lämplig för snabb aktiv branddetektering baserad på entidsbilder utan krav på tidsserier. Algoritmer för kartläggning av brända områden har utvecklats baserat på Landsat-serien, Sentinel-2 MSI och Sentinel-1 SAR-data. Å ena sidan förklarar avhandlingen förmågan hos DL-baserade metoder för att automatiskt kartlägga brännärr från en-temporala (post-fire) Sentinel-2-bilder. Valideringsresultaten visar att algoritmer för djup semantisk segmentering överträffar traditionella metoder för maskininlärning (ML) (t.ex., random forest) och tröskelbaserade metoder (empiriska och automatiska) för att upptäcka kompakta brännskador. När den överförs direkt till motsvarande Landsat-8-testdata dominerar HRNet och bevarar den höga noggrannheten. Å andra sidan föreslås en storskalig kommenterad datauppsättning för analys av skogsbränder (SAR-OPT-Wildfire), som inkluderar bi-temporala Sentinel-1 SAR-bilder, Sentinel-2 MSI-bilder och rastrerade brandperimetrar över över 300 stora skogsbränder händelser i Kanada. Dessa multikälldata används för kartläggning av brända områden under tre UNet-baserade ändringsdetekteringsarkitekturer, i.e., Early Fusion (EF) och två siamesiska (Siam) varianter. UNet-EF uppnår högsta IoU-poäng på Sentinel-1-data, medan UNet-Siam-Difference presterar bäst på Sentinel-2-data med viktdelningskodare. Bi-temporala scener kan avsevärt öka IoU-poängen till 0,86 och 0,80 för Sentinel-2 respektive Sentinel-1. Genom att sammansmälta bi-temporal Sentinel-1 backscatter med Sentinel-2-data observeras ingen förbättring jämfört med fristående optiskt baserade resultat. Denna integration med flera källor kan ge nya möjligheter för kartläggning av fortskridande av skogsbränder i nästan realtid och för att minska effekterna av molntäcke. Kartläggning av brännskador med multispektrala satellitdata utförs vanligtvis genom att klassificera bi-temporala index (t.ex., dNBR och RdNBR) med hjälp av trösklar härledda från parametriska modeller som inkluderar fältmått. Avhandlingen omorganiserar en storskalig Landsat-baserad datauppsättning för bi-temporal brännskada (LandSat-BSA) genom visuell datarensning baserad på kommenterade MTBS-data (cirka 1000 stora brandhändelser över hela USA). Studien betonar att flerklassiga semantiska segmenteringsarkitekturer kan approximera de tröskeltekniker som används i stor utsträckning för bedömning av brännskador. Specifikt överträffar UNet-liknande modeller avsevärt andra regionbaserade CNN- och transformatorbaserade modeller. I kombination med den hårda gruvalgoritmen online kan Attention UNet uppnå den högsta mIoU (0,7832) och Kappa-koefficienten nära 0,9. De bi-temporala ingångarna med multispektrala band och underordnade spektrala index presterar mycket bättre än de en-temporala ingångarna. När den överförs till Sentinel-2-data, bibehåller Attention UNet ett Kappa-värde över 0,815 med hög övergripande noggrannhet efter skalningsoperationen. Med tanke på att SAR effektivt kan penetrera moln och bilder under alla väderförhållanden under dag och natt, undersöks kompletterande användning av både optisk och SAR-data för exakt tolkning av brand-inducerade platser. Icke desto mindre kan de allmänt använda brännkänsliga spektrala indexen inte tillämpas på SAR-data på grund av den inneboende skillnaden mellan optiska och SAR-sensorer i fysiska avbildningsmekanismer. Avhandlingen föreslår ett nytt ramverk för kartläggning av skogsbränder genom att omvandla SAR och optisk data till en gemensam domän baserad på Generative Adversarial Networks. Flera experiment utförs på de parade Sentinel-1- och Sentinel-2-bilderna (SAR-OPT-Wildfire) med den ResNet-baserade Pix2Pix-modellen. Översatta optiska bilder från SAR-bilder bevarar liknande spektrala egenskaper och motsvarande genererade spektrala index (i.e., dNBR, RdNBR och Relativized Burn Ratio) visar också god överensstämmelse med verkliga optiska. När det gäller detektering av bränt område med de genererade indexen, är deras medelvärden för arean under mottagarens funktionskurvor över 0,85, vilket uppnår konkurrenskraftiga prestanda mot de verkligt optiskt baserade indexen och avsevärt bättre än SAR-baserade. Dessutom kan de härledda bränningsgradskartorna från data från flera källor nå hög noggrannhet (Kappa-koefficient: 0,77). Den här studien validerar genomförbarheten och effektiviteten av SAR-till-optisk översättning för konsekvensbedömningen av skogsbränder, som kan ha potential att främja fusion av optisk och SAR-data med flera källor. Den här avhandlingen bidrar till utvecklingen av metoder för att upptäcka, kartlägga och utvärdera skogsbränder genom storskalig allmänt tillgänglig EO-data över brandutsatta regioner runt om i världen. Forskningsresultatet som sammanställts i denna avhandling visar att öppen tillgång med medelupplösning EO-data är bekväma och effektiva för att övervaka skogsbränder och bedöma effekterna av brandskador. De ramverk som utvecklats i denna forskning kan enkelt överföras till annan SAR eller optisk data. Avhandlingen visar huvudsakligen att DL-modeller kan dra full nytta av kontextuell information och fånga rumsliga detaljer på flera skalor från brandkänsliga spektralband till kartläggning av brända områden eller brännskador. Integrering med data från flera källor kommer att avsevärt öka den tidsmässiga observationsfrekvensen. Det framtida arbetet kommer att fokusera på att förbättra generaliseringsförmågan hos DL-modeller i applikationer för skogsbränder genom att utnyttja mer varierande och komplexa studieområden och användningen av olika SAR-våglängder (Sentinel-1 C-band, PALSAR-2 L-band och framtida Biomass P-band) och multispektral data (Landsat-8, Landsat-9 och Sentinel-2). QC220517