Search

Å anskaffe tilgang til sanne takkonstruksjonener av bygninger i form av digitale 3D-modeller er et sårt tiltrengt og naturlig neste skritt fra dagens tilstand av digitale byer, siden det muliggjør flere nye applikasjoner innen felt som visualisering, simulering og smarte byer. Konvensjonelt kan prosessen med å lage slike modeller gjøres ved å rekonstruere 3D-takmodeller fra flybårne laserskan- ningspunktskyer i fem hovedtrinn: bygningstakdeteksjon, takplansegmentering, kantomriss utvin- ning fra taksegmentene, regularisering og topologisk justering av polygoner fra taksegmentene, og modellering i CityGML. Denne masteroppgaven foreslår et nytt datadrevet rammeverk som direkte trekker ut kantpunktene til bygningstakkonstruksjoner fra flybårne laserskanningspunkt- skyer og dermed fjerner trinnet med takplansegmentering. Ved å fjerne dette trinnet reduserer vi de beregningsmessige kostnadene og den nødvendige størrelsen på treningsdatasettet kraftig. Ram- meverket vårt er også mye mer generaliserbart, siden det ikke er begrenset av et forhåndsbestemt sett med segmenteringsprimitiver. Tjue metoder for å utvinne attributter fra punktskyer ble studert og utforsket, og den første de- len av rammeverket vårt er basert på en undergruppe av disse metodene. Attributtverdier for hvert punkt i bygningers takpunktskyer beregnes på en skalert måte, med en ekstra gjennomsnittsverdi for hver attributt. Sammen danner alle attributtverdiene det vi kaller en attributtmatrise som representerer hvert punkt som en enhet av høyere orden. Den siste delen av det foreslåtte rammev- erket utnytter denne attributtmatrisen å detektere kantpunkter ved å bruke CatBoost, en populær maskinlæringsalgoritme som bruker gradientforsterkning på beslutningstrær for å klassifisere data. For å teste og validere rammeverket vårt ble det utført et eksperiment på flybårne laser- skanningspunktskydata levert av Trondheim kommune. Et lite sett med takkonstruksjonener av bygninger ble manuelt segmentert som grunnlag for dette eksperimentet. Resultatene viste at for formålet med kantpunktdeteksjon av bygningstak fra flybårne laserskanningspunktskyer, kunne de foreslåtte punktattributtene i sammenheng med det foreslåtte rammeverket lykkes med å skille mellom kantpunkter og andre punkter. Det oppnådde gode resultater på det manuelt segmenterte takkonstruksjonsdatasettet, der 83% IoU og 90% OA ble rapportert. Hele kodebasen som ble laget og brukt under denne masteroppgaven finnes tilgjengelig på https://github.com/appfr3d/TBA4925- Masters-thesis. Acquiring access to the true roof structures of buildings as digital 3D models is a much-needed and natural next step from the current state of digital cities, as it enables several new applications within fields like visualization, simulation, and smart cities. Conventionally, the process of creating such models can be done by reconstructing 3D roof models from airborne laser scanning point clouds in five main steps: building roof detection, roof plane segmentation, outline extraction for roof segments, regularization and topological adjustment of polygons of roof segments, and modeling in CityGML. This thesis proposes a new data-driven framework that directly extracts the edge points of building roof structures from airborne laser scanning point clouds and thus mitigates the step of plane segmentation. In mitigating this step, we heavily reduce the computational cost and the required training dataset size. Our framework is also much more generalizable, as it is not limited by any predetermined set of segmentation primitives. Twenty methods for feature extraction from point clouds were studied and explored, and the first part of our framework is based upon a subset of these features. Feature values for each point in building roof point clouds are calculated in a multi-scale manner, with an additional mean value for each feature. Together, all the feature values form what we call a feature matrix that represents each point as a higher-order entity. The last part of the proposed framework leverages this feature matrix as input to detect edge points by using CatBoost, a popular machine learning algorithm that uses gradient boosting on decision trees to classify data. To test and validate our framework, an experiment was conducted on dense airborne laser scan- ning point cloud data provided by Trondheim Municipality. A small set of building roof structures was manually segmented for the basis of this experiment. The results showed that for the purpose of edge point detection of building roofs from airborne laser scanning point clouds, the proposed point features in concatenation with the proposed framework could successfully discriminate be- tween edge points and other points. It achieved good scores on the manually segmented building roof dataset, with 83% Intersection over Union and 90% Overall Accuracy being reported. All the code used in this thesis can be found at https://github.com/appfr3d/TBA4925-Masters-thesis.

Fremveksten i bruken av dyplæringsmetoder for bygning- og endringsdeteksjon har økt jevnt de siste årene. Tilgjengeligheten og kvaliteten til høyoppløselige satellittbilder har tilrettelagt for en rekke muligheter innenfor praktiske bruksområder og forretningsproblemer. Deteksjon av endringer ved hjelp av satellittbilder med høy oppløsning har hatt en viktig rolle i å kartlegge endringer på jordas overflate. På grunn av økende interesse for bygning og endringsdeteksjon, har en rekke forskjellige tilnærminger på dette feltet blitt lett tilgjengelige. Denne oppgaven introduserer et nytt nevralt nettverk, U-PSP-Net, spesielt designet for bygningsdeteksjon. Nettverket brukes til å oppdage endringer av bygninger i Trondheim kommune. Oppgaven dekker også etableringen av et nytt bygningsdatasett som dekker 2,3 kvadratkilometer og 3784 bygninger. U-PSP-Net er et konvolusjonalt nevralt nettverk laget ved å kombinere deler fra U-Net og PSPNet, to andre bildesegmenteringsnettverk. En ablasjonsstudie ble utført for å optimere nettverket, og å utnytte fordelene ved hvert nettverk samtidig som de minimerte deres svakheter. Det resulterende nettverket er fire lag dypt med en pyramidepoolingsmodul, bestående av de to minste kjernene, som forbinder koder- og dekoderstrukturene. Redusering av dybden gjør U-PSP-Net til et mer effektivt nettverk, som bruker bare halvparten så mange vekter sammenlignet med U-Net. Nettverket oppnådde nesten 98\% dekning og presisjon og en IoU på nesten 97\%. Som en del av oppgaven, ble det gjennomført en eksperimentell studie i Trondheim. Målet var å bruke U-PSP-Net til å så nøyaktig som mulig kunne detektere bygninger fra flybilder. Nettverket ble brukt til å detektere bygninger fra to ulike datasett. Resultatene var svært nøyaktige, men med noen feilklassifiseringer på det ene datasettet. De klassifiserte bildene ble senere brukt til analyse av endring. Under analysen, oppstod det problemer forårsaket av forskjeller i datasettene på grunn av variasjon i bildeinnsamlingsfasen. For å konkludere, viste U-PSP-Net seg å være effektivt ved bygningsdeteksjon, men treningsdatasettet burde utvides og bildene bør eksponeres for mer behandling. Metoden for endringsdeteksjon har også vist seg å fungere, selv om det kreves sanne ortofoto for en automatisk deteksjon. Den komplette kildekoden utviklet for denne oppgaven ligger på \underline{\href{https://github.com/martinwe001/Master_Thesis_CNN}{GitHub}}. The rise of deep learning approaches for building and change detection have increased in the recent years. The accessibility and quality of high resolution satellite images have opened a wide variety of possibilities for practical applications and business problems. Temporal change detection using high resolution satellite images, have played an important role in mapping different changes on Earth's surface. Due to increasing interest in building and change detection, a range of different approaches in this field have become readily available. This thesis introduces a novel neural network, U-PSP-Net, specifically designed for building detection. The network is used to detect changes of buildings in Trondheim Municipality. The thesis also covers the creation of a novel building data set covering 2.3 square kilometers and 3784 buildings. U-PSP-Net is a convolution neural network made by combining parts from U-Net and PSPNet, two other image segmentation networks. An ablation study was performed to optimize the network, exploiting the advantages of each network while also minimizing their weaknesses. The resulting network is four layers deep with a pyramid pooling module, consisting of the two smallest kernels, connecting the encoder and decoder structures. Reducing the depth makes U-PSP-Net a more efficient network, using only half as many weights as U-Net. The network achieved almost 98\% recall and precision and a IoU of almost 97 \%. As part of the thesis, an experimental study in Trondheim was conducted. The goal was to use U-PSP-Net to, as accurately as possible, extract buildings from aerial images. The network was used to extract buildings from two data sets. Despite the high accuracy of the results, some misclassifications were made on the data sets. The classified images were later used for change detection analysis. The analysis encounters issues caused by differences in the data sets due to variation in the image collection phase. In conclusion, the U-PSP-Net proved to be efficient at building detection. However, the training data set could be expanded, and the images should be exposed to more augmentation. The change detection method was also proven to work, although, for automatic detection, true orthophotos are required. The complete source code developed for this thesis can be found at \underline{\href{https://github.com/martinwe001/Master_Thesis_CNN}{this}} GitHub repository

Fasadehøyde er en vesentlig faktor i studiet av bymiljøets karakter og omfang. Estimering av høyde krever nøyaktige romlige målinger og komplett bygningsdata, der begge avhenger av bruken av dyr og toppmoderne teknologi. Denne studien har som mål å senke terskelen for å gjennomføre storskala høydeestimering ved å benytte seg av lett tilgjengelig teknologi. Hovedsakelig ønsker vi å undersøke hvordan bilder tatt fra gatenivå kan benyttes for å estimere fasadehøyden i et større geografisk område. Dette gjennomføres ved å utnytte symmetri og repeterende mønstre basert på arkitektoniske prinsipper. Vi implementerer en metode som automatisk segmenterer fasadene i separate etasjer og bruker kunnskap om deres iboende egenskaper og attributter for å estimere fasadehøyden. Et eksperimentell studie ble gjennomført i den hensikt for å teste metoden på bilder tatt fra gatenivå i Trondheim, Norge. Fasadeobjektene ble automatisk detektert for å videre segmentere etasjene med et regresjonsanalyseverktøy (RANSAC) og deretter ved å anvende våre definerte urbane regler for å ytterligere justere den resulterende høyden. Resultatene indikerte at segmentering av etasjer bidro til en nøyaktig estimering av fasadehøyden og at reglene supplerte med å styrke høydestimasjonen. Det ble videre gjort kjent at kvaliteten på bildene fra gatenivå i stor grad påvirket resultatene. Evaluering av metoden resulterte i en korrekthet på 92% for eteasjesegmentering på et utvalg bilder med god kvailtet. Videre ble det oppnådd tilfredsstillende resultater for høydestimasjonen i hele studieområdet, med gradvis større feil etter hvert som byggehøyden økte. Facade height is a key variable in studying the character and scale of urban environments. However, accurately estimating the height requires high spatial accuracy and complete building data, dependent on expensive and advanced state-of-the-art methods. This study aims to lower the threshold for large-scale height estimation by using more accessible technology. Specifically, we investigate how we can use street-level imagery to estimate the facade height in a wider geographical region by exploiting architectural principles, including symmetry and repetitive patterns. In addition, we implement a method that automatically segments the facades into separate floors and use extensive knowledge of their inherent features and attributes to estimate the facade height. To test our pipeline, we conducted an experimental study on street view imagery in a contained geographical area of Trondheim, Norway. We automatically detected facade objects to segment the floors with a RANSAC regressor and then applied a set of defined urban rules to adjust the resulting height further. The results indicated that segmenting the floors contributed to an accurate estimation of the facade height and that the rules aided in adjusting the height estimation. We also discovered that the quality of street view imagery significantly influenced the results. Finally, to evaluate the method, we considered an optimal subset of imagery and found that the correctness of the floor segmentation was 92%. Furthermore, we achieved adequate results regarding the height estimation in the whole study area, with progressively larger errors as the building height increased.

Den Arktiske havisen er avgjørende for det globale miljøet og representerer en betydelig utfordring for navigering i polare områder. Derfor har overvåking av havis blitt et viktig ansvar for statene som ligger innenfor polarsirkelen. På grunn av det store omfanget av det Nordishavet er den mest anerkjente overvåkingsmetoden via satellittbasert fjernmåling. Ved å være uavhengig av naturlig belysning og kapabel til å trenge gjennom skydekket, er det aktive radarsystemet, Syntetisk Apertur-Radar (SAR), høyt kvalifisert for de polare forholdene. Gjennom sine nasjonale istjenester tilbyr de arktiske statene manuelt tegnede iskart som er basert på satellittbilder. Til tross for ekspertisen til ishavs analytikerne i de nasjonale istjenestene, vil det alltid eksistere et element av subjektivitet i iskartene. Videre er manuell iskartlegging tidkrevende og forlenger dermed tiden mellom anskaffelse og publisering av informasjonen. På grunn av vind og sterke strømmer er havisen veldig dynamisk. Derfor kan denne forsinkelsen være kritisk for navigatørene som passerer gjennom Nordishavet. Ved å anvende en automatisk tilnærming for segmentering av havis i SAR-bilder kan disse iskartene produseres innen kortere tid og med lavere grad av subjektivitet. I denne oppgaven, er den konvolusjonelle nevrale nettverksarkitekturen, U-Net, modifisert og implementert i en Python-programvarepakke. Variasjoner av dette nettverket ble brukt til å utføre automatisk segmentering av havis i støykorrigerte SAR-scener. Videre er en balanseringsmetode implementert og evaluert. Nettverket som var trent med et ubalansert datasett oppnådde den beste ytelsen med en $ R ^ 2 $ -score på 0,87. Til slutt ble en binær bildesegmenteringsmetode foreslått. Resultatene fra denne er sammenlignbare med moderne forskning. The Arctic sea ice is critical for the global environment and represents a significant challenge for navigation in polar regions. Hence, sea ice monitoring has become a crucial responsibility of the states located within the Arctic circle. Due to the large extent of the Arctic sea, satellite remote sensing is the most acknowledged monitoring approach. By being independent of natural illumination, and able to penetrate cloud cover, the active imaging system, Synthetic Aperture Radar (SAR), is highly qualified for the polar conditions. Through their national ice services, the Arctic states provide manually drawn ice charts based on satellite imagery. Despite the expertise of the sea ice analysts in the national ice services, there will always exist an element of subjectivity in the ice charts. Moreover, manual ice charting is time-consuming, extending the time between acquisition and publication of the information. Due to wind and strong currents, the sea ice is highly dynamic, therefore, the delay can be critical for the navigators passaging through the Arctic sea. By applying an automatic approach for sea ice segmentation in SAR imagery, these ice charts can be produced within a shorter time, and with a lower degree of subjectivity. In this thesis, the convolutional neural network architecture, U-Net, has been modified and implemented in a Python software package. Variations of this network were applied to automatically perform sea ice segmentation in noise corrected SAR scenes. Moreover, a balancing approach has been implemented and evaluated. The best performance was achieved by the network trained on an imbalanced dataset with an $R^2$-score of 0.87. Finally, a binary image segmentation method was proposed, and it obtained results comparable to the state-of-the-art.

Målet med denne masteroppgaven er å se på mulighetene for automatisert innendørs modellering ved bruk av lavprissensorer som mobiltelefoner, nå nylig med innebygd LiDAR-sensor. Mobiltelefonen som brukes er Apples iPhone 12 Pro, som er den første mobiltelefonen med integrert LiDAR-sensor. LiDAR-sensoren gir dybdeinformasjon for piksler i et fargebilde, noe som kan hjelpe til med 3D-modellering. Rekkevidden til mobiltelefonen er mellom 1-5 meter, noe som gjør den kun relevant for nærliggende objektskanning eller innendørsmiljøer. Denne artikkelen presenterer resultatene av et skanningseksperiment utført ved NTNU. Det nye bidraget er et databehandlingsprogram for behandling av Apples LiDAR-data. Programmet er skrevet i Python 3.7, ved hjelp av 3D-behandlingsbiblioteket Open3D. To ekstra applikasjoner har også blitt brukt til å utføre separate skanninger for sammenligning, SiteScape og Pix4D Catch + Cloud. Resultatene vil bli evaluert mot "ground truth" - en skanning utført av en Trimble SX10-skanningsenhet. The aim of this master thesis is to look at the opportunities for automated indoor modeling using low-cost sensors such as mobile phones, now recently with a built-in LiDAR sensor. The mobile phone used is Apple's iPhone 12 Pro, which is the first mobile phone with an integrated LiDAR sensor. The LiDAR sensor provides depth information for pixels in a color image, which can help aid 3D modeling. The range of the mobile phone is between 1-5 meters, which makes it only relevant for close object scans or indoor environments. This article presents the results of a scanning experiment executed at NTNU. The new contribution is a data processing program for processing Apple's LiDAR data. The program is written in Python 3.7, using the 3D processing library Open3D. Two additional applications have also been used to execute separate scans for comparison, SiteScape and Pix4D Catch + Cloud. The results will be evaluated against "ground truth" - a scan executed by a Trimble SX10 scanning device.

I denne masteren har det blitt produsert bygningsomriss fra punktskyer ved å introdusere dyp læring med/av et Generative Adversarial Network (GAN). Forskningsmålet var å undersøke i hvilken grad behandling med dyp læring løser eller forbedrer begrensninger av allerede etablerte metoder rundt ekstrasksjon av bygningsomriss fra punktskyer. Totalt 903 bygninger i Trondheim ble manuelt segmentert og fungerte som datasett for trening av nettverket. En statistisk analyse fant at nettverket produserte en signifikant økning i Snitt over Union (IOU) sammenlignet med baseline-modeller. Sammenligning av bygningsomriss før og etter prosessering indikerer at GAN øker IOU ved å bedre representere konkave bygninger. Ved undersøkelse av de produserte bygningsomrissene er det klart at det kreves ytterligere geometriske forbedringer for å løse den resulterende feiljusteringen. Enda viktigere er at inkluderingen av dyp læring i bygningsomrissekstraksjon viser stort potensial ved å tillate input av lav kvalitet og billige beregningskostnader. This study aimed at extract building boundaries from pointclouds by introducing deep-learning processing by a Generative Adversarial Network (GAN). The research objective was to investigate the extent deep-learning processing solves or improves limitations of established methods that extract boundaries from pointclouds. A total of 903 buildings in Trondheim were manually segmented and served as the dataset for training the network. A statistical analysis found that the network significantly increased Intersection Over Union (IOU) compared to baseline models. Comparing samples before and after processing indicates that GAN increases IOU by more correctly representing concave buildings. From inspecting predicted building boundaries, it is clear that additional geometrical refinements are required to solve the resulting misalignment. More importantly, deep-learning in boundary extraction shows great potential by allowing low-quality input and cheap computational cost.

Å ha oppdaterte databaser med individuelle trær er nyttig både i skogforvaltning og økologisk forskning. Manuell deteksjon og digital innsamling av enkelttrær er både tidkrevende og dyrt. I denne studien undersøkes metoder for å automatisk detektere trær gjennom luftbåren laserskanning. I masteroppgaven blir også en ny metode for å oppdage trær fra disse fjernmålingene foreslått. Metoden kombinerer metoder fra visuell intelligens, som baserer seg på todimensjonell data, med detaljerte tredimensjonale datasett, fanget med luftbåren lidar. Metoden går ut på å projisere punktskyene på et raster i XY-planet for å danne todimensjonale bilder. Den romlige informasjonen blir bevart gjennom å projisere viktige egenskaper fra punktskyen, og lagre disse verdiene i båndene i bildet. Båndene i bildet som vanligvis blir brukt for å holde rødfarge, grønnfarge og blåfarge blir erstattet med henholdsvis punktetthet, høydedifferanse og høydegradient. For å løse kravet om store mengder annotert data i dyp læring, har et syntetisk datasett blitt skapt gjennom omfattende dataaugmentering. En Mask R-CNN modell har blitt trent på det syntetiske datasettet og blitt testet på reell data fra et skannet område i Trondheim. Modellen ble også testet på et syntetisk testsett som ble lagd på samme måtet som treningssettet, men med andre trær. Den ferdige modellen når en presisjonsverdi på 82% og en tilbakekallingsverdi på 82% på det reelle testsettet. På det syntetiske testsettet når modellen en presisjon og tilbakekalling på henholdsvis 97,2% og 96,1%. Resultatene viser at den foreslåtte metoden er i stand til å oppdage flere trær, med høyere presisjon enn tradisjonelle metoder, og legger seg i sjiktet blant andre metoder basert på dyp-læring. Having an up-to-date tree inventory in a forest or a city is valuable for forest monitoring and ecological research. Manually detecting individual trees for these inventories is time-consuming and costly work. In this study methods for automatically detecting trees from ALS data are researched. A new method for detecting individual trees is created by combining deep learning models from the realm of visual intelligence with the rich point clouds gathered through remote sensing. The proposed method is based on projecting point clouds onto a rasterized XY-plane, creating images from the point clouds. The spatial information is preserved by projecting valuable features from the point cloud onto the image. The values are then stored on the image-channels. A synthetic dataset is created using extensive data augmentation, to account for the lack of labelled data available. A Mask-RCNN model is trained on the synthetic images, and is tested on real data from a scanned area in Trondheim. The trained model reaches a precision and recall of 82% and 82% respectively, on the test area. The model was also tested on a synthetic test set, containing sampled trees not seen during training, arbitrarily positioned on a grid. The model reaches a precision and recall of 97,2% and 96,1% respectively, on the synthetic test set. The results show that this method is more than able to compete with traditional non-deep-learning methods for detecting individual trees.

Verden holder ikke følge med FNs bærekraftig utviklingsmål 7, "ensure access to affordable, reliable, sustainable and modern energy for all". Fem hundre åttifem millioner mennesker i Afrika sør for Sahara forventes å leve uten tilgang til en pålitelig energikilde innen 2030. Det er ikke snakk om en grønnere, mer bærekraftig energikilde, men det primære behovet for energi. Denne studien forsøkte å forenkle stedvalgprosessen for nye energiprosjekter ved å dokumentere den eksisterende elektriske infrastrukturen. I denne oppgaven undersøkte vi muligheten for å utlede kraftledninger ved bruk av nattlys. Små bosetninger, bygninger og til og med gatelamper avgir lysstråling oppdagbart av satellitter. Nattlys fungerte som noder i en graf og ble koblet sammen med Dijkstras algoritme. De resulterende koblingene var det antatte strømlinjenettet i et land. Vi studerte tidligere forskning om predikering av kraftledninger. Den primære kilden til relatert arbeid brukte Dijkstras algoritme og nattlys og forslagene deres for fremtidig arbeid ble implementert. Samtidig gjennomførte vi et litteraturstudie som studerte overlappende problemer, for eksempel deteksjon av gatenettverk ved hjelp av satellittbilder, for å avgjøre hvordan metoder kan overføres til det aktuelle domenet. Den implementerte løsningen bruker vannforekomster, befolkede områder og konvolusjonsfilter til å forbehandle nattlys. Veinettverk, høydeendringer og naturreservater bestemte kostnaden ved veivalg. Vi samlet data fra ideele organisasjoner i 34 europeiske land for å bestemme kvaliteten på de utledede strømlinjene. Mangelen på dokumentasjon i Afrika sør for Sahara begrenset valideringsmuligheter. Lagene og filtrene hadde som mål å fjerne naturlige lyskilder og støy, mens kostnadslagene muliggjorde strømnettdesign som i virkeligheten. Til slutt gransket vi de predikerte strømlinjene for å identifisere mulige metode- forbedringer. De detaljerte kartene illustrerte komplikasjoner med metodikken og eksterne faktorer. De predikerte strømlinjene oppnådde en Intersection-over-Union poengsum på 0.29. Resultatene var under industristandarder og egnet seg ikke som dokumentasjon av strømlinjer. Feil i metodikk forklarte delvis de lave poengsummene, men en betydelig andel ble tilskrevet valideringsdata av lav kvalitet. The world is failing to stay on track to reach Sustainable Development Goal 7, ”ensure access to affordable, reliable, sustainable and modern energy for all”. Five hundred eighty-five million people in Sub-Saharan Africa are expected to live without access to a reliable energy source by 2030. It is not a question of a greener, more sustainable energy source but the immediate need for energy. This study aimed to simplify the site selection process for new power-producing projects by documenting the existing electrical infrastructure, as distance to the grid is a critical cost parameter. We studied the possibility of inferring power lines using nighttime lights. Small settlements, buildings and even street lamps emit light radiance detectable by satellites. Nighttime lights functioned as nodes in a graph and were connected by Dijkstra’s algorithm. The resulting path was the assumed power line layout in a country. We studied previous research concerning power line inference and planning. The methodology aimed to reproduce and better the most promising research. Further, alternative approaches, such as street network detection using satellite imagery, were investigated to determine how methods could be transferred to power line inference. The implemented solution makes use of water bodies, populated areas and convolutional filters to preprocess nighttime lights. Road networks, elevation changes, and protected areas determined the path’s cost. We gathered open-source power line data from 34 European countries to determine the quality of the predictions. The lack of documentation in Sub-Saharan Africa restricted validation opportunities. The layers and filters aimed to remove natural light sources and noise while cost layers facilitated real-world grid design. Finally, we scrutinized predicted paths to identify possible method improvements. The detailed maps illustrated complications with the methodology and external factors. The predicted paths of power lines achieved an Intersection-over-Union score of 0.29. The results were below industry standards of 0.5, deeming the predicted paths unsuitable as infrastructure documentation in projects. Errors in methodology partially explained the low evaluation metrics, but a significant share was attributed to low-quality validation data.

Fotogrammetri er en utfordrende metode som krever tunge beregninger og helst en topp moderne arbeidsstasjon. I nyere tid har kunstig intelligens spredd seg til en rekke tekniske felt for å løse praktiske problemer til stor nytte for samfunnet; i denne forstand er fotogrammetri ikke bare en utfordring, men en mulighet. Dette prosjektet hadde som mål å lage en metode for å minimere beregningskostnadene som trengs for å generere høykvalitets 3D-modeller av mennesker ved å kombinere fotogrammetri og kunstig intelligens. Flere neurale nettverk ble trent for å segmentere bilder av mennesker. For dette formålet ble Common Objects in Context (COCO) datasettet brukt. Disse neurale nettverkene ble så brukt til å segmentere en sekvens av bilder tatt fra forskjellige vinkler av et motiv for å fjerne omgivelsene. Disse bildene ble deretter lastet inn i en fotogrammetri-applikasjon, Meshroom, for å rekonstruere motivet i 3D. Ved å trene nettverkene til segmentere bilder av nye objekter, kan denne metoden brukes til å lage en digital 3D-modell av et hvilket som helst ønskelig objekt. Ved å fjerne omgivelsene reduseres både beregningskraften og tiden som trengs for å generere 3D-modellen. Metoden er derfor av høy relevans for 3D/modelleringsindustrien. Imidlertid er kvaliteten på den genererte 3D-modellen er sterkt avhengig av detaljeringsgraden på motivets overflate, og mer arbeid kreves for å forbedre kvaliteten på de genererte modellene. Photogrammetry is a challenging method demanding heavy computations and preferably a state of the art workstation. And in recent times, Deep Learning has been spreading into numerous technical fields to solve practical problems on all fronts for great benefit to society; in this sense, photogrammetry is not just a challenge, but an opportunity. This project aimed to create a method to minimize the computation cost needed to generate high quality 3D models of the human body by combining photogrammetry and deep learning. Several neural network models were trained to segment images of persons. For this purpose, the Common Objects in Context (COCO) dataset was utilized. The neural network was used to segment a sequence of images taken from different angles of a subject in order to remove the surrounding environment. These images were loaded into a photogrammetry application, Meshroom, which reconstructed the subject in 3D. By retraining the network to segment new objects, this method can be used to create a 3D digital model of any number of objects. By removing the surrounding environment, the method reduces both the computational power needed and the time needed for postprocessing of the model. The method is therefore of high relevance to the 3D modeling industry. However, the quality of the model is highly dependent on the detail of the subjects surface, and more work is required to improve the quality of the generated models.

Hvert år slippes cirka 2,1 millioner sauer for å beite fritt i store, skogkledde og fjellrike områder i hele Norge. På slutten av beitesesongen må bøndene finne og samle inn sauene sine. Dette kan være en tidkrevende og utfordrende prosess på grunn av beite-områdets store og uoversiktlige natur. Denne masteroppgaven foreslår et system for automatisk gjenkjenning av sauer ved å bruke UAV-bilder for å hjelpe bønder med å finne sauene deres mot slutten av beitesesongen. Målet er å foreslå og utvikle en dyp læringsmodell som automatisk oppdager sauer i RGB og infrarøde UAV-bilder og evaluere hvor godt denne modellen oppfyller kravene til ytelse og prosesseringshastighet. Videre sammenlignes ytelsen til modeller som kombinerer RGB og infrarøde bilder med modeller som bruker enten RGB eller infrarøde bilder, og undersøker effekten av varierende modellkompleksitet, nettverkslokasjon for sammenslåing av RGB og infrarød data og bildeoppløsning. Basert på en gjennomgang av tidligere arbeid med flerkanals bildefusjonsnettverk og den moderne dyp læringsteknologiens evne til objektgjenkjennelse, er det utviklet en modellarkitektur spesifikt designet for å håndtere oppgaven med automatisk gjenkjenning av sauer i RGB og infrarøde bilder. På grunn av oppgavens lave kvalitetskrav til lokalisering, kreves det ikke at nettverket nødvendigvis skal finne hver enkelt sau. I stedet vil modelen predikere en enkel ruteformet sannsynlighetsmaske som sier noe om sannsynligheten for sau innenfor et gitt område. Flere modeller ble trent med ulike konfigurasjoner for å identifisere settet med løsninger som gir optimal avveining mellom gjennomsnitlig presisjon og rask prosesseringstid. Resultatene viser at fusjon av RGB og infrarød data i en modell gir bedre resultater enn å bruke disse dataene hver for seg. De beste modellene oppnår gjennomsnitlig presisjon på mellom 69,9% og 96,3% med prosesseringstider mellom 0,1 og 0,6 sekunder per bilde. Med en konfidensterskel på 0,5, oppnår den mest nøyaktige modellen en presisjon på 97,7% og en tilbakekalling på 90,1%. Dvs. at av 97,5% av sauene i valideringsdatasettet ble identifisert. Dette viser at automatisk gjenkjennelse av sau i flerkanals UAV-bilder har stort potensiale til en forbedret og mer effektiv saueinnsamling. Each year, approximately 2.1 million sheep are released to graze freely in vast, forest-covered, and mountainous areas throughout Norway. At the end of the grazing season, farmers must find and round up their sheep. This can be a time consuming and challenging process because of the large and cluttered nature of the sheep grazing environment. This thesis proposes a system for automatic sheep detection using UAV images to aid farmers in finding their sheep at the end of the grazing season. The goal is to propose and develop a deep learning model that automatically detects sheep in RGB and infrared UAV images and evaluate how well this model meets performance and processing speed requirements of a real-world application. Furthermore, the research questions compare performance of models that fuse RGB and infrared data with models using either RGB or infrared as input, and explore the impact of varying model complexity, fusion location, and input resolution on performance. Based on a review of previous work on multi-channel image fusion networks and the current state of deep learning and object detection, a model architecture is designed to specifically address the task of automatic sheep detection in RGB and infrared images. Due to the low localisation quality requirement of the task, bounding box outputs are not required. Instead, the model head outputs a simple fixed size grid probability mask. Several models were trained with a range of configurations to identify the set of optimal solutions for maximising average precision and minimising inference time. Results show that fusion of RGB and infrared data in a single model yields better average precision results than using data separately. The set of optimal solutions achieve average precision scores in the range of 69.9% to 96.3% with inference times ranging from 0.1 to 0.6 seconds per image. At a confidence threshold of 0.5, the most accurate network achieves a grid precision of 97.7% and a recall of 90.1%. This corresponds to the detection of 97.5% of the sheep in the validation dataset. The high-performance results achieved shows that automatic detection of sheep in multi-channel UAV images can be a great contribution towards improved sheep round up.

Breer er sensitive indikatorer på klimaendringer og utgjør den største samling fer- skvann på Jorda. På grunn av isbreenes direkte respons til små forandringer i kli- masystemet har breene fått mye oppmerksomhet de siste årene. For å kunne varsle om farene for folk og infrastruktur som følge av bresmelting slik som flom og skred, er det viktig å kontinuerlig overvåke breenes utvikling. Dessuten kan mulighetene for klimatilpasning utforskes, spesielt når det gjelder å utnytte avrenningen fra breer i sammenheng med vannkraft eller drikkevann. Nå til dags blir breene overvåket mest in-situ eller ved hjelp av optiske multispektrale satellittbilder. In-situ observasjonene er dog ofte en logistisk utfordring og dyre. Kvaliteten av de optiske observasjonene er sterkt avhengig av været (spesielt skydekket), og siden optiske instrumenter er passive, er det ikke mulig å observere regionene i løpet av polarnatten. Denne masteroppgaven kartlegger postensialet av bruk av syntetisk apertur-radar (SAR) bilder for formålet av breobservasjoner. I motsetning til optiske overvåkningsin- strumenter kan SAR brukes til å ta bilder selv der det ikke er sollys, for eksempel på natta eller i overskyede områder. Bildene brukt i denne oppgaven er Sentinel-1 satel- littbilder, og området som ble undersøkt er Disko Island i Grønland. Signalene mot- tatt fra overflatene av hele Disko Island ble analysert gjennom årstidene. Deretter ble to klassifiseringsalgoritmer, beslutningstre og k-means, testet til å automatisk gjen- kjenne isbre i bildene. Overflatetypene som viste lignende refleksjon som breene ble identifisert, og resultatene ble sammenliknet med multispektrale optiske bilder. Det ble identifisert forskjellige grupper av refleksjonsamplituder som varierer gjennom årstidene for de forskjellige overflatene, som imidlertid ikke kunne tilordnes en spesiell overflatetype. Beslutningstre-metoden viste seg til å egne seg best til auto- matisk gjenkjenning av is. Bildene fra sommermånedene var enklest å håndtere for algoritmen siden smeltingen om våren og gjenfrysing av breoverflatene om høsten, samt snødekket om vinteren gjorde det mer vanskelig for algoritmen å skille breene fra de andre overflatene. Uansett ble SAR identifisert som en mulighet for år-til-år gjenkjenning og overvåkning av breoverflater. Glaciers are scientifically recognised as valuable indicators of the severity of regional climate change and have received considerable attention in recent years due to their high sensitivity to changes in the climate system and their status as the Earth’s largest freshwater reservoir. Monitoring the evolution of glaciers is important, both to warn of hazards resulting from glacier melt and their potentially significant impact on human infrastructure, and to inform adaptation measures for future human activities through integrated water management. However, in-situ glacier monitoring is costly and multi-spectral optical satellite imagery – the current baseline for remotely-sensed glacier delineation – is limited both by cloud cover and by illumination conditions, making it nearly impossible to monitor glaciers near the poles during the polar night. This study assessed the potential of Synthetic Aperture Radar (SAR) imagery to detect glaciated areas independent of weather and illumination. The SAR imagery used in this study is C-band Sentinel-1 imagery and Disko Island was picked as the study region. The seasonal evolution of SAR backscatter for all of Disko Island was characterised. Two classification methods, one supervised (Decision Tree) and one unsupervised (k-means), were examined in the context of glacier detection. Different geology types interfering with the task of glacier detection were identified. Compar- isons were drawn to existing glacier databases and relevant products derived from multi-spectral optical imagery. The analysis carried out in this study revealed that there are clearly distinguish- able groups of backscatter amplitudes, with variation through the seasons for differ- ent geology types. The backscatter groups were found to not necessarily be linked to a certain surface type in either season. Of the two classification methods presented, the supervised decision tree method was found to give the best results. Imagery from the summer month of June was found best suited for the task of glacier detection for both methods as the melt and snow season present a challenge to the examined meth- ods. Nevertheless, SAR imagery was found to provide an opportunity for automated year-over-year tracking of glacial ice extent.

Geografisk data er viktig for å forstå romlige relasjoner. Mange av dagens open-source databaser for GPS og romlige spørringer inneholder lite, til ingen data om den romlige konteksten i vegkryss. Ved å øke informasjonen i et vegkryss kan man i stede for å prosessere omgivelsene on-the-fly gjennom objektgjenkjenning, bruke ferdig prosessert data knyttet til hvert vegkryss og potensielt redusere behovet for enorme beregningsressurser, ettersom feltet innenfor objektgjenkjenning og enorme databaser konstant gjøres mer og mer kompleks. Denne oppgaven fremlegger et forslag på et rammerverk som kan brukes til å beregne posisjonen til objekter funnet i bilder fra en av verdens største romlige street-view bildedatabaser Mapillery. Rammeverket fremlegger først en analyse av dagens state-of-the-art teknologier for bildegjenkjenning, og velger den beste av disse for å trene opp et nettverk for å kjenne igjen traffikskilter i bilder. I tillegg brukes et ferdid trent nettverk for å lokalisere traffiklysene i bilder. Utifra disse objektene, utføres en monokulær dybdeestimasjon gjennom et trent nettverk, som brukes til å beregne en dybdeforskjell i pixelrommet. Videre fremstilles det antagelser for størrelser for kjente objekter for å beregne en pixel-til-meter algoritme for å kalkulere posisjonen til det gjenkjente objektet. Når bildet er ferdig prosessert og objektene er gitt en posisjon, plasseres det i et enten eksisterende vegkryss, eller det opprettes et nytt vegkryss ved å benytte seg av informasjon fra open-source vegdatabase APIer. Informasjonen innhentet igjennom rammeverket returneres som et kartlag i form av et GeoJSON objekt. Geographical data is important to understand spatial relations. Many of today’s open-source databases for GPS and spatial queries contains little to no information of the spatial context in an intersection. By increasing the information in an intersection, one can replace the need to process the surrounding environment one-the-fly through object detection by using preprocessed data stored in each intersection. This can reduce the limiting factor of computational resources, as the field of object detection and enormous databases constantly are made more and more complex. This paper proposes a framework that can be used to estimate the position of detected objects in images from one of the worlds largest spatial streetview image database Mapillary. The framework first proposes an overview of the current state-of-the-art technologies for object detection, and the chooses the best suited network architecture to train a network to recognize traffic signs in images. From these detected object, a monocular depth estimation is performed on the image using a pretrained network, which is used to calculate the depth disparity in the pixel space. In addition, several assumptions about the sizes of known objects, in order to propose a pixel-per-meter algorithm for calculating the position of the detected objects. One an image is processed and given a position, the image is either placed in an existing intersection, or a new intersection is made by exploiting the information available in open-source spatial database APIs. The information retrieved through this framework is return as a map layer in the form of a GeoJSON object.