Concept drift in smart city scenarios

Exponential population growth and urbanisation pose potential challenges to mobility, governance, well-being, the environment, and the safety of modern cities. This demands data-driven predictions and decision-making systems to achieve sustainable societal goals. Smart city data are being employed to improve citizens’ lifestyles, derive climate initiatives, provide quality health care and education, achieve better governance, and design better urban policies. However, the data from smart cities is vast and heterogeneous, requiring efficient and fault-tolerant data platforms supporting continuous data collection, storage, analysis, visualisation, and results delivery in both batch and real-time fashion. In addition, real-world data brings challenges and may come from malfunctioning, replaced or differently calibrated devices. Concept drift is a crucial barrier to relying on predictions from real-world data streams. It emerges due to unforeseen reasons, changes in statistical properties and the context of data while performing predictive modelling. This thesis focuses on the challenges mentioned by investigating and proposing efficient concept drift detection approaches, providing distributed data pipeline architectures, and highlighting the potential challenges of concept drift in terms of real-world applicability. As a result, two different algorithms are proposed to perform predictive modelling using machine learning methods integrated with concept drift detection and adaptation methods. The experiment showed that integrating concept drift detection with predictive models increases the effectiveness of drawn predictions. Secondly, a cloud computing-based distributed data pipeline architecture is provided to support data collection, data analysis, concept drift detection, and others. Similarly, an edge computing-based distributed data pipeline is proposed for edge micro data centres to perform computationally demanding processes. The proposed data pipelines
Tiivistelmä Eksponentiaalinen väestönkasvu ja kaupungistuminen haastavat modernien kaupunkien hallintoa, logistiikkaa, ihmisten sekä ympäristön hyvinvointia ja turvallisuutta. Kestävien yhteiskunnallisten tavoitteiden saavuttamiseksi voidaan hyödyntää datapohjaisia päätöksentekojärjestelmiä. Älykaupunkien dataa käytetään tukemaan kansalaisten elämäntapoja sekä ilmastoaloitteita, tuottamaan laadukasta terveydenhuoltoa ja koulutusta sekä sujuvoittamaan hallintoa ja kaupunkipolitiikkaa. Kaupungeista saatava data on monimuotoista ja laajaa, saattaa sisältää virheitä ja sen käsittely vaatii tehokkaita ja vikasietoisia data-alustoja. Alustojen on tuettava jatkuvaa datan keruuta, tallennusta, analysointia, visualisointia ja tulosten toimittamista sekä erä- että reaaliaikaisesti. Käsitevuoto (concept drift) on keskeinen este luotettavien ennusteiden tekemiselle reaalimaailman datavirroista. Käsitevuoto ilmenee ennakoimattomista syistä, datan tilastollisten ominaisuuksien ja kontekstin muutoksista ennustavaa mallinnusta tehdessä, johtaen epäluotettaviin datapohjaisiin ennusteisiin. Työssä tutkitaan käsitevuotoa erityisesti laboratorion ulkopuolella tosimaailmassa. Tuloksena esitetään kaksi erilaista algoritmia käsitevuon havaitsevaan ennustavaan mallinnukseen. Algoritmit ovat koneoppimenetelmiä, joihin on integroitu käsitevuodon havaitsemis- sekä mukautumismekanismit. Työssä osoitetaan, että kun integroidaan käsitevuodon havaitseminen ennustemallinnukseen, voidaan lisätä ennusteiden tehokkuutta. Toiseksi työssä kehitettiin pilvilaskentaan perustuva hajautettu dataputkiarkkitehtuuri, joka tukee datan keruuta, datan analysointia, käsitevuodon havaitsemista ja muita reaaliaikaiseen mallintamiseen tarvittavia datankäsittelymekanismeja. Lisäksi kehitettiin reunalaskentaan perustuva hajautettu dataputkijärjestelmä mikrodatakeskuksineen laskennallisesti raskaita datakäsittelytehtäviä varten. Ehdotetut dataputket ovat vikasietoisia, ne voidaan skaalata saumattomasti ja ne tukevat er