Situated crowdsourcing:feasibility, performance and behaviours

This thesis focuses on a systematic assessment of the feasibility and performance of situated crowdsourcing, as well as a basic understanding of the behaviours of its workers. While these aspects have been extensively studied for online and mobile crowdsourcing, this is not the case for situated crowdsourcing mainly due to its relative novelty. Such an assessment is crucial for the development of the crowdsourcing research agenda, so that task requesters and researchers alike can leverage, whenever appropriate, situated technologies for crowdsourcing efforts with more confidence. The key findings of this thesis illustrate how appropriately designed crowdsourcing tasks can perform well even in a complex deployment setting: situated technologies in public spaces. In the articles presented in this thesis, we empirically demonstrate that situated crowdsourcing performance can compete with other means of collecting crowd contributions. While situated technologies have been reported in the past to suffer from credibility and misappropriation issues, one should not forego the use of these technologies for crowdsourcing purposes assuming that the tasks are not haphazardly designed. The thesis also explores the behaviours of situated crowdsourcing workers through in-situ observations, video analysis and longitudinal individual tracking. Towards the end of the thesis, we revisit the research questions put forth in the thesis, and highlight how they were answered. We then discuss the benefits and drawbacks of situated crowdsourcing, and the differences between using non-personal and personal devices for this purpose. In both cases, the decisions made by the task requesters or researchers will ultimately depend on their goals and the task itself. We conclude the thesis by restating the thesis’ research agenda, reflecting on the challenges and opportunities of situated crowdsourcing, and our future work within this area. Tiivistelmä Tämä väitöskirja keskittyy paikkasidonnaisen joukkoälyn käyttökelpoisuuden sekä tehokkuuden järjestelmälliseen arviointiin. Väitöskirja pyrkii myös ymmärtämään joukkoälyjärjestelmien työntekijöiden käyttäytymistä ohjaavia tekijöitä alustavalla tasolla. Paikkasidonnaisuus on tekijä, jota useimmiten verkossa tai mobiililaitteissa tehtävässä joukkotyötutkimuksessa ei ole mahdollista ymmärtää perusteellisesti. Paikkasidonnaisuus muodostaa kuitenkin elintärkeän osan joukkoälytutkimuksessa, ja sitä hyväksikäyttämällä sekä joukkotyön teettäjät että joukkoälytutkijat voivat soveltuvissa tilanteissa hyödyntää paikkasidonnaisia teknologioita luotettavamman joukkoälytiedon tuottamiseen. Väitöskirjan keskeisimmät löydökset osoittavat kuinka tarkoituksenmukaisesti toteutetut joukkoälytehtävät tuottavat luotettavaa tietoa, jopa monimutkaisissa käyttöympäristöissä kuten paikkasidonnaisia teknologioita hyödyntävissä julkisissa tiloissa. Väitöskirjan artikkelit osoittavat empiirisesti paikkasidoinnaisen joukkoälyn olevan kilpailukykyinen muiden joukkoälyteknologioiden kanssa, vaikka paikkasidonnaisten teknologioiden on aiemmin osoitettu kärsivän uskottavuuden puutteesta sekä väärinkäytöstä. Tämän väitöskirjan löydökset osoittavat, että oikein suunnitellut joukkoälytehtävät sopivat hyvin käytättäväksi kyseisten teknologioiden kautta. Suorituskyvyn sekä tehokkuuden lisäksi väitöskirjassa esitellään empiirisiin havaintoihin, videoanalyysiin, sekä yksilöiden pitkäkestoiseen tutkimukseen pohjautuvia löydöksiä joukkoälytyöntekijöiden käyttäytymismalleista. Väitöskirjan loppuosa käsittelee henkilökohtaisten ja julkisten laitteiden hyötyjä sekä haittapuolia suhteessa paikkasidonnaisten joukkoälyjärjestelmien käyttöön. Löydökset osoittavat, että kummassakin tapauksessa laitetyypin valintaa ohjaavat joukkoälytyön teettäjien tai tutkijoiden asettamat tavoitteet, sekä kyseessä olevat joukkoälytehtävät. Väitöskirjan päätteeksi palataan asetettuihin tutkimuskysymyksiin sekä vastaaviin löydöksiin, ja pohditaan paikkasidonnaisen joukkoälyn tuomia haasteita, mahdollisuuksia sekä tulevaisuuden visioita.