Search

Background: Confirmation bias is the tendency to search for evidence that confirms a person’s preconceptions. Confirmation bias among software testers is their tendency to validate the correct functioning of the program rather than testing it to reveal errors. Psychology literature suggests that time pressure may promote confirmation bias because time pressure impedes analytical processing of the task at hand. Time pressure is perceived negatively for its effects in software engineering (SE), therefore, its effect on confirmation bias may exacerbate software quality. Objective: We aim to examine confirmation bias among software testers. Additionally, we examine the effect of time pressure on confirmation bias and how time pressure affects the testers’ perception of the performance. We also question what other antecedents to confirmation bias exist in software testing and how they lead to it. Method: We first examined the state of the art research on cognitive biases in SE using systematic mapping. Then, we empirically examined the feasibility of using students in further experiments. An experiment with 42 students (novice professionals) investigated the manifestation of confirmation bias and whether time pressure promotes it. Another experiment with 87 novice professionals examined the perception of the performance of software testers under time pressure. A grounded theory study based on the interview-data of 12 practitioners explored other antecedents to confirmation bias in software testing and how they lead to it. Results: Time pressure emerged as a major antecedent to confirmation bias in the grounded theory. Testers prefer to validate the correct functioning of the program under time pressure. However, time pressure could not significantly promote confirmation bias among testers. Software testers significantly manifest confirmation bias irrespective of time pressure. The perception of performance is also sustained irrespective of time pressure. Conclusion: Testers should develop self-awareness of confirmation bias and improve their perception of performance to improve their actual testing. In the industry, automated testing may alleviate confirmation bias due to time pressure by rapidly executing the test suites. Tiivistelmä Tausta: Vahvistusharha tarkoittaa taipumusta hakea ennakko-odotuksia vahvistavaa todistusaineistoa. Ohjelmistotestaajien vahvistusharha tarkoittaa taipumusta varmistaa ohjelmiston oikea toiminta mieluummin kuin hakea siitä virheitä. Psykologinen tutkimus esittää, että aikataulupaine voi lisätä vahvistusharhaa heikentämällä työn analyyttista tarkastelua. Aikataulupainetta pidetään ohjelmistotekniikan soveltamiseen kielteisesti vaikuttavana asiana, minkä johdosta sen vaikutus vahvistusharhaan voi heikentää ohjelmiston laatua. Tavoite: Tarkastelimme ohjelmistotestaajien vahvistusharhaa tutkimalla aikataulupaineen vaikutusta vahvistusharhaan ja testaajien käsitykseen testauksen tehokkuudesta. Lisäksi kysymme, mitkä muut tekijät johtavat ohjelmistotestauksen vahvistusharhaan, ja millä tavoin. Menetelmä: Ensiksi tarkastelimme ohjelmistotekniikan kognitiivisten harhojen viimeisintä tutkimusta systemaattista kirjallisuuskartoituksella. Sitten tutkimme kokeellisesti, miten yliopisto-opiskelijat soveltuvat käytettäväksi tutkimusjoukkona vahvistusharhan kokeellisessa tutkimuksessa. Kokeellinen tutkimus, johon osallistui 42 opiskelijaa (aloittelevaa ammattilaista), tarkasteli vahvistusharhan lisääntymistä aikataulupaineen vaikutuksesta. Toinen kokeellinen tutkimus, johon osallistui 87 aloittelevaa ammattilaista, tarkasteli ohjelmistotestaajien käsitystä testauksen tehokkuudesta aikataulupaineen alla. Kahdeltatoista ammattilaiselta haastattelemalla kerätystä tutkimusaineistosta tarkasteltiin ankkuroidun teorian menetelmällä muiden mahdollisten tekijöiden vaikutusta vahvistusharhaan. Tulokset: Ankkuroidussa teoriassa aikataulupaine osoittautui merkittäväksi vahvistusharhan tekijäksi. Ammattimaiset ohjelmistotestaajat haluavat mieluummin validoida ohjelmiston oikean toiminnan aikataulupaineessa. Toisessa kokeellisessa tutkimuksessa aikataulupaine ei kuitenkaan lisännyt merkittävästi testaajien vahvistusharhaa, vaan testaajien vahvistusharha ilmeni merkittävästi aikataulupaineista riippumatta. Myös käsitys työn tehokkuudesta säilyi riippumatta aikataulupaineesta. Johtopäätös: Ohjelmistotestaajien on syytä kehittää tietoisuuttaan vahvistusharhasta ja parantaa käsitystään työn tehokkuudesta parantaakseen testaustyötä. Teollisuudessa automaattinen testaus voi lieventää aikataulupaineen aiheuttamaa vahvistusharhaa nopeuttamalla testisarjoja.

Modern software development must adapt to demanding schedules while keeping the software at a high level of quality. Agile software development has been adopted in recent years to meet such a need. Test-driven development (TDD) is one practice that has arisen within the agile software development movement that leverages unit tests to develop software in incremental cycles. TDD supporters claim that the practice increases the productivity of the practitioners who employ it, as well as the internal and external quality of the software they develop. In order to validate or refute such claims, the software engineering research community has studied TDD for the last decade; the results of the empirical studies on the effects of TDD have been mostly inconclusive. This dissertation has studied two factors that may impact the manifestation of the claimed effects of TDD on software’s external quality and developers’ productivity: the developers’ conformance to the process (i.e., their ability to follow TDD) and their skills. The research was performed in four phases. In the first phase, the literature was reviewed to identify a set of factors that have been considered to affect TDD. In the second phase, two experiments were executed within academia. A total of 77 students at the University of Oulu, took part in the studies. These experiments investigated the quality of the software, as well as the subject’s productivity with respect to their programming and testing skills. A follow-up study, using data collected during the second experiment, explored the relation between the quality, productivity and the subjects’ process conformance. In the third phase, four industrial experiments, involving 30 professional, were performed. Process conformance and skills were investigated in relation to the TDD’s effects on external quality and productivity. The fourth phase synthesized the evidence gathered in the two previous phases. The results show that TDD is not associated with improvements in external quality, or developers’ productivity. Further, improvements in both external quality and productivity are associated with skills, rather than with the process, at least in the case of professional developers. Hence, process conformance has a negligible impact. The productivity of novice developers, on the other hand, can benefit from the test-first approach promoted by TDD. Tiivistelmä Modernin ohjelmistokehityksen täytyy mukautua haastaviin aikatauluihin säilyttäen ohjelmistojen korkea laatu. Ketterä ohjelmistokehitys on viime vuosina omaksuttu tähän tarpeeseen ja suuntauksessa on saanut alkunsa testivetoisen kehityksen käytäntö, joka hyödyntää yksikkötestausta ohjelmiston inkrementaalisessa, syklisessä kehityksessä. Testivetoisen kehityksen puolestapuhujat väittävät tämän käytännön lisäävän ohjelmistokehittäjien tuottavuutta sekä ohjelmiston sisäistä ja ulkoista laatua. Ohjelmistotuotannon tutkimusyhteisö on tutkinut testivetoista kehitystä viimeisen vuosikymmenen aikana vahvistaakseen tai kumotakseen nämä väitteet. Empiiriset tutkimukset testivetoisen kehityksen vaikutuksista ohjelmistotuotantoon ovat suurelta osin tuloksettomia. Tämä väitöstyö tutkii kahta tekijää, jotka voivat vaikuttaa testivetoisen kehityksen väitettyjen vaikutusten ilmentymiseen ohjelmiston ulkoisena laatuna ja ohjelmistokehittäjien tuottavuutena: ohjelmistokehittäjien taitoja ja prosessin mukaista toimintaa. Tutkimus toteutettiin neljässä vaiheessa. Ensimmäisessä vaiheessa tehtiin kirjallisuuskatsaus, jolla selvitettiin tekijöitä, joiden on katsottu vaikuttavan testivetoiseen kehitykseen. Toisessa vaiheessa tehtiin Oulun yliopistolla kaksi koetta, joihin osallistui kaikkiaan 77 opiskelijaa. Kokeissa tutkittiin ohjelmiston laadun ja osallistujien tuottavuuden suhdetta heidän ohjelmointi- ja testaustaitoihinsa. Toisen kokeen aikana kerättyä aineistoa hyödynnettiin jatkotutkimuksessa, jossa tarkasteltiin laadun, tuottavuuden ja prosessin mukaisen toiminnan suhdetta. Kolmannessa vaiheessa tehtiin neljä koetta, joihin osallistui 30 ohjelmistoalan ammattilaista. Prosessin mukaista toimintaa ja taitoja tutkittiin suhteessa testivetoisen kehityksen vaikutuksiin ohjelmiston ulkoiseen laatuun ja tuottavuuteen. Neljännessä vaiheessa syntetisoitiin kahden edellisen vaiheen löydökset. Tulokset osoittavat, ettei testivetoinen kehitys liity ulkoisen laadun parantumiseen eikä ohjelmistokehittäjien tuottavuuteen. Parannukset laadussa ja tuottavuudessa liittyvät ennemmin taitoihin kuin prosessiin, ainakin ohjelmistokehityksen ammattilaisten kohdalla. Näin ollen prosessin mukaisella toiminnalla on vähäpätöinen vaikutus. Toisaalta testivetoisen kehityksen suosiman test-first-menettelytavan hyödyntäminen voi edistää aloittelevien ohjelmistokehittäjien tuottavuutta.