Search

This study investigated human raters’ perceptions of automated assessment of oral language skills. The raters (n = 37) participated in three assessment rounds organized by the DigiTala research project using Moodle and Zoom. The raters assessed Finnish and Swedish learners’ speech samples using one holistic and five analytical rating scales created in the project. After the assessment, the raters responded to a questionnaire that included Likert-scale and open-ended questions. Numerical responses were analyzed with descriptive statistics, open responses with content analysis. The raters think that automated scoring could support human rating. The assessment rounds were carried out successfully. The selected dimensions proved to be essential parts of the speaking performances. The results will benefit those working on automated assessment and oral language assessment., This study investigated human raters’ perceptions of automated assessment of oral language skills. The raters (n = 37) participated in three assessment experiments organized by the DigiTala research project using Moodle and Zoom. The raters assessed Finnish and Swedish learners’ speech samples using the criteria created by the project, which consisted of a holistic scale and five analytical scales. After the assessment, the raters responded to a questionnaire that included Likert-scale and open-ended questions. Numerical responses were analyzed by descriptive statistics, open responses by content analysis. The results will benefit those working on automated assessment and oral language assessment.

Fluency is a commonly used descriptor of second language (L2) speaking skills. Unplanned and too frequent pauses, hesitations, and repetitions disrupt the flow of speech and can cause temporal irregularities at all levels of speech hierarchy, from syllable rate to phrasing. However, most studies that attempt to quantify fluency disregard pause locations. The current study investigates, whether and which pause locations affect the perceived fluency and proficiency in L2 Finnish. Several pause parameters were computed from spontaneous L2 Finnish speech samples. Pause locations were investigated with regards to clauses and phrases as well as incomplete words. The effect of pause locations to human assessments of fluency and proficiency was investigated using linear regression models. The results suggest that silent and filled pauses within phrases and pauses after incomplete words significantly reduce the fluency of L2 Finnish speech, whereas pauses within clauses may even have a positive effect on fluency and proficiency. The results support the role of phrases over clauses as bases for prosodic grouping in spontaneous Finnish, but further research is needed with native speakers of Finnish. Furthermore, the results encourage to investigate the role of pause location parameters in comprehensive models for L2 speech fluency. nonPeerReviewed

While utterance fluency measures are often studied in rela tion to perceived L2 fluency and proficiency, the effect of creaky voice remains ignored. However, creaky voice is frequent in a number of languages, including Finnish, where it serves as a cue for phrase-boundaries and turn-taking. In this study we inves tigate the roles of creaky voice and utterance fluency measures in predicting fluency and proficiency ratings of spontaneous L2 Finnish (F2) speech. In so doing, 16 expert raters participated in assessing narrative spontaneous speech samples from 160 learn ers of Finnish. The effect of creaky voice and utterance fluency measures on proficiency and fluency ratings was studied using linear regression models. The results indicate that creaky voice can contribute to both oral proficiency and fluency alongside utterance fluency measures. Furthermore, average duration of composite breaks – a measure combining breakdown and re pair phenomena – proved to be the most significant predictor of fluency. Based on these findings we recommend further in vestigation of the effect of creaky voice to the assessment of L2 speech as well as reconsideration of the utterance fluency measures used in predicting L2 fluency or proficiency. peerReviewed

Digitaaliset kielikokeet ovat nykypäivää muun muassa ylioppilastutkinnossa, ja lähes jokaisessa oppilaitoksessa on jonkinlainen digitaalinen oppimis- ja opetusalusta. Tekniikka on mullistanut kielitaidon testaamisen ja harjoittelun, mutta täysin automaattiset suullisen kielitaidon kokeet ovat vielä harvinaisia kansainvälisestikin. Tekoäly on kuitenkin arkipäiväistymässä monilla elämänalueilla, ja se herättää monenlaisia mielikuvia ja pohdintaa sen vaikutuksista ja eettisyydestä. Artikkelissa kartoitamme ja analysoimme ihmisarvioijien näkemyksiä digitaalisesti toteutetusta arviointiprosessista, jossa keräsimme ihmisarvioijilta arvioita suomen ja ruotsin puhenäytteisiin. Tutkimme myös arviointikierroksille osallistuneiden näkemyksiä suullisen kielitaidon automaattisesta arvioinnista. Kolmas tutkimuskysymyksemme (ks. luku 2) liittyy tehtävänannon ja puheen ulottuvuuksiin, joita puhesuorituksista arvioidaan. Tutkimus on osa DigiTala-tutkimushanketta (Kautonen & von Zansen 2020), jossa kehitetään puheentunnistusta, automaattista puheen arviointia sekä automaattista palautetta suomen ja ruotsin oppijoille (von Zansen ym. arvioitavana). Automatiikka lisää mahdollisuuksia puheen itsenäiseen harjoitteluun (von Zansen ym. arvioitavana). Suurissa ja tärkeissä (high-stakes) kokeissa se voi toimia ihmisarvioinnin tukena, vähentää arvioijien työtaakkaa sekä lisätä arvioinnin objektiivisuutta. Ihmisen tekemään arvioon voivat vaikuttaa esimerkiksi erilaiset testattavan yksilölliset tai kielelliset piirteet, kuten aksentteihin liittyvät ennakkokäsitykset (Halonen ym. 2020). Nykynäkemyksen mukaan arviointiin osallistuvien monien toimijoiden välinen tiedonkulku ja dialogi ovat tärkeitä laadukkaalle arvioinnille. Näitä osallisia (stakeholders) ovat niin laatijat ja käyttäjät kuin arvioitavatkin (Hidri 2020), ja kaikkien osapuolten näkemykset on syytä huomioida jo arviointivälineiden kehittelyvaiheessa. Arvioijien tai edes opettajien käsityksiä automaattisesta suullisen kielitaidon arvioinnista ei tietojemme mukaan ole aikaisemmin tutkittu. Tutkimustiedon avulla voimme kehittää automaattisen arvioinnin menetelmiä oikeudenmukaisiksi ja käyttökelpoisiksi. This study investigated human raters’ perceptions of automated assessment of oral language skills. The raters (n = 37) participated in three assessment rounds organized by the DigiTala research project using Moodle and Zoom. The raters assessed Finnish and Swedish learners’ speech samples using one holistic and five analytical rating scales created in the project. After the assessment, the raters responded to a questionnaire that included Likert-scale and open-ended questions. Numerical responses were analyzed with descriptive statistics, open responses with content analysis. The raters think that automated scoring could support human rating. The assessment rounds were carried out successfully. The selected dimensions proved to be essential parts of the speaking performances. The results will benefit those working on automated assessment and oral language assessment. peerReviewed

This study describes a pilot attempt to use acoustically determined sentence stress in distinguishing native and L2 speakers of Finland Swedish at different proficiency levels. The study is part of the DigiTala project that examines and develops automatic tools for spoken L2 assessment. Stressed syllables were detected in 235 L2 and 30 L1 speech samples using combinations of f0, intensity, and duration. Differences were found in the relative number of stressed syllables between native and L2 speakers using f0 and duration or all three features. Further research with more consistent speech data is needed to establish reliable automatic measures of sentence stress. nonPeerReviewed

nonPeerReviewed

AFinLA’s research network for Speech and Spoken Language Research was established in 2014. This is the first thematic publication from the network. This introductory article introduces and classifies the other articles in this collection. In addition, we examine earlier AFinLA publications from the preceding four decades and evaluate the extent of pronunciation or spoken language research in AFinLA’s publication series. In our analysis, we noticed that studies related to pronunciation or spoken language research formed ca. 12 % of the total volume of published articles. There has been a slight proportional decrease in number during the decades. Spoken language studies have been more common than studies focusing on pronunciation. The tar- get languages have been most commonly either Finnish or English. The main focus has often been on learning or assessing foreign language skills, but studies focusing on the teaching of pronunciation or spoken language have so far been very rare in Finland. peerReviewed

Denna översiktsartikel presenterar forskningsresultat om S2-uttal i andra- och främmandespråkskontexter hos talare med finska, svenska eller engelska som förstaspråk (S1) när målspråket (S2) är finska, svenska eller engelska. Det finns drygt 100 vetenskapliga studier i de undersökta kombinationerna men ingen tidigare översikt. Syftet med artikeln är att sammanfatta empiriska forskningsresultat om receptiva och produktiva aspekter av S2-uttal i dessa språkkombinationer. Forskningsresultaten illustrerar ytterligare hurdana svårigheter språkinlärare har med uttal och vilka drag som speciellt bör beaktas i språkundervisning. Artikeln är avsedd att vara till nytta för lärare och forskare som arbetar med uttalsundervisning och -forskning i första hand i Finland. Nyckelord: andraspråk, främmande språk, inlärning, perception, produktion, uttal Tässä kirjallisuuskatsausartikkelissa kartoitetaan tutkimustuloksia ääntämisestä toisen ja vieraan kielen konteksteissa. Oppijoiden lähtökielenä on suomi, ruotsi tai englanti ja kohdekielenä suomi, ruotsi tai englanti. Kyseisistä kielipareista on tehty yli 100 tutkimusta, mutta aikaisemmat laajemmat kartoitukset tutkimuksista puuttuvat. Artikkelin tarkoituksena on esittää tiivistetysti empiiristä tutkimustietoa sekä reseptiivisistä että produktiivisista puolista vieraan kielen ääntämisessä näissä kieliyhdistelmissä. Tutkimustulokset valottavat myös sitä, millaisia ongelmia kielenoppijolla on ääntämisessä ja mitä piirteitä tulisi tämän vuoksi huomioida aiempaa enemmän kielenopetuksessa. Artikkeli hyödyttää opettajia ja tutkijoita, jotka työskentelevät ääntämisen opettamisen ja tutkimisen parissa erityisesti Suomessa. Avainsanat: havainnointi, oppiminen, toinen kieli, tuottaminen, vieras kieli, ääntäminen Keywords: foreign language, learning, perception, production, pronunciation, second language

I den här studien analyseras finskspråkiga inlärares uttal av segment i sverigesvenskt standarduttal (mellansvenska). Talarna (n=15) är universitetsstudenter med svenska som huvud- eller biämne. Deras uttal har undersökts auditivt och två talares uttal har också analyserats akustiskt i en långtidsstudie (tre år mellan testtillfällena). De ljud som orsakar mest problem för talargruppen är [ʉ̟ː], [ɵ], [ɑː], [ɧ] och [ɕ], dvs. ljud som saknas i finska och/eller som kan betraktas som fonologiskt markerade. Också aspirerade klusiler och supradentala konsonanter orsakar en del problem för talargruppen. Typiskt för uttalet är målspråksavvikande intrapersonell variation i segmentkvalitet. En viss positiv utveckling av uttalet ägde rum mot slutet av uppföljningen genom att en del långa vokaler uttalades mer målspråklikt och genom att den målspråksavvikande variationen minskade något. Nyckelord: andraspråk, finska, inlärning, produktion, uttal Tässä tutkimuksessa analysoidaan suomenkielisten oppijoiden ruotsinruotsin standardiääntämyksen (keskiruotsin variantti) äänteiden oppimista. Puhujat (n=15) ovat yliopisto-opiskelijoita ruotsin kieli pää- tai sivuaineenaan. Heidän ääntämyksensä on tutkittu kuulonvaraisesti, ja kahden puhujan ääntämys on lisäksi analysoitu akustisesti pitkittäistutkimuksessa (testausväli kolme vuotta). Vaikeimpia äänteitä puhujaryhmälle ovat [ʉ̟ː], [ɵ], [ɑː], [ɧ] ja [ɕ], joita ei ole suomen kielessä ja/tai joita voidaan pitää fonologisesti tunnusmerkillisinä. Myös aspiroituneet klusiilit ja nk. supradentaalikonsonantit aiheuttavat ongelmia puhujille. Tunnusomaista ääntämykselle on kohdekielestä poikkeava puhujakohtainen variaatio eli horjunta segmenttien laadussa. Ääntämyksessä tapahtui tiettyä kehitystä siten, että seurannan lopussa muutamat pitkät vokaalit äännettiin kohdekielisemmin ja puhujakohtainen ei-kohdekielinen variaatio väheni. Avainsanat: oppiminen, suomi, tuottaminen, vieras kieli, ääntäminen Keywords: Finnish, learning, production, pronunciation, second language

Arvioidut teokset Ann-Marie Ivars: Dialekter och småstadsspråk. Svenskan i Finland – i dag och i går I:1. Skrifter utgivna av Svenska litteratursällskapet i Finland 798. Helsingfors: Svenska litteratursällskapet i Finland 2015. 464 s. isbn 978-951-583-336-5. Marika Tandefelt (toim.): Gruppspråk, samspråk, två språk. Svenskan i Finland – i dag och i går I:2. Skrifter utgivna av Svenska litteratursällskapet i Finland 799. Helsingfors: Svenska litteratursällskapet i Finland 2015. 252 s. isbn 978-951-583-337-2.