Search

This study investigated human raters’ perceptions of automated assessment of oral language skills. The raters (n = 37) participated in three assessment rounds organized by the DigiTala research project using Moodle and Zoom. The raters assessed Finnish and Swedish learners’ speech samples using one holistic and five analytical rating scales created in the project. After the assessment, the raters responded to a questionnaire that included Likert-scale and open-ended questions. Numerical responses were analyzed with descriptive statistics, open responses with content analysis. The raters think that automated scoring could support human rating. The assessment rounds were carried out successfully. The selected dimensions proved to be essential parts of the speaking performances. The results will benefit those working on automated assessment and oral language assessment., This study investigated human raters’ perceptions of automated assessment of oral language skills. The raters (n = 37) participated in three assessment experiments organized by the DigiTala research project using Moodle and Zoom. The raters assessed Finnish and Swedish learners’ speech samples using the criteria created by the project, which consisted of a holistic scale and five analytical scales. After the assessment, the raters responded to a questionnaire that included Likert-scale and open-ended questions. Numerical responses were analyzed by descriptive statistics, open responses by content analysis. The results will benefit those working on automated assessment and oral language assessment.

Assessment is an important tool in the learning process. This research was aimed to study Finnish as a second language (F2) teachers’ perceptions on formative assessment (FA). The data (n=208) was gathered from F2-teachers in 2015. The results show that F2-teachers use many good practices of FA in every-day work. However, many fail to find it effective and meaningful. Perceptions on assessment are quite evenly distributed in the three dimensions of assessment literacy. However, the insight on assessment is thinner in the dimensions of conceptual and praxeological knowledge compared to the socio-emotional dimension. Some assessment components align with multiple dimensions. The core concepts of FA are well known, but seldom considered advantageous. Thus, FA guidelines are not applied as intended. Further teacher education aimed for both clarifying the purpose and good practices of FA should be implemented. More research is needed especially on the role of feedback in F2-context., Assessment is a key element in teaching and learning. This paper focuses on S2-teachers’ perceptions on formative assessment in improving learning. The data (N=208) was gathered by KARVI in 2015. The results showed that even though teachers use many formative assessment practices in their every-day work, they do not necessary see the benefits. Teachers’ perceptions are quite evenly distributed in conceptual, praxeological and socio-emotional dimensions. Elaboration was richest in the socio-emotional dimension. Some components were considered in multiple dimensions. Taken together, S2-teachers are familiar with formative assessment, but they do not necessarily see it as advantageous for the learning process. Further education for teachers is needed, both for integrating assessment process with other teaching practices and for internalising the main principles of formative assessment. More studies are needed for defining effective feedback practices in S2-teaching.

Ylioppilastutkinnon suorittaa hyväksytysti vuosittain noin 30 000 opiskelijaa, ja heistä valtaosa sisällyttää kokeeseen myös vieraan kielen ja/tai toisen kotimaisen kielen kokeen. Kokeiden painoarvo korkeakouluvalinnoissa on viime vuosina kasvanut. Tässä artikkelissa tarkastelemme, miten tutkinnon kielikokeet ovat viime vuosina kehittyneet ja mitä muutoksia on näköpiirissä. nonPeerReviewed

Digitaaliset kielikokeet ovat nykypäivää muun muassa ylioppilastutkinnossa, ja lähes jokaisessa oppilaitoksessa on jonkinlainen digitaalinen oppimis- ja opetusalusta. Tekniikka on mullistanut kielitaidon testaamisen ja harjoittelun, mutta täysin automaattiset suullisen kielitaidon kokeet ovat vielä harvinaisia kansainvälisestikin. Tekoäly on kuitenkin arkipäiväistymässä monilla elämänalueilla, ja se herättää monenlaisia mielikuvia ja pohdintaa sen vaikutuksista ja eettisyydestä. Artikkelissa kartoitamme ja analysoimme ihmisarvioijien näkemyksiä digitaalisesti toteutetusta arviointiprosessista, jossa keräsimme ihmisarvioijilta arvioita suomen ja ruotsin puhenäytteisiin. Tutkimme myös arviointikierroksille osallistuneiden näkemyksiä suullisen kielitaidon automaattisesta arvioinnista. Kolmas tutkimuskysymyksemme (ks. luku 2) liittyy tehtävänannon ja puheen ulottuvuuksiin, joita puhesuorituksista arvioidaan. Tutkimus on osa DigiTala-tutkimushanketta (Kautonen & von Zansen 2020), jossa kehitetään puheentunnistusta, automaattista puheen arviointia sekä automaattista palautetta suomen ja ruotsin oppijoille (von Zansen ym. arvioitavana). Automatiikka lisää mahdollisuuksia puheen itsenäiseen harjoitteluun (von Zansen ym. arvioitavana). Suurissa ja tärkeissä (high-stakes) kokeissa se voi toimia ihmisarvioinnin tukena, vähentää arvioijien työtaakkaa sekä lisätä arvioinnin objektiivisuutta. Ihmisen tekemään arvioon voivat vaikuttaa esimerkiksi erilaiset testattavan yksilölliset tai kielelliset piirteet, kuten aksentteihin liittyvät ennakkokäsitykset (Halonen ym. 2020). Nykynäkemyksen mukaan arviointiin osallistuvien monien toimijoiden välinen tiedonkulku ja dialogi ovat tärkeitä laadukkaalle arvioinnille. Näitä osallisia (stakeholders) ovat niin laatijat ja käyttäjät kuin arvioitavatkin (Hidri 2020), ja kaikkien osapuolten näkemykset on syytä huomioida jo arviointivälineiden kehittelyvaiheessa. Arvioijien tai edes opettajien käsityksiä automaattisesta suullisen kielitaidon arvioinnista ei tietojemme mukaan ole aikaisemmin tutkittu. Tutkimustiedon avulla voimme kehittää automaattisen arvioinnin menetelmiä oikeudenmukaisiksi ja käyttökelpoisiksi. This study investigated human raters’ perceptions of automated assessment of oral language skills. The raters (n = 37) participated in three assessment rounds organized by the DigiTala research project using Moodle and Zoom. The raters assessed Finnish and Swedish learners’ speech samples using one holistic and five analytical rating scales created in the project. After the assessment, the raters responded to a questionnaire that included Likert-scale and open-ended questions. Numerical responses were analyzed with descriptive statistics, open responses with content analysis. The raters think that automated scoring could support human rating. The assessment rounds were carried out successfully. The selected dimensions proved to be essential parts of the speaking performances. The results will benefit those working on automated assessment and oral language assessment. peerReviewed

The article reports on a quantitative investigation of the differences in Finnish 15–16 year- old students’ self-reported foreign/second language (L2) study practices and use across three languages: English (n=3,476), Swedish (n=1,679), and French (n=1,023). The data set consisted of (a) a questionnaire about students’ background and L2 study practices/use and (b) their L2 speaking and writing proficiency. The differences between the languages were generally small although the students reported to do their homework in Swedish considerably less regularly than in English and French and English was used more outside classroom than Swedish and French. The differences in the background variables and the correlations between the language practices/use and the language proficiency were generally small, too, although doing homework in French correlated moderately with proficiency. The findings imply paths to enhance coherence across language education integration of language learning in and outside school.

peerReviewed

Opetushallitus arvioi keväällä 2013 perusopetuksen päättövaiheessa olleiden oppilaiden kielitaitoa A-ruotsissa ja neljässä tavallisimmin opiskellussa vieraassa kielessä. Arvioinnilla selvitettiin, miten opetussuunnitelman perusteissa (2004) ilmaistut oppimistavoitteet on saavutettu, ja mitkä oppilaan taustatekijät ja oppimisympäristön piirteet selittävät oppimistuloksia. Vaikka kielelliset tavoitteet saavutettiin pääosin hyvin, niin kehittämistarpeita havaittiin erityisesti oppituntien työtavoissa ja oppilaiden käsityksissä. nonPeerReviewed

This dissertation on CLIL teaching in Russian language primary education examines the situatedness of language practices in bilingual education. The focus of the dissertation is on the interaction between the teacher and the students, with an emphasis on language use and participant roles over a period of two years in Russian-language CLIL-classroom interaction when the students were 6 to 8 years old. The research draws upon sociocultural theory as a framework for learning in interaction. Target language learning is also approached from the perspective of ecological language teaching and learning. In addition, it relies on the importance of participation in learning a language. The subject of the research is CLIL classroom interaction of primary education students, where the target language is Russian, which is rare in CLIL context. The mother tongue of all participating students is Finnish, and the foreign language is Russian. The data of the study has been gathered from natural classroom interactions and it consists of video recordings. In the study, the linguistic and, where possible, the embodied interaction of the participants are analyzed in two different activities: teacher-led instruction and freer independent work activities. The empirical data is examined using microethnography and multimodal conversation analysis. My dual role as a researcher and teacher of the target group has influenced the research process, evident in the gathering of data, reporting, analysis and in the reflection of the teacher-researcher dual role. The dissertation consists of three original research articles and a summary. The first and second articles examine turn exchange structures and changes evident in them. In addition, they examine how the construction of turn exchange is supported. In teacher-led interaction, the most common three-part exchange structure is also the most common in the findings of the study. During the observation period, the amount of target language responses and learner initiatives increases and diversifies. Another key finding is also that the interaction support provided by the teacher increases the students’ use of target language expressions. During more independent activities, the focus of the study is on how the requests made by the students eventually change entirely to the target language. In addition, the linguistic and functional change in request structures is raised to view. The focus of the third article is on the structure of participation, the permanent and situational roles of the participants and the way these occur in classroom interaction. The main finding is that freer speech rights change the way students participate. In conclusion, the study shows a change in the participation of the students, in the use of the target language and in the socializing process in the CLIL classroom. Keywords: classroom interaction, CLIL (Content and Language Integrated Learning), early language learning, microethnography, teacher as reseacher, Russian language Tämä väitöstutkimus käsittelee kielikäytänteiden tilanteisuutta venäjänkielisessä CLIL-alkuopetuksessa. Tutkimuskohteena on opettajan ja oppilaiden välinen vuorovaikutus erityisesti kielenkäytön ja osallistujaroolien kannalta kahden alkuopetusvuoden aikana, kun oppilaat olivat 6–8-vuotiaita. Tutkimus nojaa sosiokulttuuriseen käsitykseen oppimisesta vuorovaikutuksessa. Kohdekielen oppimista lähestytään myös ekologisen kielen opettamisen ja oppimisen näkökulmasta. Lisäksi tukeudutaan osallistumisen merkitykseen kielen oppimisessa. Tutkimuksen kohteena on CLIL-alkuopetukseen suuntautuva luokkahuonevuorovaikutus, jossa kohdekieli on tässä kontekstissa harvinainen venäjän kieli. Kaikkien oppilaiden äidinkieli on suomi ja vieras kieli venäjä. Tutkimuksen aineisto on videoitu aidoissa vuorovaikutustilanteissa. Tutkimuksessa analysoidaan osallistujien kielellistä ja mahdollisuuksien mukaan myös kehollista vuorovaikutusta kahdessa erilaisessa aktiviteetissa: opettajajohtoisessa opiskelussa ja vapaammassa itsenäisessä työssä. Aineiston analysoinnissa hyödynnetään mikroetnografiaa ja multimodaalista keskustelunanalyysiä. Kaksoisroolini tutkimuksen suorittajana ja tutkittavan kohdejoukon opettajana on vaikuttanut tutkimusprosessiin sen eri vaiheissa, mikä näkyy aineistonkeruussa, analyysissä, raportoinnissa ja tutkija-opettajan position reflektoinnissa. Väitöstutkimus koostuu kolmesta osatutkimuksesta ja yhteenvedosta. Ensimmäisessä ja toisessa osatutkimuksessa tarkastellaan vuoronvaihtorakenteita ja niissä esiintyviä muutoksia. Lisäksi tutkitaan sitä, miten vuoronvaihdon rakentumista tuetaan. Opettajajohtoisessa vuorovaikutuksessa yleisimpänä pidetty kolmiosainen vuoronvaihtorakenne on myös tutkittavassa aineistossa yleisin. Tarkkailujakson aikana kohdekielisten oppilasresponssien ja -aloitteiden määrä kasvaa ja monipuolistuu. Keskeinen havainto on myös se, että opettajan tarjoama vuorovaikutustuki ruokkii oppilaiden kohdekielisiä ilmauksia. Itsenäisen työn aktiviteetissa tarkkaillaan sitä, kuinka oppilaiden pyynnöt muuttuvat ajan kuluessa täysin kohdekielisiksi. Lisäksi nostetaan esiin pyyntörakenteiden lingvistinen ja funktionaalinen muutos. Kolmannen osatutkimuksen fokuksena ovat pysyvät ja tilannekohtaiset osallistujaroolit ja niiden ilmenemismuodot. Päähavaintona on, että vapaampien puheoikeuksien myötävaikutuksella oppilaiden osallistumisen tapa muuttuu. Kokonaisuudessaan väitöstutkimus osoittaa muutoksen oppilaiden osallistumisessa, kohdekielen käyttämisessä ja CLIL-luokan toimintakulttuuriin sosiaalistumisessa. Avainsanat: CLIL (Content and Language Integrated Learning), luokkahuonevuorovaikutus, mikroetnografia, opettaja oman työnsä tutkijana, varhainen kielen oppiminen, venäjä

acceptedVersion

Suomen kouluissa opiskellaan yhä vähemmän ja yhä harvempia vieraita kieliä. Valinnaisten kielten opiskelun suosio on laskenut, ja kielitaito on vaarassa jäädä pelkän englannin varaan. Erilaisia toimenpiteitä, kuten kielen opetuksen varhentaminen, on jo tehty. Ne eivät kuitenkaan ole juurikaan lisänneet muiden vieraiden kielten opiskelun suosiota, vaan valtaosa oppilaista ja opiskelijoista opiskelee edelleen vain englantia kotimaisten kielten lisäksi. Kysyimme kieltenopettajilta, millaisia keinoja eri kouluasteilla on jo ollut käytössä valintojen monipuolistamiseksi sekä millaisilla konkreettisilla keinoilla kielivalintoja vielä voitaisiin monipuolistaa. Aineisto on kerätty tammi-helmikuussa 2021 Webropol-kyselyllä, joka oli suunnattu eri koulutusasteiden kielten opettajille. Tulokset osoittavat, että oppilaitoksissa on jo tehty monia sellaisia toimenpiteitä, joihin opettajat ja koulut itse voivat vaikuttaa. Tulevaisuudessa kielivalintojen monipuolistamiseen toivotaan paikallisten toimien sijaan laajempia koulutuspoliittisia ratkaisuja. Studying optional languages is in decline in Finland. Often, English is the only language that is studied alongside Finnish and Swedish, the compulsory national languages. Measures such as starting the study of foreign languages earlier have not had a significant effect on the situation. In this paper, we discuss language teachers’ (n=349) views on what has been done and what could and should be done to increase studying optional languages. The data were collected in January-February 2021 via a Webropol questionnaire that was distributed to language teachers at a range of institutions from pre-primary to adult education. The results show that teachers and schools have taken numerous measures to try to attract students. However, rather than local measures, the participants called for nationwide educational policies that would address the issue. peerReviewed

Kuvia tuotetaan määrällisesti enemmän kuin koskaan, ja samalla keskustelu visuaalisuudesta ja sen merkityksestä on lisääntynyt. Myös maantiedettä pidetään visuaalisesti orientoituneena tieteenalana. Maantieteilijät eivät kuitenkaan ole kehittäneet omaa visuaalista teoriaansa. Tässä artikkelissa esitetään niin kutsuttu puhelinmalli, jota voidaan käyttää kuvien maantieteellisen tulkinnan apuna maantieteen opetuksessa. Puhelinmalli seuraa Roland Barthesin jalanjälkiä ja pohjautuu neljään semioottiseen funktioon: syntagmaan, ankkurointiin, merkitsijään ja konnotaatioon. Ne ohjaavat huomioimaan sekä visuaaliset että sanalliset elementit, kuvan rajauksen ja maantieteellisten käsitteiden soveltamisen kuvatulkinnassa. Puhelinmallia havainnollistetaan maantieteen pääaineopiskelijoiden (n=24) tulkinnoilla New Yorkissa otetusta valokuvasta. Perusopetuksen (2014) ja Lukion (2019) opetussuunnitelman perusteissa mainitut geomediataidot korostavat visuaalisten esitysten roolia ja niiden tulkinnantaitoa myös maantieteen opetuksessa.

Artikkeli tarkastelee, miten 2010-luvun lopun pohjoismaiset kirjalli-suusdidaktiset teokset legitimoivat kirjallisuudenopetuksen ja määrit-tävät kirjallisuusdidaktiikkaa. Aineistona on viisi kirjallisuudenopetus-ta käsittelevää pohjoismaista monografiaa, joita tarkastellaan teo-riaohjaavan sisällönanalyysin keinoin. Teokset perustelevat kirjalli-suudenopetusta välineellisillä, kulttuurisilla ja sosiaalisilla näkökulmil-la sekä emotionaalisilla ja esteettisillä näkökulmilla. Kirjallisuuden-opetuksen sisältöinä painottuvat historialliset ja aikalaistekstit käsit-teiden tai kirjallisuusperiodien sijaan. Kirjallisuusdidaktiikka määrittyy kirjallisuuden opetusta ja oppimista sekä kirjallisen kompetenssin rakentumista tarkastelevaksi tiedonalaksi, jossa yhdistyvät opettajan a) kirjallisuustieteellinen ymmärrys ja sisältötieto, b) tieto kirjallisuu-den opetus- ja arviointimenetelmistä, c) ymmärrys näiden menetel-mien taustalla olevista teorioista, d) ymmärrys kirjallisuuden opetus-konteksteista suhteessa opetussuunnitelmiin ja e) käsitys oppilaiden kirjallisesta kompetenssista. This study explores how literature teaching is legitimized and how literature education is defined in five Scandinavian monographs published 2015–2019. The theory-based analysis found out that literature teaching is legitimized with instrumental, cultural or social reasons or emotional and aesthetic basis. The content of literary curricula emphasis on literary texts more than literary concepts or literary periods. Literature education can be defined as a knowledge area which focus on teaching literature, learning about literature and building a literary competence. These are connected with teacher’s literary and literature historical content knowledge, teach-er’s knowledge about teaching and assessment methods, teacher’s knowledge about educational theories behind these methods, teacher’s understanding of implementing literature curriculum in dif-ferent learning contexts and teacher’s knowledge about student’s literary competence. acceptedVersion

The aim of this study is to explore rater effects, such as consistency and severity of the judgements of 12 expert judges, and to report the extent of assessment criteria used by them. The data of the study are based on the three different phases of the standardization procedure which were analyzed using the MFRM model. In addition, feedback gathered from the expert judges was used to find out their opinions about the procedure and to validate the results of the standardization. The results of this study indicate that general discussion on and statistical information about the items influenced judges’ consistency and severity and their adaptation of the assessment criteria. The judges themselves also found that these factors affected their judgements. In addition, the nature of listening and the criteria caused difficulties during the procedure. peerReviewed

The article reports on a quantitative investigation of the differences in Finnish 15–16 year- old students’ self-reported foreign/second language (L2) study practices and use across three languages: English (n=3,476), Swedish (n=1,679), and French (n=1,023). The data set consisted of (a) a questionnaire about students’ background and L2 study practices/use and (b) their L2 speaking and writing proficiency. The differences between the languages were generally small although the students reported to do their homework in Swedish considerably less regularly than in English and French and English was used more outside classroom than Swedish and French. The differences in the background variables and the correlations between the language practices/use and the language proficiency were generally small, too, although doing homework in French correlated moderately with proficiency. The findings imply paths to enhance coherence across language education integration of language learning in and outside school. peerReviewed

This paper focuses on raters’ beliefs and views of assessment and the factors influencing their judgments and performance as raters in the National Certificates of Language Proficiency (NCLP) Finnish language test. Data were collected using semi-structured interviews (N=18) and content analysis was used to classify the responses. Findings suggest that raters’ experience and training have positive effects on rater performance and the use of assessment criteria. Experienced raters seem to be more familiar with different language proficiency levels and their view of language is more holistic today than during the first years of their rating experience. There are some external factors and linguistic features that affect raters’ performance, such as pronunciation, handwriting and the test-taker’s personality. In these cases, self-reflection helps raters to strive for objectivity in their evaluations. peerReviewed