Search

This study investigated human raters’ perceptions of automated assessment of oral language skills. The raters (n = 37) participated in three assessment rounds organized by the DigiTala research project using Moodle and Zoom. The raters assessed Finnish and Swedish learners’ speech samples using one holistic and five analytical rating scales created in the project. After the assessment, the raters responded to a questionnaire that included Likert-scale and open-ended questions. Numerical responses were analyzed with descriptive statistics, open responses with content analysis. The raters think that automated scoring could support human rating. The assessment rounds were carried out successfully. The selected dimensions proved to be essential parts of the speaking performances. The results will benefit those working on automated assessment and oral language assessment., This study investigated human raters’ perceptions of automated assessment of oral language skills. The raters (n = 37) participated in three assessment experiments organized by the DigiTala research project using Moodle and Zoom. The raters assessed Finnish and Swedish learners’ speech samples using the criteria created by the project, which consisted of a holistic scale and five analytical scales. After the assessment, the raters responded to a questionnaire that included Likert-scale and open-ended questions. Numerical responses were analyzed by descriptive statistics, open responses by content analysis. The results will benefit those working on automated assessment and oral language assessment.

Ylioppilastutkinnon suorittaa hyväksytysti vuosittain noin 30 000 opiskelijaa, ja heistä valtaosa sisällyttää kokeeseen myös vieraan kielen ja/tai toisen kotimaisen kielen kokeen. Kokeiden painoarvo korkeakouluvalinnoissa on viime vuosina kasvanut. Tässä artikkelissa tarkastelemme, miten tutkinnon kielikokeet ovat viime vuosina kehittyneet ja mitä muutoksia on näköpiirissä. nonPeerReviewed

Digitaaliset kielikokeet ovat nykypäivää muun muassa ylioppilastutkinnossa, ja lähes jokaisessa oppilaitoksessa on jonkinlainen digitaalinen oppimis- ja opetusalusta. Tekniikka on mullistanut kielitaidon testaamisen ja harjoittelun, mutta täysin automaattiset suullisen kielitaidon kokeet ovat vielä harvinaisia kansainvälisestikin. Tekoäly on kuitenkin arkipäiväistymässä monilla elämänalueilla, ja se herättää monenlaisia mielikuvia ja pohdintaa sen vaikutuksista ja eettisyydestä. Artikkelissa kartoitamme ja analysoimme ihmisarvioijien näkemyksiä digitaalisesti toteutetusta arviointiprosessista, jossa keräsimme ihmisarvioijilta arvioita suomen ja ruotsin puhenäytteisiin. Tutkimme myös arviointikierroksille osallistuneiden näkemyksiä suullisen kielitaidon automaattisesta arvioinnista. Kolmas tutkimuskysymyksemme (ks. luku 2) liittyy tehtävänannon ja puheen ulottuvuuksiin, joita puhesuorituksista arvioidaan. Tutkimus on osa DigiTala-tutkimushanketta (Kautonen & von Zansen 2020), jossa kehitetään puheentunnistusta, automaattista puheen arviointia sekä automaattista palautetta suomen ja ruotsin oppijoille (von Zansen ym. arvioitavana). Automatiikka lisää mahdollisuuksia puheen itsenäiseen harjoitteluun (von Zansen ym. arvioitavana). Suurissa ja tärkeissä (high-stakes) kokeissa se voi toimia ihmisarvioinnin tukena, vähentää arvioijien työtaakkaa sekä lisätä arvioinnin objektiivisuutta. Ihmisen tekemään arvioon voivat vaikuttaa esimerkiksi erilaiset testattavan yksilölliset tai kielelliset piirteet, kuten aksentteihin liittyvät ennakkokäsitykset (Halonen ym. 2020). Nykynäkemyksen mukaan arviointiin osallistuvien monien toimijoiden välinen tiedonkulku ja dialogi ovat tärkeitä laadukkaalle arvioinnille. Näitä osallisia (stakeholders) ovat niin laatijat ja käyttäjät kuin arvioitavatkin (Hidri 2020), ja kaikkien osapuolten näkemykset on syytä huomioida jo arviointivälineiden kehittelyvaiheessa. Arvioijien tai edes opettajien käsityksiä automaattisesta suullisen kielitaidon arvioinnista ei tietojemme mukaan ole aikaisemmin tutkittu. Tutkimustiedon avulla voimme kehittää automaattisen arvioinnin menetelmiä oikeudenmukaisiksi ja käyttökelpoisiksi. This study investigated human raters’ perceptions of automated assessment of oral language skills. The raters (n = 37) participated in three assessment rounds organized by the DigiTala research project using Moodle and Zoom. The raters assessed Finnish and Swedish learners’ speech samples using one holistic and five analytical rating scales created in the project. After the assessment, the raters responded to a questionnaire that included Likert-scale and open-ended questions. Numerical responses were analyzed with descriptive statistics, open responses with content analysis. The raters think that automated scoring could support human rating. The assessment rounds were carried out successfully. The selected dimensions proved to be essential parts of the speaking performances. The results will benefit those working on automated assessment and oral language assessment. peerReviewed

The paper addresses Finnish student teachers’ conceptions of assessment literacy in foreign languages. Student teachers’ assessment literacy (STAL) is a focal constituent of teacher cognition and can, according to prior research, be enhanced by principled instruction (DeLuca & Klinger, 2010; Volante & Fazio, 2007). STAL is suggested to imply knowledge, practice and ethical considerations. The nature and priorities of STAL are guided by local needs. Hence, topical issues in the Finnish language education were taken into account alongside general assessment theory. The research questions targeted firstly the emergent factorial structure of STAL, and secondly, the validity of a predetermined theory-driven model in alignment with official national priorities. The data were gathered on a web-based survey to 77 students prior to the lectures, and to 65 students after the lectures. The survey consisted of 75 statements about attitudes and practices related to various domains of assessment. Mainstream inferential statistics was used to compare the pre- and post-dataset. The componential structure of STAL attitudes remained more stable than the construct of practices across the study unit. The major dimension of both measurements was Acquired confidence in assessment of multiple aspects of language ability in the classroom. The envisaged or real practices underwent a substantial transformation towards a more learner-centered architecture highlighting flexibility and communication. Of the predetermined domains, working skills and professional self-esteem seemed to be most sensitive to a short-term pedagogical intervention. The tentative results pave the way for progressive development in raising the impact of teacher education for improved assessment literacy skills.

The article reports on a quantitative investigation of the differences in Finnish 15–16 year- old students’ self-reported foreign/second language (L2) study practices and use across three languages: English (n=3,476), Swedish (n=1,679), and French (n=1,023). The data set consisted of (a) a questionnaire about students’ background and L2 study practices/use and (b) their L2 speaking and writing proficiency. The differences between the languages were generally small although the students reported to do their homework in Swedish considerably less regularly than in English and French and English was used more outside classroom than Swedish and French. The differences in the background variables and the correlations between the language practices/use and the language proficiency were generally small, too, although doing homework in French correlated moderately with proficiency. The findings imply paths to enhance coherence across language education integration of language learning in and outside school.

peerReviewed

peerReviewed

peerReviewed

Opetushallitus arvioi keväällä 2013 perusopetuksen päättövaiheessa olleiden oppilaiden kielitaitoa A-ruotsissa ja neljässä tavallisimmin opiskellussa vieraassa kielessä. Arvioinnilla selvitettiin, miten opetussuunnitelman perusteissa (2004) ilmaistut oppimistavoitteet on saavutettu, ja mitkä oppilaan taustatekijät ja oppimisympäristön piirteet selittävät oppimistuloksia. Vaikka kielelliset tavoitteet saavutettiin pääosin hyvin, niin kehittämistarpeita havaittiin erityisesti oppituntien työtavoissa ja oppilaiden käsityksissä. nonPeerReviewed

Vertaisarvioimaton nonPeerReviewed

This paper describes the development, current state and expected future development of the assessment systems that most of the papers in the present volume cover. Our focus is on the systems serving general education, particularly the Matriculation Examination and national evaluations of educational achievement in languages, as well as the National Certificates of Proficiency aimed at adult language learners. We describe how changes in our understanding of what language proficiency is have affected these assessment systems and discuss the impact that some of them have been expected to have and what is known about that impact. We also discuss how the Common European Framework of Reference has been utilised in language assessment in Finland and how the introduction of technology is likely to affect language assessments. peerReviewed

This dissertation on CLIL teaching in Russian language primary education examines the situatedness of language practices in bilingual education. The focus of the dissertation is on the interaction between the teacher and the students, with an emphasis on language use and participant roles over a period of two years in Russian-language CLIL-classroom interaction when the students were 6 to 8 years old. The research draws upon sociocultural theory as a framework for learning in interaction. Target language learning is also approached from the perspective of ecological language teaching and learning. In addition, it relies on the importance of participation in learning a language. The subject of the research is CLIL classroom interaction of primary education students, where the target language is Russian, which is rare in CLIL context. The mother tongue of all participating students is Finnish, and the foreign language is Russian. The data of the study has been gathered from natural classroom interactions and it consists of video recordings. In the study, the linguistic and, where possible, the embodied interaction of the participants are analyzed in two different activities: teacher-led instruction and freer independent work activities. The empirical data is examined using microethnography and multimodal conversation analysis. My dual role as a researcher and teacher of the target group has influenced the research process, evident in the gathering of data, reporting, analysis and in the reflection of the teacher-researcher dual role. The dissertation consists of three original research articles and a summary. The first and second articles examine turn exchange structures and changes evident in them. In addition, they examine how the construction of turn exchange is supported. In teacher-led interaction, the most common three-part exchange structure is also the most common in the findings of the study. During the observation period, the amount of target language responses and learner initiatives increases and diversifies. Another key finding is also that the interaction support provided by the teacher increases the students’ use of target language expressions. During more independent activities, the focus of the study is on how the requests made by the students eventually change entirely to the target language. In addition, the linguistic and functional change in request structures is raised to view. The focus of the third article is on the structure of participation, the permanent and situational roles of the participants and the way these occur in classroom interaction. The main finding is that freer speech rights change the way students participate. In conclusion, the study shows a change in the participation of the students, in the use of the target language and in the socializing process in the CLIL classroom. Keywords: classroom interaction, CLIL (Content and Language Integrated Learning), early language learning, microethnography, teacher as reseacher, Russian language Tämä väitöstutkimus käsittelee kielikäytänteiden tilanteisuutta venäjänkielisessä CLIL-alkuopetuksessa. Tutkimuskohteena on opettajan ja oppilaiden välinen vuorovaikutus erityisesti kielenkäytön ja osallistujaroolien kannalta kahden alkuopetusvuoden aikana, kun oppilaat olivat 6–8-vuotiaita. Tutkimus nojaa sosiokulttuuriseen käsitykseen oppimisesta vuorovaikutuksessa. Kohdekielen oppimista lähestytään myös ekologisen kielen opettamisen ja oppimisen näkökulmasta. Lisäksi tukeudutaan osallistumisen merkitykseen kielen oppimisessa. Tutkimuksen kohteena on CLIL-alkuopetukseen suuntautuva luokkahuonevuorovaikutus, jossa kohdekieli on tässä kontekstissa harvinainen venäjän kieli. Kaikkien oppilaiden äidinkieli on suomi ja vieras kieli venäjä. Tutkimuksen aineisto on videoitu aidoissa vuorovaikutustilanteissa. Tutkimuksessa analysoidaan osallistujien kielellistä ja mahdollisuuksien mukaan myös kehollista vuorovaikutusta kahdessa erilaisessa aktiviteetissa: opettajajohtoisessa opiskelussa ja vapaammassa itsenäisessä työssä. Aineiston analysoinnissa hyödynnetään mikroetnografiaa ja multimodaalista keskustelunanalyysiä. Kaksoisroolini tutkimuksen suorittajana ja tutkittavan kohdejoukon opettajana on vaikuttanut tutkimusprosessiin sen eri vaiheissa, mikä näkyy aineistonkeruussa, analyysissä, raportoinnissa ja tutkija-opettajan position reflektoinnissa. Väitöstutkimus koostuu kolmesta osatutkimuksesta ja yhteenvedosta. Ensimmäisessä ja toisessa osatutkimuksessa tarkastellaan vuoronvaihtorakenteita ja niissä esiintyviä muutoksia. Lisäksi tutkitaan sitä, miten vuoronvaihdon rakentumista tuetaan. Opettajajohtoisessa vuorovaikutuksessa yleisimpänä pidetty kolmiosainen vuoronvaihtorakenne on myös tutkittavassa aineistossa yleisin. Tarkkailujakson aikana kohdekielisten oppilasresponssien ja -aloitteiden määrä kasvaa ja monipuolistuu. Keskeinen havainto on myös se, että opettajan tarjoama vuorovaikutustuki ruokkii oppilaiden kohdekielisiä ilmauksia. Itsenäisen työn aktiviteetissa tarkkaillaan sitä, kuinka oppilaiden pyynnöt muuttuvat ajan kuluessa täysin kohdekielisiksi. Lisäksi nostetaan esiin pyyntörakenteiden lingvistinen ja funktionaalinen muutos. Kolmannen osatutkimuksen fokuksena ovat pysyvät ja tilannekohtaiset osallistujaroolit ja niiden ilmenemismuodot. Päähavaintona on, että vapaampien puheoikeuksien myötävaikutuksella oppilaiden osallistumisen tapa muuttuu. Kokonaisuudessaan väitöstutkimus osoittaa muutoksen oppilaiden osallistumisessa, kohdekielen käyttämisessä ja CLIL-luokan toimintakulttuuriin sosiaalistumisessa. Avainsanat: CLIL (Content and Language Integrated Learning), luokkahuonevuorovaikutus, mikroetnografia, opettaja oman työnsä tutkijana, varhainen kielen oppiminen, venäjä

acceptedVersion

Assessment and feedback are quintessential components of learning. If used properly, they can advance learning in myriad ways. The national core curriculum for general upper secondary education (2016) underlines that feedback is a crucial aspect of the relationship between a student and a teacher. With teacher feedback, students receive valuable information on their learning, how they have achieved their goals, and what they should do next. Likewise, the core curriculum describes the importance of diverse assessment practices. However, international research has established that there has been a lack of feedback in education. Therefore, this study was conducted to explore Finnish general upper secondary students’ perceptions of teacher assessment and feedback practices. This thesis comprises three sub-studies, for which a survey was used to collect the data. Both quantitative and qualitative methods were used. The purpose of sub-study I was to investigate students’ perceptions of assessment and feedback in general upper secondary schools. This study did not focus on specific subjects. Rather, the purpose was to explore general perceptions about assessment and feedback. The data (N=918) consisted of closed and open-ended questions, which were analysed using deductive content analysis and oneway ANOVA. The results showed that teachers tend to rely heavily on exams and that assessment in general is one-sided. The students also reported a lack of feedback although differences exist between teachers and subjects. Sub-study II focused on students’ perceptions of feedback in Swedish and English courses. The objective was to ascertain whether the perceptions differ between proficiency levels. The data (N=255) consisted of closed-ended answers, which were analysed using one-way ANOVA, one-way MANOVA, and exploratory factor analysis. Based on the analyses, it could be noted that no differences were found in English courses, whereas higher proficiency students in Swedish courses were more willing to correct their mistakes, found teacher feedback to be more useful, and received more feedback compared to lower-level students. A moderate correlation was found between proficiency level and the usefulness of feedback. The main aim of sub-study III was to explore the kind of feedback students find encouraging, and how they consider feedback to be one of several teacher assessment practices. The data (N=282) comprised one open-ended question and one closed-ended question with nine items. Inductive content analysis, oneway ANOVA, and one-way MANOVA were used in the analysis of the data. The results showed that feedback on the content of work is perceived as encouraging, particularly feedback on how to improve the work. Students related teacher assessment practices primarily to assessing exams and giving course grades. Feedback was not regarded to be an important teacher assessment practice. In conclusion, it can be stated that the current assessment and feedback practices give rise for concern. Assessment practices are not as diverse as the core curriculum stipulates, and the amount of feedback is limited. It also seems that feedback has not been useful for every student and that students have not internalised the role of feedback in teacher assessment practices. Therefore, the role of feedback about diverse assessment and feedback practices should be advocated more in teacher education, and in-service training for teachers is needed. Keywords: feedback, assessment, foreign languages, general upper secondary education Arviointi ja palaute edistävät asianmukaisesti toteutettuina oppimista monin tavoin. Lukion opetussuunnitelman perusteet (2016) korostaa palautteen merkitystä opettajan ja opiskelijan suhteessa. Opettajan palautteen avulla opiskelija saa arvokasta tietoa oppimisestaan ja siitä, miten hän on saavuttanut tavoitteet, ja mitä hänen tulisi tehdä seuraavaksi. Perusteissa myös todetaan monipuolisen arvioinnin tärkeys. Aiempi kansainvälinen tutkimus on kuitenkin osoittanut, että palautetta annetaan niukasti. Niinpä tämän väitöskirjan tarkoitus oli kartoittaa suomalaisten lukiolaisten käsityksiä opettajien arviointi- ja palautekäytänteistä. Tämä väitöskirja koostuu kolmesta tutkimuksesta, joissa aineisto kerättiin kyselyllä. Aineiston analyysiin käytettiin sekä määrällisiä että laadullisia menetelmiä. Ensimmäisessä osatutkimuksessa kartoitettiin lukiolaisten käsityksiä arvioinnista ja palautteesta. Tutkimuksessa ei tutkittu yksittäisiä oppiaineita, vaan tarkoitus oli kartoittaa yleisiä käsityksiä arvioinnista ja palautteesta. Aineisto koostui 918 lukiolaisten vastauksista suljettuihin ja avoimiin kysymyksiin. Aineisto analysoitiin käyttäen deduktiivista sisällönanalyysiä ja varianssianalyysiä. Tulokset osoittivat, että opettajat käyttävät arvioinnissa sangen paljon kokeita ja että arviointi ylipäätään on yksipuolista. Opiskelijat myös kokivat, etteivät he saa tarpeeksi palautetta, vaikka eroja on havaittavissa opettajien ja oppiaineiden välillä. Toinen osatutkimus keskittyi opiskelijoiden käsityksiin palautteesta ruotsin ja englannin kursseilla. Tavoite oli tutkia, eroavatko kielitaidon eri tasoilla olevien opiskelijoiden käsitykset toisistaan. Aineisto (N=255) koostui suljetuista kysymyksistä, jotka analysoitiin käyttäen varianssianalyysiä, monen muuttujan varianssianalyysiä ja eksploratiivista faktorianalyysiä. Tulokset osoittivat, että opiskelijoiden taitotason mukaisia eroja ei esiintynyt englannissa, mutta korkeamman tason opiskelijat ruotsissa olivat halukkaampia korjaamaan itse virheensä, kokivat opettajan palautteen hyödyllisemmäksi ja kokivat saavansa enemmän palautetta verrattuna matalamman taitotason opiskelijoihin. Taitotason ja palautteen hyödyn välillä havaittiin kohtalainen korrelaatio. Kolmannen osatutkimuksen tavoitteena oli tarkastella, millainen palaute on lukiolaisten mielestä kannustavaa ja miten he mieltävät palautteen osana opettajan arviointityötä. Aineisto koostui 282 opiskelijan vastauksesta, jotka analysoitiin induktiivisella sisällönanalyysillä, varianssianalyysillä ja monen muuttujan varianssianalyysillä. Analyysit osoittivat, että palaute työn sisällöstä on lukiolaisten mielestä kannustavaa, erityisesti jos palaute keskittyy parannusehdotuksiin. Opiskelijat kokivat opettajan arviointityön olevan pääasiassa kokeiden arvioimista ja kurssiarvosanojen antamista. Palautetta ei pidetty tärkeänä osana opettajan arviointityötä. Kaiken kaikkiaan tulosten perusteella voidaan todeta, että nykyisiä arviointi- ja palautekäytänteitä tulisi kehittää. Arviointi ei ole niin monipuolista kuin lukion opetussuunnitelman perusteet edellyttää, ja palautetta saadaan niukasti. Kaikki opiskelijat eivät myöskään ole kokeneet palautetta hyödylliseksi eivätkä sisäistäneet palautteen asemaa opettajan arviointityössä. Siispä palautetta tulisi painottaa enemmän sekä opettajankoulutuksessa että kentällä toimivien opettajien täydennyskoulutuksessa. Avainsanat: palaute, arviointi, vieraat kielet, lukiokoulutus

Suomen kouluissa opiskellaan yhä vähemmän ja yhä harvempia vieraita kieliä. Valinnaisten kielten opiskelun suosio on laskenut, ja kielitaito on vaarassa jäädä pelkän englannin varaan. Erilaisia toimenpiteitä, kuten kielen opetuksen varhentaminen, on jo tehty. Ne eivät kuitenkaan ole juurikaan lisänneet muiden vieraiden kielten opiskelun suosiota, vaan valtaosa oppilaista ja opiskelijoista opiskelee edelleen vain englantia kotimaisten kielten lisäksi. Kysyimme kieltenopettajilta, millaisia keinoja eri kouluasteilla on jo ollut käytössä valintojen monipuolistamiseksi sekä millaisilla konkreettisilla keinoilla kielivalintoja vielä voitaisiin monipuolistaa. Aineisto on kerätty tammi-helmikuussa 2021 Webropol-kyselyllä, joka oli suunnattu eri koulutusasteiden kielten opettajille. Tulokset osoittavat, että oppilaitoksissa on jo tehty monia sellaisia toimenpiteitä, joihin opettajat ja koulut itse voivat vaikuttaa. Tulevaisuudessa kielivalintojen monipuolistamiseen toivotaan paikallisten toimien sijaan laajempia koulutuspoliittisia ratkaisuja. Studying optional languages is in decline in Finland. Often, English is the only language that is studied alongside Finnish and Swedish, the compulsory national languages. Measures such as starting the study of foreign languages earlier have not had a significant effect on the situation. In this paper, we discuss language teachers’ (n=349) views on what has been done and what could and should be done to increase studying optional languages. The data were collected in January-February 2021 via a Webropol questionnaire that was distributed to language teachers at a range of institutions from pre-primary to adult education. The results show that teachers and schools have taken numerous measures to try to attract students. However, rather than local measures, the participants called for nationwide educational policies that would address the issue. peerReviewed

Kuvia tuotetaan määrällisesti enemmän kuin koskaan, ja samalla keskustelu visuaalisuudesta ja sen merkityksestä on lisääntynyt. Myös maantiedettä pidetään visuaalisesti orientoituneena tieteenalana. Maantieteilijät eivät kuitenkaan ole kehittäneet omaa visuaalista teoriaansa. Tässä artikkelissa esitetään niin kutsuttu puhelinmalli, jota voidaan käyttää kuvien maantieteellisen tulkinnan apuna maantieteen opetuksessa. Puhelinmalli seuraa Roland Barthesin jalanjälkiä ja pohjautuu neljään semioottiseen funktioon: syntagmaan, ankkurointiin, merkitsijään ja konnotaatioon. Ne ohjaavat huomioimaan sekä visuaaliset että sanalliset elementit, kuvan rajauksen ja maantieteellisten käsitteiden soveltamisen kuvatulkinnassa. Puhelinmallia havainnollistetaan maantieteen pääaineopiskelijoiden (n=24) tulkinnoilla New Yorkissa otetusta valokuvasta. Perusopetuksen (2014) ja Lukion (2019) opetussuunnitelman perusteissa mainitut geomediataidot korostavat visuaalisten esitysten roolia ja niiden tulkinnantaitoa myös maantieteen opetuksessa.

Artikkeli tarkastelee, miten 2010-luvun lopun pohjoismaiset kirjalli-suusdidaktiset teokset legitimoivat kirjallisuudenopetuksen ja määrit-tävät kirjallisuusdidaktiikkaa. Aineistona on viisi kirjallisuudenopetus-ta käsittelevää pohjoismaista monografiaa, joita tarkastellaan teo-riaohjaavan sisällönanalyysin keinoin. Teokset perustelevat kirjalli-suudenopetusta välineellisillä, kulttuurisilla ja sosiaalisilla näkökulmil-la sekä emotionaalisilla ja esteettisillä näkökulmilla. Kirjallisuuden-opetuksen sisältöinä painottuvat historialliset ja aikalaistekstit käsit-teiden tai kirjallisuusperiodien sijaan. Kirjallisuusdidaktiikka määrittyy kirjallisuuden opetusta ja oppimista sekä kirjallisen kompetenssin rakentumista tarkastelevaksi tiedonalaksi, jossa yhdistyvät opettajan a) kirjallisuustieteellinen ymmärrys ja sisältötieto, b) tieto kirjallisuu-den opetus- ja arviointimenetelmistä, c) ymmärrys näiden menetel-mien taustalla olevista teorioista, d) ymmärrys kirjallisuuden opetus-konteksteista suhteessa opetussuunnitelmiin ja e) käsitys oppilaiden kirjallisesta kompetenssista. This study explores how literature teaching is legitimized and how literature education is defined in five Scandinavian monographs published 2015–2019. The theory-based analysis found out that literature teaching is legitimized with instrumental, cultural or social reasons or emotional and aesthetic basis. The content of literary curricula emphasis on literary texts more than literary concepts or literary periods. Literature education can be defined as a knowledge area which focus on teaching literature, learning about literature and building a literary competence. These are connected with teacher’s literary and literature historical content knowledge, teach-er’s knowledge about teaching and assessment methods, teacher’s knowledge about educational theories behind these methods, teacher’s understanding of implementing literature curriculum in dif-ferent learning contexts and teacher’s knowledge about student’s literary competence. acceptedVersion

This study investigates grammatical accuracy as a part of Finnish upper secondary school students oral proficiency in German. It examines how the students, assessed on different proficiency levels, master the German word order and verbal inflection in their L2 speech. In addition, the study surveys the opinions of German language teachers about the concepts which occur in the proficiency level descriptions (e.g., comprehensibility, basic grammar error) and about the significance of grammatical accuracy for comprehensibility. The corpus consists of 1) videotaped test performances of 59 students, 2) CEFR-based proficiency level assessments of 12 Finnish German teachers, and 3) written answers and the recordings of assessment discussions of six German GFL teachers. The study was carried out mainly as a qualitative case study (methods including performance analysis and content analysis), but some quantitative methods were used, too (such as Multi-Facet Rasch Measurement analysis and descriptive statistics). The results illuminate how the mastery of word order and verbal inflection develop from one proficiency level to another. From the level A1.2 on, the word order of simple declarative clauses and questions, the infinitive forms and the present tense conjugation of haben and sein are mastered, followed by the present tense of regular verbs on the level A1.3 and the so-called verbal bracket structure and the present tense of irregular verbs on the level A2.1. On the level A2.2, the inversion in simple clauses and the present tense conjugation of modal verbs are acquired. From the level B1.1 on, the inversion is mastered also in complex phrases beginning with a subordinate clause. Moreover, the students master the word order of subordinate clauses and the perfect tense. The teacher comments reveal that the concepts used in the assessment scale are interpreted in various ways. Pronunciation, lack of fluency, and vocabulary problems are mentioned more often than deficiencies in grammar as factors that impair comprehensibility. However, the accumulation of errors is seen as distracting. Regarding distracting grammatical errors, errors in verbal inflection and syntax are mentioned the most often. These phenomena are highlighted in the definitions of a basic grammar error, too. Key words: oral proficiency, German language, grammatical accuracy, word order, verbal inflection, language assessment, comprehensibility Vieraan kielen oppimiseen, kielitaidon arviointiin sekä puhutun kielen tutkimukseen liittyvässä väitöstutkimuksessani tarkastellaan oikeakielisyyttä osana lukiolaisten saksan suullista kielitaitoa. Keskeisenä tavoitteena on tukea opettajia suullisen kielitaidon arvioinnissa ja opetuksen suunnittelussa antamalla konkreettista tietoa oppijankielen piirteistä kielitaidon tasolta toiselle siirryttäessä sekä oikeakielisyyden vaikutuksesta ymmärrettävyyteen. Tutkimuksessa selvitetään, kuinka eri taitotasoille arvioidut opiskelijat hallitsevat saksan sanajärjestyksen ja verbin taivutuksen puheessaan. Lisäksi kartoitetaan saksanopettajien näkemyksiä arviointiasteikossa esiintyvistä käsitteistä (mm. ymmärrettävyys, peruskielioppivirhe) ja oikeakielisyyden merkityksestä oppijanpuheen ymmärrettävyyden kannalta. Aineisto koostuu kolmesta osasta: 1) suomalaisten lukiolaisten videoidut testisuoritukset, 2) suomalaisten saksanopettajien numeeriset taitotasoarvioinnit opiskelijoiden suorituksista ja 3) saksalaisten saksanopettajien kirjalliset avovastaukset sekä arviointikeskustelujen tallenteet. Pääasiallinen tutkimusote on kvalitatiivinen tapaustutkimus, jossa hyödynnetään myös kvantitatiivisia menetelmiä. Tulokset osoittavat odotetusti, että sekä sanajärjestyksen että verbin taivutuksen hallinta kehittyy taitotasolta toiselle siirryttäessä. Tulosten avulla oikeakielisyyden taitotasokuvauksia pystytään tarkentamaan saksan osalta konkreettisilla esimerkeillä, jotka voivat helpottaa asteikoiden käyttöä arviointityössä. Lisäksi opetuksessa voidaan oikeassa vaiheessa korostaa tiettyjä rakenteita ja keskittyä niihin, jotka ovat keskeisiä ymmärrettävyyden ja kommunikaation onnistumisen kannalta. Opettajien vastauksista selviää, että asteikossa esiintyvät käsitteet tulkitaan eri tavoin, mikä saattaa vaikuttaa arvioinnin luotettavuuteen. Ymmärrettävyyttä haittaaviksi asioiksi opiskelijoiden puheessa koetaan useammin ääntäminen, sujuvuuden puute ja sanasto-ongelmat kuin puutteet kieliopissa. Kuitenkin virheiden kasaantuminen koetaan häiritseväksi. Häiritsevimpinä kielioppivirheinä pidetään useimmin puutteita verbin taivutuksessa ja syntaksissa. Nämä ilmiöt korostuvat myös opettajien peruskielioppivirheen määritelmissä. Saksan suullisen kielitaidon opetuksessa ja arvioinnissa kannattaisikin keskittyä oikeakielisyyden osalta näihin rakenteisiin. Avainsanat: suullinen kielitaito, saksan kieli, oikeakielisyys, sanajärjestys, verbin taivutus, kielitaidon arviointi, ymmärrettävyys

The aim of this study is to explore rater effects, such as consistency and severity of the judgements of 12 expert judges, and to report the extent of assessment criteria used by them. The data of the study are based on the three different phases of the standardization procedure which were analyzed using the MFRM model. In addition, feedback gathered from the expert judges was used to find out their opinions about the procedure and to validate the results of the standardization. The results of this study indicate that general discussion on and statistical information about the items influenced judges’ consistency and severity and their adaptation of the assessment criteria. The judges themselves also found that these factors affected their judgements. In addition, the nature of listening and the criteria caused difficulties during the procedure. peerReviewed

The article reports on a quantitative investigation of the differences in Finnish 15–16 year- old students’ self-reported foreign/second language (L2) study practices and use across three languages: English (n=3,476), Swedish (n=1,679), and French (n=1,023). The data set consisted of (a) a questionnaire about students’ background and L2 study practices/use and (b) their L2 speaking and writing proficiency. The differences between the languages were generally small although the students reported to do their homework in Swedish considerably less regularly than in English and French and English was used more outside classroom than Swedish and French. The differences in the background variables and the correlations between the language practices/use and the language proficiency were generally small, too, although doing homework in French correlated moderately with proficiency. The findings imply paths to enhance coherence across language education integration of language learning in and outside school. peerReviewed

This paper focuses on raters’ beliefs and views of assessment and the factors influencing their judgments and performance as raters in the National Certificates of Language Proficiency (NCLP) Finnish language test. Data were collected using semi-structured interviews (N=18) and content analysis was used to classify the responses. Findings suggest that raters’ experience and training have positive effects on rater performance and the use of assessment criteria. Experienced raters seem to be more familiar with different language proficiency levels and their view of language is more holistic today than during the first years of their rating experience. There are some external factors and linguistic features that affect raters’ performance, such as pronunciation, handwriting and the test-taker’s personality. In these cases, self-reflection helps raters to strive for objectivity in their evaluations. peerReviewed