8 results on '"Virtanen, Antti"'
Search Results
2. WikiBERT models: deep transfer learning for many languages
- Author
-
Pyysalo, Sampo, Kanerva, Jenna, Virtanen, Antti, and Ginter, Filip
- Subjects
Computer Science - Computation and Language ,Computer Science - Machine Learning - Abstract
Deep neural language models such as BERT have enabled substantial recent advances in many natural language processing tasks. Due to the effort and computational cost involved in their pre-training, language-specific models are typically introduced only for a small number of high-resource languages such as English. While multilingual models covering large numbers of languages are available, recent work suggests monolingual training can produce better models, and our understanding of the tradeoffs between mono- and multilingual training is incomplete. In this paper, we introduce a simple, fully automated pipeline for creating language-specific BERT models from Wikipedia data and introduce 42 new such models, most for languages up to now lacking dedicated deep neural language models. We assess the merits of these models using the state-of-the-art UDify parser on Universal Dependencies data, contrasting performance with results using the multilingual BERT model. We find that UDify using WikiBERT models outperforms the parser using mBERT on average, with the language-specific models showing substantially improved performance for some languages, yet limited improvement or a decrease in performance for others. We also present preliminary results as first steps toward an understanding of the conditions under which language-specific models are most beneficial. All of the methods and models introduced in this work are available under open licenses from https://github.com/turkunlp/wikibert., Comment: 7 pages, 1 figure
- Published
- 2020
3. Multilingual is not enough: BERT for Finnish
- Author
-
Virtanen, Antti, Kanerva, Jenna, Ilo, Rami, Luoma, Jouni, Luotolahti, Juhani, Salakoski, Tapio, Ginter, Filip, and Pyysalo, Sampo
- Subjects
Computer Science - Computation and Language - Abstract
Deep learning-based language models pretrained on large unannotated text corpora have been demonstrated to allow efficient transfer learning for natural language processing, with recent approaches such as the transformer-based BERT model advancing the state of the art across a variety of tasks. While most work on these models has focused on high-resource languages, in particular English, a number of recent efforts have introduced multilingual models that can be fine-tuned to address tasks in a large number of different languages. However, we still lack a thorough understanding of the capabilities of these models, in particular for lower-resourced languages. In this paper, we focus on Finnish and thoroughly evaluate the multilingual BERT model on a range of tasks, comparing it with a new Finnish BERT model trained from scratch. The new language-specific model is shown to systematically and clearly outperform the multilingual. While the multilingual model largely fails to reach the performance of previously proposed methods, the custom Finnish BERT model establishes new state-of-the-art results on all corpora for all reference tasks: part-of-speech tagging, named entity recognition, and dependency parsing. We release the model and all related resources created for this study with open licenses at https://turkunlp.org/finbert .
- Published
- 2019
4. Suicides from 2016 to 2020 in Finland and the effect of the COVID-19 pandemic
- Author
-
Partonen, Timo, primary, Kiviruusu, Olli, additional, Grainger, Marjut, additional, Suvisaari, Jaana, additional, Eklin, Aki, additional, Virtanen, Antti, additional, and Kauppila, Riitta, additional
- Published
- 2021
- Full Text
- View/download PDF
5. Suicides from 2016 to 2020 in Finland and the effect of the COVID-19 pandemic.
- Author
-
Partonen, Timo, Kiviruusu, Olli, Grainger, Marjut, Suvisaari, Jaana, Eklin, Aki, Virtanen, Antti, and Kauppila, Riitta
- Subjects
COVID-19 pandemic ,SUICIDE ,SUICIDE statistics ,SUICIDE victims ,FORENSIC toxicology - Abstract
The COVID-19 pandemic has had negative mental health outcomes in populations, but the suicide numbers in Finland have remained unchanged compared with expected levels based on the pre-pandemic period. We included all deaths from suicide verified by the official cause-of-death investigations, including forensic autopsy with analysis of forensic toxicology samples, between 1 January 2016 and 31 December 2020 in Finland. There was a decline in suicide incidence from 2016 to 2020 in men, and a declining tendency in suicide rates for every consecutive month during the COVID-19 pandemic period. The COVID-19 governmental policy responses do not seem to have led to an increase in suicide numbers. [ABSTRACT FROM AUTHOR]
- Published
- 2022
- Full Text
- View/download PDF
6. Infant Botulism Acquired from Household Dust Presenting as Sudden Infant Death Syndrome
- Author
-
Nevas, Mari, primary, Lindström, Miia, additional, Virtanen, Antti, additional, Hielm, Sebastian, additional, Kuusi, Markku, additional, Arnon, Stephen S., additional, Vuori, Erkki, additional, and Korkeala, Hannu, additional
- Published
- 2005
- Full Text
- View/download PDF
7. Functional programming in web software development
- Author
-
Kaipiainen, Arttu, Tietotekniikan laitos - Department of Pervasive Computing, Tieto- ja sähkötekniikan tiedekunta - Faculty of Computing and Electrical Engineering, Tampere University of Technology, Systä, Kari, and Virtanen, Antti
- Subjects
Tietotekniikan koulutusohjelma - Abstract
Valtaosa nykypäivänä luotavista ohjelmista toimii internetiin perustuen. Verkkosivut ovat ajan myötä kehittyneet staattisista HTML-sivuista kokonaisvaltaisiksi ohjelmiksi, jotka suoritetaan palvelimen sijaan käyttäjän verkkoselaimessa. Web-ohjelmointiin on muodostunut useita menetelmiä, joista reaktiivinen ohjelmointi on yksi suosituimmista. Funktionaalisen ohjelmoinnin alkuperä on 1930-luvulla kehitetyssä lambdakalkyylissä ja sitä ennen matematiikassa. Sen periaatteena on matemaattisen funktion käsite. Funktionaalisten ohjelmointikielien kehitys alkaa 1950-luvun Lispistä ja jatkuu edelleen nykypäivän Clojureen, Scalaan sekä Haskelliin. Tässä diplomityössä tutkitaan funktionaalisen ohjelmoinnin soveltuvuutta nykyaikaiseen web-ohjelmointiin. Tutkimusta varten on suoritettu sekä haastattelututkimus että kyselytutkimus Solita Oy:n työntekijöiden keskuudessa. Tutkimukseen on valittu työntekijöitä, joilla on kokemusta web-ohjelmoinnista sekä funktionaalisilla että imperatiivisilla kielillä. Työn tuloksena todetaan, että funktionaalinen ohjelmointi soveltuu web-ohjelmistokehitykseen erittäin hyvin. Monet funktionaalisen ohjelmoinnin periaatteista ja menetelmistä sopivat luonnostaan web-ohjelmointiin, ja vaikutus ohjelmiston laatuun on muutenkin huomattava. Funktionaalisen ohjelmoinnin riskit ovat lähinnä tekijöiden löytämisessä ja kouluttamisessa.
- Published
- 2017
8. Continuous Delivery in customer driven software project
- Author
-
Kärpänoja, Pauli Matias, Tietotekniikan laitos - Department of Pervasive Computing, Tieto- ja sähkötekniikan tiedekunta - Faculty of Computing and Electrical Engineering, Tampere University of Technology, Mikkonen, Tommi, and Virtanen, Antti
- Subjects
Tietotekniikan koulutusohjelma - Abstract
Ohjelmistotuotannossa uuden ohjelmistoversion julkaisu sekä tuotantoasennus on usein työläs ja arvaamaton vaihe, mihin on varattava aikaa ja henkilöresursseja. Tuotantoasennuksia tehdään harvoin ja niistä seuraa usein odottamattomia ongelmia. Uusien toiminnallisuuksien ja korjausten saaminen tuotantoon voi kestää kuukausia ja manuaaliseen testaukseen joudutaan usein panostamaan. Tässä diplomityössä perehdytään jatkuvan toimittamisen käytäntöihin ja tutkitaan niiden vaikutuksia ohjelmistotuotantoon. Jatkuvalla toimittamisella tarkoitetaan sitä, että järjestelmästä on asennettavissa testattu uusi versio loppukäyttäjille lähes jokaisen ohjelmakoodimuutoksen jälkeen. Jatkuva toimittaminen pohjautuu ajatukseen, että kaikki ohjelmiston kääntämiseen, integraatioon, testaukseen, palvelinten konfiguraatioon ja ohjelmistojen asentamiseen liittyvät toiminnot on oltava automatisoitu. Tutkimuksen tulokset perustuvat kolmeen Solita Oy:llä toteutettun asiakasprojektin ohjelmistokehittäjien haastatteluihin ja kokemuksiin projekteista, joissa jatkuvan toimittamisen käytäntöjä on pyritty noudattamaan. Haastattelut toteutettiin puolistrukturoituina yksilöhaastatteluina. Vaikka tutkimustulokset perustuvat vain kolmen ohjelmistokehittäjän henkilökohtaisiin kokemuksiin, oli jatkuvan toimittamisen käytäntöjen hyödyt todistettavissa. Tuotantoasennuksen käynnistäminen oli helppoa, ja asennus epäonnistui äärimmäisen harvoin tai ei koskaan. Jatkuvan integraation sekä kattavan testiautomaation ansiosta kaikki projektit olivat päivittäin tilassa, jossa tuoreen tuotantoasennuksen voisi tehdä. Virheisiin ja muutostarpeisiin voitiin reagoida jopa tuntien viiveellä ongelmitta. Vaikka käytäntöjen noudattamiseen erityisesti testiautomaation osalta kului aikaa, piti jokainen haastateltava panostusta kannattavana. Kaiken sijoituksen koettiin maksavan itsensä takaisin projektin aikana vähentämällä korjauksiin ja selvittelyyn kuluvaa aikaa, sekä tuomaan luottoa siitä, että järjestelmän toiminnallisuus on eheä.
- Published
- 2015
Catalog
Discovery Service for Jio Institute Digital Library
For full access to our library's resources, please sign in.