Search

This paper presents experiments done in order to build a functional OCR model for the Unified Northern Alphabet. This writing system was used between 1931 and 1937 for 16 (Uralic and non-Uralic) minority languages spoken in the Soviet Union. The character accuracy of the developed model reaches more than 98% and clearly shows cross-linguistic applicability. The tests described here therefore also include general guidelines for the amount of training data needed to boot-strap an OCR system under similar conditions.

Proceedings of the 18th Nordic Conference of Computational Linguistics NODALIDA 2011. Editors: Bolette Sandford Pedersen, Gunta Nešpore and Inguna Skadiņa. NEALT Proceedings Series, Vol. 11 (2011), 130-137. © 2011 The editors and contributors. Published by Northern European Association for Language Technology (NEALT) http://omilia.uio.no/nealt . Electronically published at Tartu University Library (Estonia) http://hdl.handle.net/10062/16955 .

Proceedings of the 16th Nordic Conference of Computational Linguistics NODALIDA-2007. Editors: Joakim Nivre, Heiki-Jaan Kaalep, Kadri Muischnek and Mare Koit. University of Tartu, Tartu, 2007. ISBN 978-9985-4-0513-0 (online) ISBN 978-9985-4-0514-7 (CD-ROM) pp. i-ii.

Proceedings of the 16th Nordic Conference of Computational Linguistics NODALIDA-2007. Editors: Joakim Nivre, Heiki-Jaan Kaalep, Kadri Muischnek and Mare Koit. University of Tartu, Tartu, 2007. ISBN 978-9985-4-0513-0 (online) ISBN 978-9985-4-0514-7 (CD-ROM) pp. 278-283.

Arvutikorpused, arvutisõnastikud, keeletehnoloogiline tarkvara., Eesti keele arendamise strateegia siinse lisa eesmärgiks on esitada analüütiline ülevaade keeletehnoloogia nimetatud põhivaldkondadest, nende praegusest seisundist maailmas ja Eestis, ning sellest lähtudes osutada, missuguseid konkreetseid töid tuleb teha, et saavutada tekstis sõnastatud keeletehnoloogiat puudutavad eesmärgid ja alleesmärgid. Ülevaade koosneb kolmest osast. Esiteks antakse ülevaade keele arvutikorpustest kui teksti- ja kõneressurssidest, teiseks arvutisõnastikest kui leksikaalsetest ressurssidest ja kolmandaks keeletehnoloogilistest tarkvarasüsteemidest ja nende rakendusest.

http://www.ester.ee/record=b1726925*est

TBX (TermBase eXchange) on XML-põhine standard terminoloogilise informatsiooni vahendamiseks erinevate arvutikeskkondade vahel. Töö eesmärkideks oli teisendada algselt TeX formaadis olev „Histoloogiasõnastik” TBX standardi spetsifikatsioonile vastavaks XML dokumendiks ning tekitada sõnastiku sissekannete vahele ristviited. TBX formaat lubab sõnastikku lihtsasti teisendada erinevatesse esitusvormidesse, ristviited teevad sõnastiku kasutamise lõppkasutajale mugavamaks. TBX dokument on terminibaas ehk terminoloogiline andmebaas. Terminibaas peaks olema kavandatud teatud mudeli järgi, mis lubab selle teisendamist erinevatesse formaatidesse ja hoiab ära terminibaasi haldamisega seotud probleeme. "Histoloogiasõnastik" peegeldab seda mudelit ja sobib seega TBX formaati teisendamiseks. Sõnastiku algandmed on TeX formaadis ning sissekandeid on neljas erinevas keeles: eesti, inglise, saksa ja vene keeles, lisaks ladinakeelsed mõisted. Algandmete ülesehitus on küllaltki lihtne kuid teisenduse tegid keeruliseks suur hulk sissekannete variatsioone ja erandeid. Teisenduseks valiti evolutsioonilise prototüüpimise metoodika. See tähendab, et alguses valmis töötav, kuid puuduliku funktsionaalsusega rakendus, mida vastavalt uutele leitud vajadustele edasi arendati. Teisendus hõlmas endas nelja erinevat etappi: * Vajaliku informatsiooni sõelumine algandmetest, väljundiks lihtne XML dokument * Ristviidete leidmine ja lõpptulemuse genereerimine, väljundiks TBX dokument * Lõpptulemuse esitamine inimesele kergestiloetaval HTML kujul, et märgata tegemata jäänud nüansse * Vigade ja erandite parandamine algandmetes Teisenduse lõpptulem on TBX spetsifikatsioonile vastav XML dokument. Seda kasutatakse "Histoloogiasõnastiku" avaldamisel Keeleveebi portaalis., TBX (TermBase eXchange) is an XML-based standard for representing and exchanging terminological data in various computer environments. The objective of this thesis is to convert ‘Histoloogiasõnastik’ (dictionary of histology, created by Ülo Hussar) to a valid TBX document. TBX format allows easier ways for transforming terminological data to various representation forms, an HTML glossary for instance. Another objective of the thesis was to generate cross-references between entries of the ‘Histoloogiasõnastik’, which would make using the dictionary more convenient for the end-user. TBX document is a termbase (terminological database). Termbase should be designed according to a particular model that allows converting it to different formats and prevents systematic errors during the creation of the database. ‘Histoloogiasõnastik’ reflects this model therefore making it possible to convert it to TBX. The original data are in TeX format, entries being rather simple in their structure but containing a lot of different variations and exceptions. The methodology used for the conversion was cyclic in its nature, consisting of four main stages: • parsing original files of the dictionary, outputting an XML representation of the data • finding cross-references and forming the TBX structure, outputting the end product of the conversion • transforming the TBX document to an HTML document, allowing easy inspection of the end result to detect errors and overlooked exceptions in the original data • correcting mistakes of the conversion process and eliminating exceptions in the original data The end result of the conversion is an XML document that is in accordance with the TBX specification and satisfies the main principles of a termbase design. The converted dictionary will be published in Keeleveeb, a portal that along with different linguistic resources also features other technical dictionaries similar to ‘Histoloogiasõnastik’.

https://www.ester.ee/record=b5506700*est

Aiempi saneiden alamerkitysten yksiselitteistämistä käsittelevä työ, kuten monet muut luonnollisen kielen käsittelyyn liittyvät tehtävät, on enimmäkseen keskittynyt englannin kieleen. Vaikka hieman työtä on tehty myös muilla kielillä, mukaan lukien uralilaiset kielet, vertailevaa arviointia suomen kielen saneiden alamerkitysten yksiselitteistämisestä ei ole tähän mennessä julkaistu huolimatta siitä, että tarvittavat leksikaaliset resurssit, erityisesti FinnWordNet, ovat jo pitkään olleet saatavilla. Tämä työ pyrkii korjaamaan tilanteen. Se tarjoaa tuloksia merkittävimpiä lähestymistapoja saneiden alamerkitysten yksiselitteistämiseen edustavista ohjelmista, sisältäen joitakin parhaiten englanninkielellä samasta tehtävästä suoriutuvia ohjelmia. Näiden tulosten toivotaan voivan toimia lähtökohtana tuleville, sekä monikielisille että erityisesti suomen kieleen kohdentuville, ohjelmille ja tarjota suuntaviivoja muihin uralilaisiin kieliin keskittyvään työhön. Previous work in Word Sense Disambiguation (WSD), like many tasks in natural language processing, has been predominantly focused on English. While there has been some work on other languages, including Uralic languages, up until this point no work has been published providing a contrastive evaluation of WSD for Finnish, despite the requisite lexical resources, most notably FinnWord-Net, having long been in place. This work rectifies the situation. It gives results for systems representing the major approaches to WSD, including some of the systems which have performed best at the task for English. It is hoped these results can act as a baseline for future systems, including both multilingual systems and systems specifically targeting Finnish, as well as point to directions for other Uralic languages. peerReviewed

http://www.ester.ee/record=b4680512*est

Seoses tekstide suuremahulise digitaliseerimisega ning digitaalse tekstiloome järjest laiema levikuga on tohutul hulgal loomuliku keele tekste muutunud ja muutumas masinloetavaks. Masinloetavus omab potentsiaali muuta tekstimassiivid inimeste jaoks lihtsamini hallatavaks, nt lubada rakendusi nagu automaatne sisukokkuvõtete tegemine ja tekstide põhjal küsimustele vastamine, ent paraku ei ulatu praegused automaatanalüüsi võimalused tekstide sisu tegeliku mõistmiseni. Oletatakse, tekstide sisu mõistvale automaatanalüüsile viib meid lähemale sündmusanalüüs – kuna paljud tekstid on narratiivse ülesehitusega, tõlgendatavad kui „sündmuste kirjeldused”, peaks tekstidest sündmuste eraldamine ja formaalsel kujul esitamine pakkuma alust mitmete „teksti mõistmist” nõudvate keeletehnoloogia rakenduste loomisel. Käesolevas väitekirjas uuritakse, kuivõrd saab eestikeelsete tekstide sündmusanalüüsi käsitleda kui avatud sündmuste hulka ja üldvaldkonna tekste hõlmavat automaatse lingvistilise analüüsi ülesannet. Probleemile lähenetakse eesti keele automaatanalüüsi kontekstis uudsest, sündmuste ajasemantikale keskenduvast perspektiivist. Töös kohandatakse eesti keelele TimeML märgendusraamistik ja luuakse raamistikule toetuv automaatne ajaväljendite tuvastaja ning ajasemantilise märgendusega (sündmusviidete, ajaväljendite ning ajaseoste märgendusega) tekstikorpus; analüüsitakse korpuse põhjal inimmärgendajate kooskõla sündmusviidete ja ajaseoste määramisel ning lõpuks uuritakse võimalusi ajasemantika-keskse sündmusanalüüsi laiendamiseks geneeriliseks sündmusanalüüsiks sündmust väljendavate keelendite samaviitelisuse lahendamise näitel. Töö pakub suuniseid tekstide ajasemantika ja sündmusstruktuuri märgenduse edasiarendamiseks tulevikus ning töös loodud keeleressurssid võimaldavad nii konkreetsete lõpp-rakenduste (nt automaatne ajaküsimustele vastamine) katsetamist kui ka automaatsete märgendustööriistade edasiarendamist., Due to massive scale digitalisation processes and a switch from traditional means of written communication to digital written communication, vast amounts of human language texts are becoming machine-readable. Machine-readability holds a potential for easing human effort on searching and organising large text collections, allowing applications such as automatic text summarisation and question answering. However, current tools for automatic text analysis do not reach for text understanding required for making these applications generic. It is hypothesised that automatic analysis of events in texts leads us closer to the goal, as many texts can be interpreted as stories/narratives that are decomposable into events. This thesis explores event analysis as broad-coverage and general domain automatic language analysis problem in Estonian, and provides an investigation starting from time-oriented event analysis and tending towards generic event analysis. We adapt TimeML framework to Estonian, and create an automatic temporal expression tagger and a news corpus manually annotated for temporal semantics (event mentions, temporal expressions, and temporal relations) for the language; we analyse consistency of human annotation of event mentions and temporal relations, and, finally, provide a preliminary study on event coreference resolution in Estonian news. The current work also makes suggestions on how future research can improve Estonian event and temporal semantic annotation, and the language resources developed in this work will allow future experimentation with end-user applications (such as automatic answering of temporal questions) as well as provide a basis for developing automatic semantic analysis tools.

Käesolevas töös uuritakse emotikonide tuvastamist tekstis eestikeelse uue meedia tekstikorpuse põhjal. Teema uurimiseks koostati programmeerimiskeeles Python programm, mis on koostöös kasutajaga võimeline teksti põhjal erinevaid emotikone tuvastama. Samuti koostab nimetatud programm oma tööprotsessi käigus hulganisti analüüsi abistavaid faile, mis võiksid kasulikud olla ka antud teema edasistele uurijatele, et mõista paremini emotikonide olemust., In this Bachelor’s Thesis, the main purpose was to study emoticon recognition in context of the Estonian Mixed Corpse of New Media. For this purpose, a program was written in programming language Python to recognize different emoticons with a little help from the end user. The program also creates several detailed files during its runtime, which might be most useful for the further researchers of the topic in order to gain better understanding of emoticons.

Käesoleva töö eesmärk on koostada sagedusloendeid perioodi 2001–2008 netikeele korpustest ning leida erinevused keelekasutuses. Korpuseks võeti Planet Foorumitest pärinevad tekstid. Töö käigus loodi arvutiprogramm, mille abil võeti korpuse tekstidest vajaminev informatsioon ning moodustati sagedusloendid. Sagedusloendite võrdluse teel uuriti muutusi täheortograafias, lühendite ning emotikonide kasutuses.\n\rTöö käigus selgitati välja, et üldisemate järelduste tegemiseks eesti netikeele kohta oleks vaja võtta korpuseks laiema kasutajaskonnaga suhtlusplatvorm. Käesolevas töös tehtud järeldused on Planet Foorumite põhised. Uurimusest selgus, et foorumi kasutajad on hakanud järjest rohkem kirjutama korrektsemas eesti keeles ning mõnevõrra enam järgima keelereegleid., The purpose of this research is to find changes in the use of language on the Internet between the years 2001 – 2008. This is accomplished by analyzing posts from the Planet Forums. A program was written to parse the forum posts, extract all the necessary information and analyze language use with word frequency lists. These frequency lists are used to study changes in spelling, abbreviations and emoticon usage.\n\rIt became apparent during the research that a larger sample size would be required in order to make generalizations about the Estonian language on the Internet. The generalizations made in this paper are based only on the Planet Forums. It was found that the users of the forums have gradually shifted towards writing more correct Estonian.

http://www.ester.ee/record=b4583021*est

Selles töös kirjeldatakse mõnda olemasolevat anagrammide genereerijat, võrreldakse eesti keele morfoloogiat inglise keele omaga ning arutatakse, kas nende keelte erinevus tingib vajaduse ka anagrammide genereerimise puhul sõnadega teisiti ümber käia. Kirjeldatakse ka töö käigus valminud eesti keele anagrammide genereerijat., This paper describes a couple of already existing anagram generators, compares English morphology to that of Estonian and considers if the differences between the two languages are a good enough reason for handling words differently while generating anagrams. An Estonian anagram generator was made for this paper.

Töö eesmärgiks oli leida, kas UTF-8 sümbolites peituva lisainfo arvestamine programmis Lingua::Ident parandab eesti keele tuvastamist. Hetkel kasutab Lingua::Ident keeltele hinnangu andmiseks baite. Töö esimeses peatükis võrdlesin erinevaid keeletuvastuse meetodeid ja valisin Ted Dunningu algoritmi, mis kasutab Markovi mudelit. Töö teises peatükis selgitasin, mida kujutab endast Markovi mudel ja Ted Dunningu algoritm. Kolmandas peatükis leidsin, mis on Lingua::Ident'i puudused eesti keele jaoks ja pakkusin muudatused, mida sisse viia, et täpitähti (ja muid sümboleid, mida algses ASCII kodeeringus pole) ja UTF-8 kodeeringut arvestada oskaks. Neljandas peatükis viisin muudatused programmi sisse ning korraldasin katse, et näha kas muudetud programm tuvastab esialgsest programmist eesti keelt paremini. Katse tulemusena leidsin, et UTF-8 kasutamine baitide asemel aitas programmil veidi paremini eesti keelt tuvastada. Keeletuvastusel on tõenäoliselt rohkem kasu selliste keelte jaoks, mis kasutavad suuremal hulgal mitmebaidilisi UTF-8 sümboleid., The purpose of this paper is to analyze whether adding UTF-8 encoding support to Lingua::Ident will provide any benefits. Currently Lingua::Ident uses bytes internally to decide how each language is rated. In the first paragraph I gave overview of current language identification methods and chose the algorithm developed by Ted Dunning which uses Markov models as the basis for this paper. In the second paragraph I explained what is a Markov model and how does Dunning's algorithm work. In the third paragraph possible disadvantages of Lingua::Ident for the Estonian language were listed and proposed what changes should be implemented to use umlauts (and other characters not present in the original ASCII encoding) for language identification in UTF-8 encoded documents. Fourth paragraph contains experiments with the changed Lingua::Ident, to see whether adding encoding support made any difference. Experiment results concluded that adding UTF-8 encoding support to Lingua::Ident provided minor benefit to identify the Estonian language. Benefits of language identification are probably greater for languages that use more multi-byte UTF-8 symbols.

Proceedings of the 16th Nordic Conference of Computational Linguistics NODALIDA-2007. Editors: Joakim Nivre, Heiki-Jaan Kaalep, Kadri Muischnek and Mare Koit. University of Tartu, Tartu, 2007. ISBN 978-9985-4-0513-0 (online) ISBN 978-9985-4-0514-7 (CD-ROM) pp. 288-291.

https://www.ester.ee/record=b5403865*est

https://www.ester.ee/record=b5335046*est