Search

The purpose of this thesis is to develop a reliable, convenient, and flexible parametric model that is able to estimate voice quality over mobile networks accurately and efficiently. The media plane contains the products of media gateways and media resource system for IP Multimedia Systems (IMS) solution. This study evaluates media quality on the media plane by the data collected directly from Media Gateway and data from audio samples through VoIP (Voice over Internet Protocol) applications. The methods applied for measuring the audio quality are intrusive methods - the Perceptual Evaluation of Speech Quality (PESQ) and the Perceptual Objective Listening Quality Assessment (POLQA). The parametric method developed in this thesis is based on the existing E-model method and is further developed in order to improve the accuracy and enable a detection of unwanted impairments in the media plane traffic. After this parametric method is developed, the correlation between the estimated MOS values from this method and the measured MOS values from PESQ and POLQA are studied to understand the accuracy of the results from this method. Afterwards, the performance of this method is also verified in this thesis. Furthermore, it is important that the method can be utilized in real live networks. An application is created by utilizing the parametric method to visualize the current Mean Opinion Score (MOS) value in a live network. MOS value can be easily estimated by packet loss parameters that are obtained from media gateways through this method. As the established parametric method is a simple non-linear regression equation, it not only reduces the time and power resource but also immediately visualizes speech quality in current live mobile networks. The method proves that it is very convenient for operators to notice immediately if the recently installed network software products can cause poor speech quality.

Automatic speech recognition has been an area of intensive research during recent years. However, speech recognition enabled applications have not yet achieved a wide adaption as the recognition capabilities of computers are still far from that of humans. Implementing speech recognition over telecommunication networks results in additional challenges. Mobile speech recognition services can be implemented using one of three different possible system architectures, which are characterized by the location of the recognition system components. The purpose of this thesis is to compare the applicability of these architectures in cellular networks. The comparison is based on a literature review of the related research and an analysis of possible implementation scenarios. The findings of the thesis suggest that the effects of the network on speech recognition performance can be minimized to an acceptable level Embedded architectures will eventually achieve commercial grade performance, but currently, mobile phones are very limited by processing, memory and power resources. Consequently, there is a justification for the deployment of network-based speech recognition services in the near future. The motivation for the distributed architecture is questioned., Automaattiset puheentunnistusjärjestelmät ovat olleet intensiivisen tutkimuksen kohde viime vuosina. Puheentunnistussovelluksia ei kuitenkaan ole vielä otettu käyttöön laajasti, sillä tietokoneistetun puheentunnistuksen suorituskyky on edelleen huomattavasti jäljessä ihmisen puheentunnistuskykyä. Puheentunnistus on erityisen haastavaa toteuttaa tietoliikenneverkkojen yli. Puheentunnistus voidaan toteuttaa mobiililaitteissa arkkitehtuurisesti kolmella eri tavalla. Nämä arkkitehtuurit erottuvat toisistaan puheentunnistusjärjestelmän komponenttien sijainnin perusteella. Tämän diplomityön tavoite on vertailla näiden arkkitehtuurien soveltuvuutta matkapuhelinverkoissa. Vertailu perustetaan alaan liittyvään tutkimukseen sekä analyysiin mahdollisista toteutusskenaarioista. Työn tuloksena todettiin, että matkapuhelinverkon vaikutukset puheentunnistuksen suorituskykyyn voidaan minimoida hyväksyttävälle tasolle. Matkapuhelinten sisäiset puheentunnistusjärjestelmät saavuttavat aikanaan kaupallisen suorituskyvyn, mutta tällä hetkellä matkapuhelinten sisäiset resurssit rajoittavat huomattavasti sovellusten suorituskykyä. Tästä syystä verkkopohjaisilla puheentunnistusjärjestelmillä on lähitulevaisuudessa perusteltu käyttötarkoitus. Työssä kyseenalaistettiin hajautetun puheentunnistusarkkitehtuurin hyödyt matkapuhelinverkoissa.

Globalisoituvassa maailmassa kyky kommunikoida kielimuurien yli käy yhä tärkeämmäksi. Kielten opiskelu on työlästä ja siksi halutaan kehittää automaattisia konekäännösjärjestelmiä. Ericsson on kehittänyt prototyypin nimeltä Real-Time Interpretation System (RTIS), joka toimii mobiiliverkossa ja kääntää matkailuun liittyviä fraaseja puhemuodossa kahden kielen välillä. Nykyisten konekäännösjärjestelmien suorituskyky on suhteellisen huono ja siksi testauksella on suuri merkitys järjestelmien suunnittelussa. Testauksen tarkoituksena on varmistaa, että järjestelmä säilyttää käännösekvivalenssin sekä puhekäännösjärjestelmän tapauksessa myös riittävän puheenlaadun. Luotettavimmin testaus voidaan suorittaa ihmisten antamiin arviointeihin perustuen, mutta tällaisen testauksen kustannukset ovat suuria ja tulokset subjektiivisia. Tässä työssä suunniteltiin ja analysoitiin automatisoitu testiympäristö Real-Time Interpretation System -käännösprototyypille. Tavoitteina oli tutkia, voidaanko testaus suorittaa automatisoidusti ja pystytäänkö todellinen, käyttäjän havaitsema käännösten laatu mittaamaan automatisoidun testauksen keinoin. Tulokset osoittavat että mobiiliverkoissa puheenlaadun testaukseen käytetyt menetelmät eivät ole optimaalisesti sovellettavissa konekäännösten testaukseen. Nykytuntemuksen mukaan ihmisten suorittama arviointi on ainoa luotettava tapa mitata käännösekvivalenssia ja puheen ymmärrettävyyttä. Konekäännösten testauksen automatisointi vaatii lisää tutkimusta, jota ennen subjektiivinen arviointi tulisi säilyttää ensisijaisena testausmenetelmänä RTIS-testauksessa., In the globalizing world, the ability to communicate over language barriers is increasingly important. Learning languages is laborious, which is why there is a strong desire to develop automatic machine translation applications. Ericsson has developed a speech-to-speech translation prototype called the Real-Time Interpretation System (RTIS). The service runs in a mobile network and translates travel phrases between two languages in speech format. The state-of-the-art machine translation systems suffer from a relatively poor performance and therefore evaluation plays a big role in machine translation development. The purpose of evaluation is to ensure the system preserves the translational equivalence, and in case of a speech-to-speech system, the speech quality. The evaluation is most reliably done by human judges. However, human-conducted evaluation is costly and subjective. In this thesis, a test environment for Ericsson Real-Time Interpretation System prototype is designed and analyzed. The goals are to investigate if the RTIS verification can be conducted automatically, and if the test environment can truthfully measure the end-to-end performance of the system. The results conclude that methods used in end-to-end speech quality verification in mobile networks can not be optimally adapted for machine translation evaluation. With current knowledge, human-conducted evaluation is the only method that can truthfully measure translational equivalence and the speech intelligibility. Automating machine translation evaluation needs further research, until which human-conducted evaluation should remain the preferred method in RTIS verification.

Globalisoituvassa maailmassa kyky kommunikoida kielimuurien yli käy yhä tärkeämmäksi. Kielten opiskelu on työlästä ja siksi halutaan kehittää automaattisia konekäännösjärjestelmiä. Ericsson on kehittänyt prototyypin nimeltä Real-Time Interpretation System (RTIS), joka toimii mobiiliverkossa ja kääntää matkailuun liittyviä fraaseja puhemuodossa kahden kielen välillä. Nykyisten konekäännösjärjestelmien suorituskyky on suhteellisen huono ja siksi testauksella on suuri merkitys järjestelmien suunnittelussa. Testauksen tarkoituksena on varmistaa, että järjestelmä säilyttää käännösekvivalenssin sekä puhekäännösjärjestelmän tapauksessa myös riittävän puheenlaadun. Luotettavimmin testaus voidaan suorittaa ihmisten antamiin arviointeihin perustuen, mutta tällaisen testauksen kustannukset ovat suuria ja tulokset subjektiivisia. Tässä työssä suunniteltiin ja analysoitiin automatisoitu testiympäristö Real-Time Interpretation System -käännösprototyypille. Tavoitteina oli tutkia, voidaanko testaus suorittaa automatisoidusti ja pystytäänkö todellinen, käyttäjän havaitsema käännösten laatu mittaamaan automatisoidun testauksen keinoin. Tulokset osoittavat että mobiiliverkoissa puheenlaadun testaukseen käytetyt menetelmät eivät ole optimaalisesti sovellettavissa konekäännösten testaukseen. Nykytuntemuksen mukaan ihmisten suorittama arviointi on ainoa luotettava tapa mitata käännösekvivalenssia ja puheen ymmärrettävyyttä. Konekäännösten testauksen automatisointi vaatii lisää tutkimusta, jota ennen subjektiivinen arviointi tulisi säilyttää ensisijaisena testausmenetelmänä RTIS-testauksessa., In the globalizing world, the ability to communicate over language barriers is increasingly important. Learning languages is laborious, which is why there is a strong desire to develop automatic machine translation applications. Ericsson has developed a speech-to-speech translation prototype called the Real-Time Interpretation System (RTIS). The service runs in a mobile network and translates travel phrases between two languages in speech format. The state-of-the-art machine translation systems suffer from a relatively poor performance and therefore evaluation plays a big role in machine translation development. The purpose of evaluation is to ensure the system preserves the translational equivalence, and in case of a speech-to-speech system, the speech quality. The evaluation is most reliably done by human judges. However, human-conducted evaluation is costly and subjective. In this thesis, a test environment for Ericsson Real-Time Interpretation System prototype is designed and analyzed. The goals are to investigate if the RTIS verification can be conducted automatically, and if the test environment can truthfully measure the end-to-end performance of the system. The results conclude that methods used in end-to-end speech quality verification in mobile networks can not be optimally adapted for machine translation evaluation. With current knowledge, human-conducted evaluation is the only method that can truthfully measure translational equivalence and the speech intelligibility. Automating machine translation evaluation needs further research, until which human-conducted evaluation should remain the preferred method in RTIS verification.

Kolmannen sukupolven UMTS (Universal Mobile Telecommunication System) matkapuhelinverkoissa puhetta kuljetetaan pakatussa muodossa kehyksiin pilkottuina. Ihannetilanteessa puhelun puheenlaatua rajoittaa vain käytetty puheenpakkausmenetelmä. Käytännössä puhekehyksiä saattaa kuitenkin vaurioitua puhelimen ja verkon välisellä radiotiellä. Lisäksi huonosti mitoitetuilla verkkokomponenttien välisillä paketti- tai solukytkentäisillä siirtolinkeillä kehyksiä saattaa kadota verkon ruuhkatilanteissa. Vaurioituneet tai kadonneet puhekehykset huonontavat puhelun osapuolten kokemaa puheenlaatua. Operaattorit ovat perinteisesti voineet analysoida verkkojensa puheenlaatua vain testisoittojen ja asiakaspalautteen avulla. Tällainen analysointi on kuitenkin hidasta ja epäkäytännöllistä, joten joustavampia ja nopeampia menetelmiä tarvitaan. Eräs tällainen menetelmä on analysoida äänenlaatua puhekehyksien otsaketietoja hyväksikäyttäen. Tässä diplomityössä tutkitaan, kuinka puheenlaatua pystyisi analysoimaan puhekehyksien otsaketietojen perusteella piirikytkentäisestä Media Gateway (CS-MGW) -verkkoelementistä käsin. Työssä perehdytään siihen, minkälaista tietoa yksittäisen puhelun kehyksistä pystyttäisiin keräämään ja kuinka tämän kerätyn tiedon pohjalta voitaisiin päätellä puhelun puheenlaatu. Tutkimuksen tuloksena työssä rakennetaan puheenlaadun analysointimenetelmän toteutus kahdelle yleisimmälle UMTS-verkon puhelutapaukselle. Toteutusten toimintaa testattaessa huomataan kehysotsakkeisiin perustuvan puheenlaadun analysointimenetelmän olevan kohtuullisen tarkka. Menetelmän toteutukset ovat silti yksinkertaiset, joten niitä pystyisi käyttämään puhelujen laadun analysointiin verkkoelementin kapasiteetin siitä juurikaan kärsimättä.