Merkkipohjainen tunnistus lisätyssä todellisuudessa

Tiivistelmä. Todellisuutta laajentavat virtuaalilasit ja datamerkit rakennusten seinillä kuulostavat tieteiselokuvien tulevaisuuden maalailulta, mutta tosiasiassa niihin vaadittava tekniikka on jo olemassa. Tätä uudenlaista informaation esitystapaa, jossa ympäristöön tuodaan virtuaalista sisältöä tietokoneen avulla, kutsutaan lisätyksi todellisuudeksi. Sisältö voi olla esimerkiksi kuvia, ääntä tai jopa hajuja. Merkkipohjainen tunnistus on eräs tapa toteuttaa lisätty todellisuus. Siinä ympäristöön sijoitellaan erilaisia fyysisiä merkkejä, joiden sijainnin ja datasisällön avulla kone saa tarvittavat tiedot sisällön esittämiseen. Käyttäjien ja kehittäjien näkökulmasta merkkipohjainen tunnistus on suhteellisen yksinkertainen tekniikka, mutta tarjoaa samalla paljon erilaisia keinoja todellisuuden lisäämiseen. Tämän lisäksi tarvittavat ohjelmistot ovat jo olemassa; valmiita merkkipohjaista tunnistusta tukevia konenäkökirjastoja on useita. 2000-luvun nopea älykkäiden mobiililaitteiden yleistymien voi mahdollistaa lisätyn todellisuuden tuomisen tavallisten ihmisten arkeen. Sovellusten suorituskykyvaatimukset ovat kuitenkin eräs avainkysymys, johon ei ole vielä selkeää vastausta. Tutkimusta varten kehitettiin merkkipohjaista tunnistusta hyödyntävä lisätyn todellisuuden sovellus C++-kielellä OpenCV-konenäkökirjastoa ja tämän ArUco-moduulia hyödyntäen. Sovellus muokkaa todellisuutta piirtämällä kuvia ympäristöön sijoitettujen vertailumerkkien päälle. Koska laskentatehoiltaan rajalliset mobiililaitteet ovat tällä hetkellä lisätyn todellisuuden yleisin käyttöalusta, suorituskykymittaukset tehtiin pienellä yhden piirilevyn Raspberry Pi -tietokoneella. Mittauksissa selvisi, että lisätyn todellisuuden sovelluksia on mahdollista ajaa varsin heikkotehoisellakin laitteistolla reaaliajassa. OpenCV tarjoaa monipuoliset työkalut sovelluskehitykseen ja merkkipohjainen tunnistus voidaan toteuttaa sen avulla vaivattomasti. Parasta mahdollista suorituskykyä tavoiteltaessa on kuitenkin syytä kokeilla myös vaihtoehtoisia ratkaisuja. OpenCV:tä käytettäessä yhtäaikaisten tunnistettavien merkkien määrä vaikuttaa oleellisesti tunnistusaikoihin. Tähän onkin syytä kiinnittää huomiota lisätyn todellisuuden järjestelmiä suunniteltaessa.Marker-based tracking in augmented reality. Abstract. Virtual glasses that expand reality and data markers on the walls of buildings sound like a future vision from science fiction movies. However, in reality the required technology already exists. This novel way to present information, where virtual content is brought to environment, is called augmented reality. The content can be for example images, audio or even smells. Marker-based tracking is a one way to implement augmented reality. When using it, different kinds of physical markers are placed to the environment. The position and data of these markers provides computer with the necessary information to present the content. From the users’ and developers’ point of view, marker-based tracking is a quite simple technique, but at the same time, it provides many ways to augment reality. In addition to this, the necessary software already exists. There are various complete computer vision libraries that support marker-based tracking. The rapid spread of smart mobile devices in the beginning of the 21st century enables bringing augmented reality to everyday life of average people. However, the system requirements of these kind of software are still a question mark. An application, which makes use of marker-based tracking, was developed for the research using C++ with OpenCV library and its ArUco-module. The application modifies the reality by drawing images on the fiducial markers that are placed in the environment. Because mobile devices with limited performance are currently the most used platform of augmented reality, the performance measurements were taken on a small single-board Rasperry Pi computer. The measurements revealed that it’s possible to run augmented reality applications in real time using fairly weak hardware. OpenCV offers versatile tools for software development and marker-based tracking can be implemented painlessly using it. However, when seeking the best possible performance, it’s worthwhile to also try out alternative solutions. When using OpenCV the number of markers detected simultaneously affects detection times. This should be taken into account when designing augmented reality systems.