Search

Prisutnost robota i drugih autonomnih sustava u svakodnevnim okruženjima poput kućanstava, radnih okruženja, škola i bolnica iziskuje sigurnost u upravljanju takvim sustavima s naglaskom na očuvanju sigurnosti čovjeka. Precizno i pouzdano predviđanje namjere kretanja osobe koje potiče sigurnu i učinkovitu suradnju čovjeka i robota može biti temeljem autonomnih sustava, posebice ako se može postići lako dostupnima i financijski pristupačnim uređajima poput RGB-D kamerom. Kinect senzorom mjereni su položaji kostura osobe pri radnji dohvaćanja jednog od 2, 3 ili 4 predmeta postavljenih na radnu površinu ispred osobe. Predloženi model korišten je za predviđanje predmeta koji će biti dohvaćen, što predstavlja namjeru tog kretanja. The increasing presence of robots and other autonomous systems in everyday environments, such as households, workplaces, schools and hospitals, requires their safe cohabitation and collaboration with humans. Accurate and reliable human intention recognition that fosters safe and efficient human-robot collaboration is thus a crucial component of these autonomous systems, especially if attainable from relatively cheap and widely available sensors such as RGB-D cameras. Skeleton tracking of a person reaching for one of two, three or four objects placed on a table in front of a person is obtained using Kinect camera. Proposed model was used for predicting which object is being reached, i.e. predicting the intention of reaching motions.

Ovaj rad se bavi proučavanjem i opisivanjem načina rada Kinect senzora i transfor- mer mreže pri prepoznavanju akcije kostura. Ulazni podatci su položaji skeleta snim- ljeni Kinect senzorom te provedeni u odred̄eni format sukladan kodu kroz koji prolaze. Algoritam je rad̄en na temelju transformer mreže uz prostorni i vremenski tok. Mreža se trenira s ulazima koordinatnih položaja svakog zgloba te kasnije predvid̄a odred̄ene kretnje. This work is studying the way Kinect sensor and transformer neural networks work when it comes to skeleton action recognition. Input data is determined by the position of skeleton joints recorded by Kinect sensor which is afterwards transformed into fitta- ble format for the algorithm. The algorithm is based on the transformer network which consists of two streams, spatial and temporal. The network is trained with the inputs of the coordinate positions of each joint and later predicts certain action.

Diplomski rad obrađuje temu programske podrške za virtualnu sjednicu. U uvodnom poglavlju navodi se motivacija za izradu diplomskog rada, te ukratko opisuje što će diplomski rad obrađivati. Zatim se opisuje tehnološka podrška za uređaje Kinect i Oculus Rift, te programska podrška za dodatke Photon Engine, Photon Unity Network, Photon Voice, paket Kinect with MS-SDK i paket OVR. Opisuju se načini rada pojedinih komponenti, njihove specifikacije, karakteristike, prednosti i opisi problematike. Također se opisuje njihovo međusobno povezivanje te načini implementacije. Nakon toga opisuje se aplikacija, način rada i izvedbe aplikacije, opis problema s kojima se korisnik može susresti prilikom izrade, te njihova implementirana ili predložena rješenja. Na kraju diplomskog rada radi se osvrt na postignute rezultate, prijedlog mogućih poboljšanja i budućih primjena. The master's thesis covers the topic of software support for virtual meeting. The introduction states the motivation for the making of the master's thesis and in short describes what the master's thesis will cover. Then the technological support for Kinect and Oculus Rift, along with software support for Photon Engine, Photon Unity Network, Photon Voice, package Kinect with MS-SDK and package OVR is described. The way in which each individual components works, their specifications, characteristics, advantage and description of problems is described. Connected interactions between them, along with implementation methods are described. After that the application, mode of operation and implementation are described, description of problems user may come across during the production, their implementations and suggested solutions. At the end of the master's thesis achieved results, suggestions of possible enhancements and future application is reviewed.

Ovaj završni rad nudi pregled uređaja i metoda za 3D rekonstrukciju. Naglasak je stavljen na Microsoft Kinect kojem je obrađen princip funkcioniranja. Obrađuje se metoda registracije površine, te uspoređuju različiti algoritmi. This bacchelors thesis shows overview of different types of 3D scanners and methods for 3D reconstruction. It is mostly focused on Microsoft Kinect device by analazying it's build and operating principles. Several methods of surface registration are analyzed and compared.

Ovaj rad bavi se detekcijom i izdvajanjem osoba iz dubinskih snimki. Za snimanje je korištena Kinect v2 dubinska kamera. Opisan je način rada dubinske kamere, te osnove rada u razvojnom okruženju Unity3D. U radu su opisani algoritmi za dobivanje osnovnog „green screen“ efekta, te za daljnju obradu maske osobe. Svi navedeni algoritmi za obradu maske izvršavaju se na grafičkoj kartici, te su pritom objašnjene osnove korištenja sjenčara i njihova uporaba u obradi slike unutar Unity okruženja. Programsko rješenje implementirano je u Unity3D okruženju. Za pristup podacima Kinect senzora korišten je Kinect SDK za Windows platformu. Uz osvrt na sam programski kôd, prikazani su i rezultati implementacije. This paper describes human detection and background subtraction from infrared depth images. Images are taken using Kinect v2 sensor. Paper describes depth imaging technologies and basics of working within Unity3D programming environment. Basic algorithms for achieving green screen effect, and more complex algorithms for user mask refinement are also described within this document. All mentioned algorithms use the graphics card for image processing, therefor this work also explains shader basics within the Unity3D environment and image processing via shaders. The solution is implemented using the Unity3D framework. For accessing the depth sensor data we used Kinect SDK for Windows platform which is available as Unity plugin. This paper contains relevant programming code along with the achieved results.

U ovom radu opisane su osnovne mogućnosti izrade ljudskih likova temeljenih na podacima dobivenim uzorkovanjem pomoću uređaja Microsoft Kinect. U prvom poglavlju opisane su prednosti uzorkovanja ovom metodom. U drugom poglavlju su opisane tehničke značajke uređaja. Treće poglavlje se bavi postupcima uzorkovanja i obrade uzorkovanih podataka trodimenzijskih objekata. U posljednjem poglavlju opisana je izrada virtualnog okruženja u koje su uklopljeni izrađeni ljudski modeli. This paper describes the basic features of making human figures based on data obtained by sampling using a Microsoft Kinect device. The first chapter outlines the advantages of this method of sampling. The second chapter describes the device technical specifications. The third chapter deals with the sampling procedures and processing of sampled data of three-dimensional objects. The last chapter describes the development of the virtual environment that incorporates developed characters.

Beskontaktna sučelja su ona sučelja kojima korisnik komunicira s računalom koristeći svoje geste i pokrete. Uređaji koji su zasnovani na beskontaktnim sučeljima imaju velik inovativni potencijal. Osim za zabavne svrhe mogu se koristiti i u edukacijske svrhe zbog svog pozitivnog djelovanja na motivaciju korisnika. U ovom radu predloženo je programsko rješenje u formi edukacijske web-aplikacije s prirodnim sučeljem. Za beskontaktna sučelja se koriste Kinect i Leap Motion, a za izradu aplikacije su korišteni jezici: HTML5, PHP, CSS i JavaScript. Igre unutar aplikacije temelje se na klasifikaciji geometrijskih likova i nizanju po zadanom uzorku. Rad se sastoji od analize postojećih tehnologija s obzirom na mogućnosti implementacije beskontaktnih sučelja, opisa izrade i implementacije web-aplikacije te analize dobivenog rješenja. Contactless interfaces are interfaces where the user interacts with the computer using his/her gestures and movements. Devices that are defined by a contactless interfaces have great innovative potential. They may be used for educational purposes because of their positive effects on the users motivation. In this thesis I have proposed a software solution in the form od an educational web application with a natural interface. Kinect and Leap Motion are used as contactless interfaces and for the creation of the application I used the following programming languages: HTML5, PHP, CSS and JavaScript. Games within the application are based on the classification of geometric shapes and on making arrangements based on the given sample. The thesis consists of an analysis of existing technologies with regard to the possibility of implementation of contactless interfaces, description of web applications development and implementation and the analysis of the proposed software solution.

Osobe s motoričkim poteškoćama teško se služe sredstvima za upravljanje računalom poput računalnog miša. Kinect kao uređaj za praćenje pokreta ima veliki potencijal biti zamjena ili alternativno rješenje mišu. U ovom radu istražene su i analizirane su mogućnosti koje pruža Kinect, opisani su sastavni dijelovi Kinecta te princip rada. Provedena je usporedba programske podrške za Kinect, isto kao i usporedba starog i novog Kinecta te je predloženo rješenje koje bi zamijenilo kursor pomoću Kinecta. Rješenje je ostvareno na Linuxu u programskom jeziku Python pomoću upravljačkog programa libfreenect koji je nastao u sklopu projekta Open Kinect. Users with motor impairments are having hard time using pointing devices such as computer mouse. When used as a motion tracking device, Kinect has great potential to be replacement or alternate solution to computer mouse. This thesis gives analysis and research of Kinect features, description of Kinect's hardware and how Kinect works. Comparison of software support is conducted, aswell as comparison of old and new Kinect hardware and functionalities. After extensive research, solution that would replace cursor by hand motion tracking is suggested. Solution is developed on operating system Linux using Python and libfreenect, Kinect driver made within Open Kinect project.

Detekcija lica pomoću trodimenzionalne Kinect kamere uporabom Matlaba. U radu su opisani algoritmi pronalaska rubova, odvajanja prednjeg plana od pozadine i detekcije lica pomoću boje. Opis eksperimenta i prikaz rezultata pokazuju nam kako dodavanje informacije dubine utječe na poboljšanje postojećeg algoritma pronalaska pomoću boje. Teorija i način dolaska do rješenja opisani su također uz implementacijske detalje i objašnjenje dijelova koda. Programski kod proveden je na nizu videosekvenci iz vlastito oblikovane eksperimentalne baze. Program prikazuje lice pomoću žutih linija koje iscrtavaju piksele koji označavaju boju kože. Tablično je prikazana točnost i postotak detekcije programa te razlika između tih vrijednosti s programom bez dubine i sa dubinom. Face detection via three dimensional Kinect camera using Matlab. Thesis contains edge finding, foreground extraction and color based face detection algorithms. The description of the experiment and results show us how adding the depth information affects the existing color based algorithm in a way that it improves it and gives better results. Theory and coming up with the solution are described as well as implementational details and explanation of parts of code. The program is run through a series of video sequences from own shaped experimental database. The program shows face through yellow lines that draw pixels which mark skin color. The detection rate and percentage of success are graphically shown with differences between those values with and without using depth.

Rad se bavi adaptacijom parametara NAO robota kada na glavi nosi Kinect. Na početku rada objašnjeni su osnovni pojmovi koji pomažu pri shvaćanju principa hoda robota. Prikazano je kako masa Kinecta utječe na hod. Nakon toga snimljeni su odzivi koji pokazuju utjecaj pojedinog parametra na stabilnost robota, te su dani adaptacijski zakoni. Na poslijetku, adaptacijski algoritam je testiran za slučaj kad na robota djeluje konstantni poremećaj. Dobiveni rezultati su analizirani i komentirani. The project deals with the adaptation of the parameters of the NAO robot when Kinect is attached to his head. At the start of the work the basic concepts that help to understand the principles of walking robots are explained. Project shows how mass of Kinect affects gait. After that we recorded the responses that show the influence of each parameter on the stability of the robot , and the adaptation laws are given. After all, the adaptive algorithm has been tested in case when constant disorder operates on robot. The results were analyzed and discussed.

Razvoj tehnika upravljanja robotskih sustava započeo je paralelno sa razvojem tehničke grane robotike. Do danas su se početni koncepti upravljanja takvim sustavima značajno izmjenili te i dalje teže sve većem stupnju autonomnosti i inteligencije. U ovom radu, temeljem iste ideje, izrađena je dvoosna robotska glava koja je povezana u sustav sa industrijskom robotskom rukom te je programski ostvareno automatsko upravljanje sustava. Za potrebe upravljanja je razvijena programska podrška u C# programskom jeziku sa primjenom Kinect senzora, koji se nalazi u sklopu robotske glave, te funkcijom praćenja korisnika u prostoru iz koje se dobivaju potrebne informacije za ostvarivanje upravljanja. Aplikacijom je omogućena i komunikacija u lancu: robotska ruka – aplikacija – robotska glava. U radu su prikazana rješenja za izvršavanje dva zadatka ovog sustava, praćenje korisnika „pogledom“ prilikom kooperacije korisnika sa sustavom robotske glave i praćenje izvršavanja raznih zadataka u kooperaciji sa robotskom rukom. Širok spektar mogućnosti ovog sustava primjenom navedenih elemenata predstavlja odličnu platformu za ostvarivanje sličnih zadataka uz mogućnost proširenja i daljnjeg unapređivanja sustava dodavanjem novih elemenata. Development of robotic system control methods has started simultaneously with beginning of robotic system development. Initial concepts for controlling such systems were significantly changed until now and they aim to have even higher degree of autonomy and intelligence. In this paper, based on the same idea, robotic head with two axis is made and it's connected with industrial robotic arm in one system which is automatically controled by developed program. This program is developed in C# programing language and it's used for control purposes using a Microsoft Kinect sensor which is integrated in robotic head assembly. The program uses Kinect's skeletal tracking function to obtain values required for control realization. In this main program is also enabled communication in control chain: industrial robotic arm – main aplication – robotic head. In this paper are also shown solutions for two controlling tasks with this system. First task is cooperation of robotic head with user, where the main idea is to track user and try to direct robotic head's „face“ according to user's head position. Second task is, in cooperation of robotic head with robotic arm, to direct robotic head's „face“ according to robot's tool center point (TCP) position. A wide range of possibilities of this system with using all mentioned elements represent excellent platform for realization more similar tasks and possibility for future system upgrade and further improvement.

U ovom radu opisan je postupak de-identifikacije ljudi u video zapisima korištenjem uređaja Kinect za pribavljanje testnih video zapisa, te koristeći biblioteke poput OpenGL-a, Open Asset Import Library-a i Simple OpenGL Image Library-a za prikaz izmijenjene video sekvence. Postupak se svodi na generiranje virtualnog lika pomoću alata MakeHuman, učitavanje napravljenog 3D modela u video sekvencu, te primijenjujući transformacije na model kako bi njegov položaj odgovarao položaju snimljenog i detektiranog čovjeka čiju privatnost želimo očuvati. This paper describes the process of de-identification of people in video sequences in order to preserve their privacy. The Kinect device is used to obtain video sequences for testing purposes and libraries like OpenGL, Open Asset Import Library and Simple OpenGL Image Library are then used to load the generated model into the video sequence and change it's position to correspond to position of human whose privacy we are protecting. Model is generated using the MakeHuman tool which is designed to generate human-like virtual characters.

U ovom radu ukratko je opisano od kojih komponenti i kako izraditi rukavicu za virtualnu stvarnost. Opisane su potrebne elektroničke komponente, njihovo spajanje i izrada odgovarajuće programske potpore te aplikacija za testiranje funkcionalnosti rukavice. Za potrebe prikazivanja ruke u virualnoj stvarnosti, rukavicom je potrebno pratiti položaj šake u 3D prostoru i savinutost prstiju. U radu je opisano kako primijeniti prošireni Kalmanov filtar za dobivanje orijentacije šake u zapisu pomoću kvaterniona, opisano je kako pomoću Kinecta omogućiti praćenje pozicije šake. Osim toga, navedeno je kako se podatci o položaju šake i savinutosti prstiju mogu primati i koristiti u drugim aplikacijama. This paper briefly describes how to construct a wired glove and which components to choose for assembly. Furthemore, required electronic components and its assembly are also described, same as firmware and applications for testing the glove. For using and modeling hand gestures in virtual reality, it is necessary to provide tracking of hand’s 3D pose and finger flexion. This paper also describes application of extended Kalman filter for obtaining hand’s 3D orientation, represented in quaternions and how to enable hand skeletal tracking using Kinect. Besides, 3D hand pose data receiving and usage in other applications are also described in this paper.

Ovaj rad opisuje postupak deidentifikacije snimljene osobe pomoću virtualnog lika. U tekstu su objašnjene metode i korištene tehnologije za izradu programa koji bi na učitanu video snimku ubacio izrađeni 3D model te učinio da se taj model ponaša kao snimljena osoba u videu. Za snimanje je korišten Microsoft Kinect uređaj zbog svojih senzora dubine i RGB senzora slike. Izrada modela je napravljena u besplatnom alatu MakeHuman, dok je čitavo rješenje napisano u Microsoft Visual Studiu korištenjem OpenGl kao glavnog alata za manipulaciju prikaza podataka videa, Kinect podataka i podataka 3D modela. This work describes the procedure of deidentificating the recorded person through visual characters. In this text are explained the methods and used technologies for program production. Those programs would inject the manufactured 3-D model into the loaded video recording and make them work out as a recorded person. Microsoft Kinect is used for the shooting beacuse of his depth sensors and RGB picture sensor. Model craftmanship was made in the freeware tool Make Human, while the whole solution is realised in Microsoft Visual Studio, using the OpenGL as the main tool for manipulating video data, Kinect data and the 3D model data.

Uređaji za praćenje pokreta pružaju korisnicima s posebnim potrebama, pogotovo onima s motoričkim poteškoćama novu dimenziju korištenja programskih aplikacija. Međutim, malo je poznato kako dizajnirati grafičko sučelje u svrhu edukacijskih i rehabilitacijskih potreba. Kroz ovaj rad su se istražili izazovi implementacije dizajna te ponudili osnovni principi koji dizajn edukacijskih aplikacija upravljanima pokretima čini pristupačnijim. Razvijena je pokazna aplikacija u formi matematičke igre uz primjenu uređaja za upravljanje pokreta Microsoft Kinect. Kroz razvoj aplikacije su se slijedile sve predložene smjernice funkcijskog i grafičkog dizajna sučelja. Provedena je evaluacija razvijene aplikacije na odabranom skupu korisnika kako bi se provjerili svi zaključci doneseni kroz rad. Devices for tracking movements provide users with special needs, especially those with motor disabilities a new dimension to use software applications. However, little is known how to design a graphical interface for the purpose of educational and rehabilitation needs. Through this thesis we research challenges to implantation of the design and offer the basic principles of the design for educational applications managed by movements to be more accessible. Case study application was developed in form of mathematical game with use of the motion sensing input device Microsoft Kinect. Through the development of the game we have complied with all guidelines for functionality of the game and its graphical design interface. Developed case study application was evaluated with selected group of users in order to verify all the conclusions of the paper.

U ovom radu prikazana je konstrukcija robotske glave. Ona će biti opremljena tablet uređajem, na kojem će se prikazivati ekspresije lica robota, i vizijskim sustavom (Microsoft Kinect) koji će robotu omogućiti prepoznavanje osoba i objekata u okolini. Također će Kinect omogućiti interakciju osobe i robota pomoću naredbi rukom, te glasovnih naredbi. U prvom poglavlju prikazan je razvoj robotike kroz povijest: od prvog mehaničkog lava Leonarda da Vincija, preko otkrića teleoperatera i razvoja numerički upravljanih alatnih strojeva, do modernih robota. U drugom poglavlju prikazat će se konstrukcija mehanizma za dvoosnu manipulaciju. Ovakav je mehanizam potrebno konstruirati da bi se glava mogla gibati s obzirom na položaj osobe u prostoru. U trećem poglavlju prikazat će se konstrukcija stalka za tablet. Postoji zahtjev prema kojem treba postojati mogućnost prihvata tablet uređaja raznih dimenzija. Prema tome, stalak mora biti fleksibilan u određenoj mjeri. Također je potrebno na tom stalku predvidjeti i način učvršćenja Kinecta, koji će se gibati zajedno s tablet uređajem, a nalazit će se iznad tableta. U četvrtom poglavlju izradit će se simulacija kretanja robotske glave. Ovu je simulaciju potrebno napraviti iz razloga da se dobije uvid koliko se može zakretati glava robota, a da ne dođe do kolizije s drugim elementima. Zahtjev koji je pritom potrebno realizirati jest da se glava može zakretati za 90o u lijevu i desnu stranu. U petom poglavlju opisat će se Microsoft Kinect. Prikazati će se način rada Kinect uređaja, te na koji način omogućava interakciju čovjeka s računalom, odnosno robotom. Šesto poglavlje obuhvatit će parametarsko programiranje. Ovakvim programiranjem omogućit će se da se određene dimenzije povežu s utjecajnim parametrima. Promjenom tih parametara mijenjat će se dimenzije koje su s njima povezane. CATIA ima mogućnost generiranja tablice za MS Excel, u koju će se unositi vrijednosti parametara. Unošenjem novih vrijednosti parametara u Excel tablicu automatski će se mijenjati dimenzije modela u CATIA-i, bez potrebe ulaženja u program. Posljednje poglavlje prikazat će način i redoslijed sklapanja robotske glave. In this work there will be shown a construction of a robot head. It will be equipped with tablet device, on which we will be able to see robot`s facial expressions, and vision system (Microsoft Kinect) which will enable a robot to recognize people and objects in it`s environment. Kinect will also enable interaction between people and robot with command by hand and voice commands. In the first section a development of robotics will be shown, from Leonardo da Vinci`s first mechanic lion, through the discovery of teleoperator and development of numericaly managed machines, to modern robots. In second section we will show a construction of mechanism for twoaxis manipulation. That kind of mechanism is needed to be constructed so that head could move with respect to the position of person in room. In third section, a construction of stand for tablet will be shown. The stand has to be flexible so that it can support tablets of various dimensions. Moreover, it has to be predicted how Kinect will be attached to the stand, so it would move along with tablet while standing over it. In fourth section, simulation of moving of robot`s head will be constructed. This simulation has to be created so that we get insight in how much robot`s head can move so that no colision with other elements happen. While considering that, we also have to accomplish that head can move 90o in both, left and right way. In fifth section, Microsoft Kinect will be described. There will be shown how it works and how it enables the interaction between human and robot. Sixth section will cover a parametric programming. That kind of programming will enable connecting of specific dimensions and belonging parameters. Changing of these parameters will also change dimensions that are connected with them. CATIA has an ability to generate tables for MS Excel, in which parameters will be entered. Entering new values of parameters in Excel table will automaticaly change dimensions of model in CATIA, so there will be no need for entering in program. In the last section, the way and order of assembly of robot`s head will be shown.

Izlaskom nove verzije Kinect for Windows v2 senzora i pripadajućeg SDK, konačno je Microsoft omogućio razvojnim inženjerima, toliko očekivanu, mogućnost kreiranja Windows Store aplikacija koje će koristiti Kinect senzor. Navedeno je omogućeno kroz razvoj tzv. Univerzalnih Windows aplikacija i za Kinect for Windows, čime se Microsoft još bliže primaknuo obećanom - kreiranju jedinstvene razvojne platforme za sve Windows uređaje i popularizaciji sintagme: „Devices-and-Services“. Na ovom predavanju biti će pokazano kako napraviti Windows Store aplikaciju koja koristi Microsoft Kinect v2, te kako je uklopiti u Univerzalnu Windows aplikaciju. Također, biti će demonstrirano kako iskoristiti Microsoft Azure u pojedinim scenarijima ovakvih aplikacija.

Deidentifikacija je proces, odnosno tehnika kojom se podaci o osobi mijenjaju na način da se ne mogu povezati s njezinim identitetom, a ovim je radom pružen teorijski opis i programska implementacija jednog mogućeg rješenja problema deidentifikacije osoba u video zapisima. Objašnjeni su i opisani osnovni principi proširene stvarnosti i stvaranja modela virtualnog čovjeka, te alati korišteni za implementaciju programskog dijela. Microsoft Kinect SDK olakšava razvoj aplikacija koje u radu koriste Kinect dubinsku kameru, dok Microsoft XNA Framework 4.0 radni okvir i XNA Game Studio omogućuju rješavanje zahtjevnih zadataka, poput animacije virtualnih likova u 3D prostoru. Identitet osoba u video zapisima prikriva se iscrtavanjem virtualnih 3D likova na mjestima gdje se osobe pojavljuju u videu, a kako je izvornu informaciju potrebno sačuvati, koriste se tehnike steganografije. De-identification is a process, or better, a technic used to prevent a person's identity from being connected with information. This paper describes one possible solution of de-identification problems in videos. It explains main principles of augmented reality and 3D modeling, and also, tools used for computer programming. Microsoft Kinect SDK simplifies the development of application software which uses Kinect depth sensor, while Microsoft XNA Framework 4.0 framework and XNA Game Studio enables solving difficult tasks, like animation of 3D models. Person's identity in videos is covered up by drawing 3D models in places, coordinates where person appears in videos, and the steganography techniques are used for keeping the original information.

U radu je potrebno izvesti teleoperaciju robotske ruke Kinova Jaco pomoću 3D kamere. Potrebno je korisiti algoritam uočavanja i praćenja šake čije će se gibanje preslikati na upravljačke naredbe robotskoj ruci. Algoritme implementirati pod Robotskim operacijskim sustavom i funkcionalno provjeriti na robotskoj ruci Kinova Jaco. The work should be completed teleoperaciju robot arm cinemas Jaco using 3D cameras . It should be used in combination algorithm to detect and monitor whose hands will be mapped onto the motion control commands robotic arm . The algorithms implemented under robotic operating system and functional check on the robotic arm cinemas Jaco .

Završni rad obrađuje temu spajanja uređaja Oculus Rift i Kinect u zajedničku scenu. U uvodnom poglavlju se navodi motivacija za izradu završnog rada te ukratko opisuje što će se u radu obrađivati. Zatim se navode osnovne komponente uređaja Oculus Rift, kao i opis načina rada, specifikacije i trenutna problematika uređaja. Potom se navode osnovne komponente uređaja Kinect, kao i opis načina rada, specifikacije i trenutna problematika uređaja. Obrađuje se tema povezivanja uređaja, specifikacije, načine povezivanja uređaja i probleme pri takvom spajanju. Isto tako gleda se na opis aplikacije, način izrade, konačne rezultate i problematiku pri spajanju uređaja. Na kraju se navodi zaključak o budućnosti ove tehnologije. The bachelor thesis explains the subject of integration of Oculus Rift and Kinect in the common scene. In the introduction the motivation of making the final assignment and also what the assignment will process is stated. Then the main components of Oculus Rift, as well as the mode, specification and current problematics of the device are named. After that the main components of Kinect, as well as the mode, specification and current problematics of the device are named. Then the subject of connecting the devices, specifications, the way of connecting the devices and the problems with that kind of connection are processed. Also it is looked at the description of the application, method of making, final results and the problematics with the connection of the devices. At the end the conclusion of the future of this technology is stated.

Ovaj rad daje uvid u korištene tehnike hvatanja pokreta s njihovim prednostima i nedostacima s naglaskom na korištenje Kinecta v2. Opisane su tehnologije i alati potrebni za proces hvatanja pokreta. Postupak je argumentiran detaljno, slikovno i tekstualno s namjerom da osoba koja čita ovaj rad može reproducirati postupak u što kraćem vremenu. Obavljena su mjerenja kašnjenja iscrtavanja pokreta modela u realnom vremenu u odnosu na pokrete u stvarnosti i mjerenja potrebnog vremena za naknadno iscrtavanje animacije snimljene hvatanjem pokreta. Oba mjerenja su obavljena u više iteracija s povećavanjem broja poligona od kojih je model sastavljen. Testiranja su dala rezultate kašnjenja samog Kinecta v2, ali i kašnjenja kojima su uzrok ograničeni resursi računala. Konkretni rezultati imaju cilj odrediti odnos kvalitete animacije u realnom vremenu i tečnosti kojom se ona odvija na određenoj platformi, te na taj način odrediti moguću primjenu. Za konačan zaključak o kreiranim animacijama je bitan i vizualni dojam koji se može steći iz snimljene animacije u prilogu na CD-u koja je nastala pri izradi ovog rada.

Ovaj rad bavi se problematikom prepoznavanja i lokalizacije objekata pomoću algoritama vizijskih sustava. Koristi se MS Kinect 3D kamera, PCL (Point Cloud Library) i fanuc M3iA/6a industrijski robot. U sklopu rada obrađeni su algoritmi za obradu 3D oblaka točaka u koje spadaju segmentacija (ravnina i cilindar), grupiranje (clustering) i određivanje značajki. Proučena je i implementirana TCP/IP komunikacija (Sockets) te Fanuc Karel programski jezik za upravljanje robotom.

Dan je opis i pretpostavljeni princip rada Kinect uređaja. Implementirana je metoda normalizirane križne korelacije koja je potrebna za izračun matrice dispariteta. Opisana je integralna slika, algoritam kojim se optimira NCC-a. Prikazan je kratak uvod u pisanje MEX funkcija koje služe za ubrzanje postojećeg koda u Matlabu. Izvedena su mjerenja i napravljena je statistika implementiranog algoritma normalizirane križne korelacije. Predstavljen je sustav za projiciranje pseudoslučajnog uzorka kao i sam uzorak koji smo projicirali na ravnu površinu zida i lutku. Napravljena je statistika točnosti pseudoslučajnog uzorka kao i sama 3D rekonstrukcija. In this thesis it's presented assumed working principle of the Kinect. For calculation of disparity matrix it's implemented and described normalized cross-correlation method. To optimize the NCC it is implemented an integral image algorithm. There is also a introduction to writing MEX functions which serve to speed up existing code in Matlab. Measurements are made as well as statistics of the implemented normalized cross-correlation algorithm. System for projecting a random speckle pattern is presented. Experiments projecting a pattern on the flat surface and on a doll are demonstrated. Finally, after statistics of pseudorandom pattern is done it's shown that 3D reconstruction is possible.

Uobičajeni načini interakcije s aplikacijama za potpomognutu komunikaciju pomoću miša, tipkovnice pa čak i pomoću uređaja osjetljivih na dodir mogu predstavljati značajan problem za osobe s motoričkim poteškoćama. Uređaji za praćenje pokreta korisnika imaju potencijal kao alternativno rješenje za upravljanje aplikacijama za potpomognutu komunikaciju. U ovom su diplomskom radu istražene i analizirane mogućnosti upravljanja aplikacijama pomoću uređaja za praćenje pokreta korisnika Leap Motion i Kinect. Razvijena je pokazna web aplikacija u formi igre s više predloženih načina upravljanja koji omogućavaju korištenje osobama s različitim stupnjevima motoričkih poteškoća. Kroz razvoj aplikacije uspoređene su i mogućnosti uređaja Leap Motion i Kinect. U radu su također opisani i analizirani rezultati korisničke evaluacije razvijenog programskog rješenja. Standard methods of interacting with applications for alternative and augmentative communication using a mouse, keyboard, or even a touch sensitive device can pose a significant problem for users with motor impairments. Motion sensing devices have a potential as an alternative way of interacting with AAC applications. In this diploma thesis, capabilities of motion sensing devices, Leap Motion and Kinect, and their potential as a method of user interaction with AAC applications have been researched and analyzed. A proof of concept application has been developed, with multiple proposed interaction methods that can be used by users with varying degrees of motor impairment. Different capabilities of Leap Motion and Kinect were compared during the development of the application. This thesis also describes and analyzes the results of user evaluation of the developed application.

Ovim radom razvijen je sustav za segmentiranje slika dobivenih dubinskom kamerom i generiranje efekata pomoću dobivene segmentacije. Sustav je podijeljen u tri osnovna dijela. Prvi dio sustava je podsustav za komunikaciju s dubinskom kamerom koji upravlja kamerom i dohvaća željene podatke. Drugi dio sustava je podsustav za segmentaciju koji sadrži konkretne implementacije segmentacijskih algoritama. Segmentacijski algoritmi pomoću podataka s dubinske kamere generiraju efekte zamjene pozadine, brisanje korisnika sa slike ili prikaz smanjenog korisnika. Posljednji dio sustava je sam segmentator koji ujedinjava prethodna dva sustava, pruža unificirano sučelje za korištenje sustava i prosljeđuje podatke iz podsustava za komunikaciju sa senzorom u podsustav za segmentaciju. Prikazani su dobiveni rezultati i njihova moguća primjena. Within this paper a system for segmentation of depth images acquired from depth sensors has been developed. Developed system is divided into three separate parts. First part of the system contains a subsystem for communication with the depth sensor. The communication subsystem is responsible for handling cameras resources, initializing and stopping the camera and retrieving data. Second part of the system is the subsystem for segmentation which contains multiple implementations of segmentation algorithms. Segmentation algorithms use depth data from depth sensor to generate the effects of background and player removal or to shrink the player. Last part of the system is the segmentator. Segmentator combines previous subsystems into a whole, provides unified interface for the whole system and transfers data from communication subsystem to segmentation algorithms. Lastly, results of system testing and possible usage are shown.

U radu je opisan osnovni način upravljanja robotskim manipulatorom putem Kinect senzora. U početku su proučene neke osnovne karakteristike robotskih manipulatora. Opisane su geometrijske konfiguracije, osnovni načini upravljanja robotskim manipulatorima i pogonski sustav koji se koristi u robotici. Analiziran je Kinect senzor i način na koji radi. Opisana je Lynx6 robotska ruka i ostalo sklopovlje korišteno u ovom radu. Proučen je način dohvaćanja točaka pomoću Kinect senzora i dobivanja odgovarajućih kutova između zglobova. Definiran je postupak računanja pomoću inverzne kinematike. Definirana su ograničenja servo motora. Opisan je način mapiranja kutova na robota tako da pokreti izgledaju što prirodnije. Opisan je program koji je izrađen za upravljanje robotskog manipulatora u realnom vremenu. Program je uspješno testiran. Rezultati su prikazani i opisane su glavne prednosti i mane sustava.

Ovaj završni rad nudi sistematičan pregled najvažnijih koraka pri 3D modeliranju te prilagodbu jednog tako napravljenog 3D modela za rad s Microsoftovim Kinectom. Ukratko opisuje osnove 3D modeliranja, postupke izrade kostura te pridruživanje kože kosturu. Upoznaje nas s osnovama rada Kinect uređaja. Nastavak je projekta na sličnu temu. No, za razliku od projekta koji je imao jako loše napravljenu odjeću, poseban naglasak stavljen je na modeliranje vizualno privlačne odjeće u ovom slučaju narodne nošnje. This bacchelor thesis shows systematic description of steps in 3D modelling.It also describes preparation of model so that one could be able to work with Microsoft Kinect. It describes briefly basics of 3D modelling, rigging and skinning. It also shows how Kinect works. It is follow up od project with same subject, but is concentrated more on creating clothes. In this case it is Croatian traditional costumes.

U ovom radu je obrađena tema prirodne interakcije korisnika s elementima grafičkog sučelja. Definiran je pojam prirodne interakcije. Navedene su mogućnosti uređaja Microsoft Kinect za detekciju pokreta korisnika kao i primjena tih mogućnosti u ostvarivanju prirodne interakcije korisnika s računalom. Opisana je aplikacija eIzlog koja demonstrira koncepte prirodne interakcije u primjeni, analizirani su dobiveni rezultati i performanse aplikacije uz kratak osvrt na ukupni dojam.

U ovome radu proučava se kocept proširene stvarnosti, a posebna pozornost posvećena je komunikaciji korisnika sa elementima unutar nje. Opisani su osnovni elementi, odnosno uređaji koji ga čine, a zatim i najvažniji algoritmi u cijelom procesu interakcije. U praktičnome dijelu razvijen je jedan takav sustav te je njegov princip rada također objašnjen, kao i najvažniji dijelovi algoritma i programske implementacije. Također je opisan i Kinect, uređaj razvijen od strane Microsofta, jer je on i najbitniji i tehnički najinovativniji dio cijelog ovog sustava. Na kraju su provedena testiranja čiji rezultati pokazuju pouzdanost i preciznost pojedinih rješenja te kvalitetu korištenih uređaja.

U radu se opisuje izrada sustava upravljanja bespilotnom letjelicom korištenjem senzora Microsoft Kinect.

U ovom diplomskom radu opisuje se jedan od mogućih načina izvedbe slobodnog prostornog modeliranja u virtualnom svijetu pomoću direktne manipulacije rukama uz korištenje Microsoft Kinecta kao upravljačkog uređaja. Naglasak u radu stavljen je na teorijske osnove korištenih algoritama i bitne dijelove njihove programske implementacije, ali uključeni su i neki od većih problema na koje treba pripaziti, njihova rješenja i moguća buduća poboljšanja. Neki od značajnijih korištenih algoritama uključuju algoritam pokretnih kocki (Marching Cubes) za definiranje osobina i stvaranje upotrebljive mase za modeliranje iz volumnih modela, zatim algoritam k-zakrivljenosti za prepoznavanje prstiju i raznovrsni algoritmi za detekciju obrisa i ostvarivanje virtualne kontrole pomoću gesti. Konačan rezultat je funkcionalan program koji omogućuje izmjene postojećih ili stvaranje novih modela te njihovo spremanje u datoteku kompatibilnu s klasičnim programima za 3D modeliranje radi daljnje obrade.

Razvijen je sustav navigacije humanoidnog robota NAO korištenjem mape popunjenosti prostora generirane na bazi podataka iz Kinect senzora. Putanja se planira korištenjem modificiranog A* algoritma. Sustav vrši lokalizaciju i estimira orijentaciju robota, čime se ostvaruje upravljanje u povratnoj vezi. Pokazuje se da sustav dobro prati planiranu putanju uz različit raspored objekata u prostoru.

Opis sustava Kinect i tehnološke specifikacije, te programska podrška za sustav. Dokumentirani OpenNI framework, kako čitati i generirati podatke sa senzora, koje su sve mogućnosti sučelja, koncept iza tehnologije i uvod u prirodnu interakciju. Upoznavanje sa praćenjem objekata, primjer aplikacije sa 6 funkcionalnosti. Algoritmi za detekciju pokreta, filtriranje boje u slici, označavanje objekata i pripremanje ispisa. Opis programske izvedbe takve aplikacije, te pojašnjenje određenih algoritama i nedostataka same izvedbe.

Poslijednjih godina svjedoci smo brzog razvoja uređaja sa zaslonom osjetljivim na dodir, u prvom redu pametnih telefona i tableta. Način njihove interakcije je intuitivan i jednostavan čovjeku. Isto tako mogli smo vidjeti da se razvoj osobnih računala usporio te da nema značajnijeg napretka. Kinect je uređaj koji predstavlja budućnost interakcije s digitalnim svijetom i omogućava nam da pokretima izvodimo radnje na računalu. Interakcija s računalom pomoću pokreta i ljudskog glasa otvara nebrojene mogućnosti za razvoj i primjenu, te novi zamah u razvoju osobnih računala. Ovaj rad daje pregled mogućnosti razvoja Kinect aplikacija, posebnosti i primjenu takvih aplikacija u praksi.

Lokalizacija i izgradnja karte prostora su temelji uspješen navigacije u tehnologiji koja se bavi mobilnim robotima. Problem izvođenja istovremene lokalizacije i izgradnje karte prostora, ili skraćeno SLAMa, riješen je na Pioneer 3-DX robotu koristeći Kinect senzor. Pri izradi rada maksimalno je korištena postojeća funkcionalnost implementirana u okviru Robotskog operativnog sustava (ROS). Rezultati predstavljeni u radu pokazuju da je korištenjem Kinect senzora moguće izraditi kartu prostora koja kvalitativno dobro opisuje istraženi prostor. Ovakav sustav može se koristiti u prostorima kojima čovek ne može pristupiti.

U ovom radu dan je prikaz načina rada senzora Kinect i različite mogućnosti dobivanja podataka o prostoru. Također su opisane tehničke karakteristike i način rada samog senzora. Prikazan je izgled 3D prostora te je opisan način na koji se dolazi do podataka o dubini u prostoru. Opisan je programski alat Visualization Toolkit i različiti postupci 3D modeliranja. Podaci o dubini koriste se za stvaranje 3D slike koja je spremljena u .wrl format i čija je daljnja obrada moguća alataom AutoCad 3ds max. Uz sliku su spremljeni i podaci o realnim dimenzijama prostora, a u prilogu rada prikazano je rastavljanje Kinecta i popis dijelova koji ga sačinjavaju.