Search

L'objectiu d'aquest treball és explorar l'ús d'eines digitals i Realitat Virtual en l'educació, especialment en el camp de la biotecnologia. Per complementar-ho, s'elabora una activitat que s'acabarà implementant a l'aula per valorar de forma empírica l'eficàcia d'aquestes eines. Per això, es realitza una recerca bibliogràfica per establir un marc teòric. A través d'aquesta recerca, es proporciona una base per entendre i explorar en profunditat els temes relacionats amb l'ús d'eines digitals en l'educació, així com per argumentar els seus beneficis i detraccions. A continuació es dura a terme una investigació de les diferents plataformes de realitat virtual i simuladors disponibles en el camp de la biotecnologia. L'objectiu és identificar i fer una valoració de les eines digitals que ofereixen contingut rellevant per a l'ensenyament de la biotecnologia. La segona part del treball consisteix a desenvolupar una activitat utilitzant una de les eines digitals seleccionades. Aquesta activitat està dissenyada per a l'ensenyament de la Biotecnologia en la Formació Professional amb l'objectiu de permetre als estudiants experimentar i explorar conceptes de biotecnologia de manera interactiva a través de la plataforma o el simulador triat. En acabar l'activitat, es recullen els resultats de satisfacció de l'alumnat mitjançant una enquesta UEQ-S. Finalment, els resultats de les enquestes seran analitzats i avaluats a fi de fer propostes de millora.

This project integrates mixed reality, computer vision, and deep learning to develop an application for the Glassear headset, a cutting-edge entrepreneurial project. The aim of the application is to improve user health and encourage a culture of healthy eating. Mixed reality combines virtual and augmented reality, bridging the gap between the real and digital world, to offer an immersive and interactive experience to the user. By using the headset's cameras to scan the environment, the application identifies available ingredients and presents healthy recipes with instructions in 3D and first-person view. The computer vision component of the project provides real-time object detection with high precision and recall, over 95%, and the advanced user interface allows for seamless interaction with the experience, by using natural input such as human hands or eyes. The combination of these technologies results in a dynamic and intuitive experience for the user, promoting healthy eating habits and giving more value to new technologies. Aquest projecte integra realitat mixta, visió per ordinador i aprenentatge profund per desenvolupar una aplicació per al casc Glassear, un projecte emprenedor d'avantguarda. L'objectiu de l'aplicació és millorar la salut dels usuaris i fomentar una cultura d'alimentació saludable. La realitat mixta combina la realitat virtual i la realitat augmentada, superant la bretxa entre el món real i el digital, per oferir una experiència immersiva i interactiva a l'usuari. Mitjançant l'ús de les càmeres del casc per escanejar l'entorn, l'aplicació o identifica els ingredients disponibles i presenta receptes saludables amb instruccions en 3D i vista en primera persona. El component de visió per ordinador del projecte proporciona detecció d'objectes en temps real amb una alta precisió i record, més del 95%, i la interfície d'usuari avançda permet una interacció perfecta amb l'experiència, utilitzant inputs naturals com ara mans o ulls humans, fins i tot la veu. La combinació o d'aquestes tecnologies dóna com a resultat una experiència dinàmica i intuïtiva per a l'usuari, promovent habits alimentaris saludables i donant més valor a noves tecnologies. Este proyecto integra realidad mixta, visión por ordenador y aprendizaje profundo para desarrollar una aplicación para el casco Glassear, un proyecto emprendedor de vanguardia. El objetivo de la aplicación es mejorar la salud de los usuarios y fomentar una cultura de alimentación saludable. La realidad mixta combina la realidad virtual y la realidad aumentada, superando la brecha entre el mundo real y el digital, para ofrecer una experiencia inmersiva e interactiva al usuario. Mediante el uso de las cámaras del casco para escanear el entorno, la aplicación o identifica los ingredientes disponibles y presenta recetas saludables con instrucciones en 3D y vista en primera persona. El componente de visión por ordenador del proyecto proporciona detección de objetos en tiempo real con una alta precisión y recuerdo, más del 95%, y la interfaz de usuario avanzada permite una interacción perfecta con la experiencia, utilizando inputs naturales como manos u ojos humanos, incluso la voz. La combinación o de estas tecnologías da como resultado una experiencia dinámica e intuitiva para el usuario, promoviendo habitos alimentarios saludables y dando más valor a nuevas tecnologías.

El desmantelamiento y/o traslado de distintas sillerías de catedrales y monasterios españoles a lugares distintos para los que fueron concebidas, es un claro ejemplo de descontextualización del patrimonio arquitectónico. En el presente trabajo se explica el proceso de reconstrucción virtual de estas estructuras, muchas veces parcialmente conservadas, así como la metodología para su integración geométrica en fotografías equirectangulares tomadas desde el interior de los recintos originales para las que fueron diseñadas. Se han modelado inicialmente las sillerías de los monasterios de Yuste y Nájera, conservadas en su totalidad y con la experiencia adquirida se ha planteado un caso de estudio que ha permitido, mediante técnicas de fotogrametría y de modelado tridimensional, la reconstrucción virtual de la sillería de la catedral de Oviedo en su totalidad en su emplazamiento original. Para ello se ha partido de la escasa documentación histórica existente sobre su configuración inicial y de la información geométrica y material del resto de elementos que aún se conservan y se ha integrado el modelo en una aplicativo que ofrece al espectador, de forma interactiva e inmersiva, un recorrido virtual “mixto” de la nave central de la catedral que incorpora el modelo virtual en su ubicación original. La metodología empleada supone una nueva combinación de técnicas de realidad mixta que, de forma económica, interactiva, ubicua y universal, han de permitir un avance en la difusión del patrimonio descontextualizado.

En aquells entorns de treball en què s'hi mouen robots mòbils autònoms, com magatzems i fàbriques, cal que disposin d'un mapa de la zona per saber per on s'han de moure. Per generar aquests mapes hi ha moltes tècniques. Una d'elles és la que s'explora en aquest treball. La idea és tenir un robot explorador que vagi descobrint la localització de tots els obstacles. Aquest robot té una versió virtual que, cada cop que el real detecta un obstacle no present a l'entorn simulat, provoca la creació d'aquest obstacle al món virtual. D'aquesta manera, s'acaba creant un entorn virtual que acaba essent un mapa de localització dels obstacles i de les vies de pas de l'àrea de treball. Per fer-ho, el robot compta amb un mòdul sensor que fusiona les dades del llidar real amb les del virtual per als controladors de més alt nivell del mateix robot per actualitzar l'entorn (creació o modificació d'objectes). Addicionalment, el mateix mòdul pot servir per fer que el robot treballi en mode de "realitat augmentada", tot detectant objectes que només són presents a l'entorn virtual. Els resultats demostren que s'ha desenvolupat un mòdul controlador capaç de realitzar les funcionalitats proposades. I el treball realitzat pot ser el punt de partida per a futurs estudis. In those work environments where autonomous mobile robots move, such as warehouses and factories, they need to have a map of the area to know where they move. There are many techniques for generating these maps. One of them is the one explored in this paper. The idea is to have a scout robot that will discover the location of all obstacles. This robot has a virtual version that, every time the real one detects an obstacle not present in the simulated environment, causes the creation of this obstacle in the virtual world. In this way, a virtual environment is created, which ends up being a map of the location of obstacles and passageways in the work area. To do this, the robot has a sensor module that merges real lidar data with virtual data for the highest-level controllers of the same robot to update the environment (creation or modification of objects). Additionally, the same module can be used to make the robot work in "augmented reality" mode, detecting objects that are only present in the virtual environment. The results show that a controller module capable of performing the proposed functionalities has been developed. And the work done can be the starting point for future studies. En aquellos entornos de trabajo en los que se mueven robots móviles autónomos, como almacenes y fábricas, es necesario que dispongan de un mapa de la zona para saber por donde deben moverse. Para generar estos mapas hay muchas técnicas. Una de ellas es la que se explora en este trabajo. La idea es tener un robot explorador que vaya descubriendo la localización de todos los obstáculos. Este robot tiene una versión virtual que, cada vez que el real detecta un obstáculo no presente en el entorno simulado, provoca la creación de este obstáculo en el mundo virtual. De este modo, se acaba creando un entorno virtual que acaba siendo un mapa de localización de los obstáculos y de las vías de paso del área de trabajo. Para ello, el robot cuenta con un módulo sensor que fusiona los datos del lidar real con las del virtual para los controladores de más alto nivel del mismo robot para actualizar el entorno (creación o modificación de objetos). Adicionalmente, el mismo módulo puede servir para hacer que el robot trabaje en modo de "realidad aumentada", detectando objetos que sólo están presentes en el entorno virtual. Los resultados demuestran que se ha desarrollado un módulo controlador capaz de realizar las funcionalidades propuestas. Y el trabajo realizado puede ser el punto de partida para futuros estudios.

Full-body Interaction experiences based on Mixed Reality (MR) systems are already playing an important role in encouraging socialization behaviors in children with Autism Spectrum Condition (ASC), as seen in the state of the art of this thesis. However, the data from these systems is multimodal in nature and complex to analyze. Fusion and analysis of this data is crucial to achieve a complete understanding of how these resources interact with each other. In this PhD Thesis, given the characteristics of full-body interaction, we developed new multimodal data gathering and evaluation techniques to better understand the effectiveness of the experience developed in our Full-body Interaction Lab (FuBIntLab) called Lands of Fog. This is a large-scale MR, full-body interaction environment, which allows two children to play face-to-face and explore the physical and virtual worlds simultaneously. Specifically, we developed an experimental setup for comparing Lands of Fog with a control condition based on LEGO construction toys, which includes: recording psychophysiological measures synchronized with other data sources such as observed overt behaviors and system logs of game events. In order to capture accurate psychophysiological data, we developed a wearable that is child-friendly and robust to movement artifacts in the context of ambulatory full-body interaction. In order to integrate observed overt behaviors with other data sources, we designed and developed a novel video coding protocol and an adapted coding grid conceived for Social Interaction Behaviors (SIBs) in ASC children. Using a repeated measure design, we collected data from seventy-two children (36 ASC/non-ASC dyads) from the city of Barcelona, with ages between 8-12 years old (N = 12 female, N = 60 male). Data from these trials has been organized into a public database and processed based on a semi-automatic software pipeline developed within this project. Based on this data we developed three different computational models for modelling SIBs in children with ASC during Lands of Fog sessions, compared to LEGO sessions. The results of this research support the idea that full-body interaction MR environments are capable of fostering SIBs in children with ASC with similar success as the LEGO setting, with an added advantage of being more flexible. Findings reported here shed new light on developing a tool that is mediating, guiding, and supporting the progress of the children in terms of practicing SIBs and providing structure and assistance to therapists.

El proyecto trata de la realización de una instalación de arte interactivo, inmersiva y cooperativa, compuesta con efectos visuales y auditivos los cuales son modificados por la presencia de los usuarios. Mi objetivo es hacer sentir a los usuarios que son un instrumento que forma parte de una canción producida en tiempo real. La disposición es de una columna cuadrada, de cuatro caras donde cada usuario podrá mimetizarse con el instrumento, tendrá el control absoluto mediante su movimiento y podrá ver y escuchar la respuesta. Las principales limitaciones de este proyecto han sido los conocimientos técnicos y los recursos disponibles para su realización de software y hardware en especial. El arte interactivo es la práctica artística donde intervienen tecnologías interactivas, basadas en interfaces que permiten establecer un diálogo entre el público y la obra misma. Se trata de una categoría del arte de los nuevos medios que hace referencia a todas las manifestaciones artísticas creadas a partir de las nuevas tecnologías. He analizado sus raíces en términos de imagen, concepto, interfaz y música. La metodología a seguir en el proyecto ha constado de tres fases fundamentales: preproducción, producción y montaje de la instalación. En la preproducción he definido la estética con los referentes de imagen y música; he ideado la interacción analizando cada una de las posibilidades, he extraído los métodos más óptimos y he comenzado con la producción. He trabajado los tres apartados fundamentales: Interacción o interfaz, audio y video. Cada uno conlleva un flujo de trabajo que consta de una experimentación previa que una vez interiorizada ha sido aplicada junto a las diferentes técnicas aprendidas. La producción se ha trabajado en una versión de pruebas que simula la instalación real pero que se ha programado paralelamente a la versión definitiva y otra versión adicional que permite experimentar el proyecto con un solo usuario funcionando de la misma manera que un “looper”. En conjunto ha sido un proceso muy complejo y laborioso porque he tenido que dar solución a problemas no documentados y he esquivado los inconvenientes apostando por alternativas a falta de material y disponibilidad para el montaje. En cambio, en todo momento he estado muy motivado y el resultado final ha sido mejor al esperado, he conseguido cumplir con mis objetivos y me llevo muchísimos nuevos conocimientos

This project addresses the topic of database augmentation through a focus on process automation. In the field of autonomous driving systems the datasets used by the learning algorithms are decisive. Furthermore, the underlying machine learning systems would always benefit from having further quality data to learn from. A recent work on the topic of image dataset augmentation has been published, but it did not focus on the automation of the process, and it only involved the addition of cars to the existing images. On the other hand, our project has been developed to also support other kinds of objects. Moreover, our work has centered on developing an automatic pipeline that enables a continual augmentation of the dataset. Thanks to the efforts invested into the analysis of the source images and the automated rendering of virtual objects we can now produce augmented versions of the source images with relative ease. Este proyecto aborda el tema del aumento de conuntos de datos a través de un enfoque en la automatización de procesos. En el campo de los sistemas de conducción autónomos, los conjuntos de datos utilizados por los algoritmos de aprendizaje son decisivos. Además, los sistemas subyacentes de aprendizaje automático siempre se pueden beneficiar de contar con más datos de calidad de los que aprender. Recientemente se ha publicado un trabajo sobre el tema del aumento del conjunto de datos de imágenes, pero no está centrado en la automatización del proceso, y solo incluye la adición de automóviles a las imágenes existentes. En cambio, nuestro proyecto se ha desarrollado para admitir otros tipos de objetos. Además, nos hemos centrado en desarrollar un proceso automático que permita un aumento continuo del conjunto de datos. Gracias al esfuerzo invertido en el análisis de las imágenes originales y la representación automática de objetos virtuales, ahora podemos producir versiones aumentadas de las imágenes originales con relativa facilidad. Aquest projecte aborda el tema de l'augment de conjunts dades mitjançant un enfocament en l'automatització de processos. En el camp dels sistemes de conducció autònoms, els conjunts de dades utilitzats pels algoritmes d'aprenentatge són decisius. A més, els sistemes subjacents d'aprenentatge computacional sempre es poden beneficiar de tenir més dades de qualitat de les que aprendre. S'ha publicat recentment un treball sobre l'augment de conjunts de dades d'imatges, però no està centrat en l'automatització del procés i només involucra l'addició de cotxes a les imatges existents. D'altra banda, el nostre projecte s'ha desenvolupat per a donar suport a més tipus d'objectes i s'ha centrat en desenvolupar un procés automàtic que permeti augmentar de forma contínua el conjunt de dades. Gràcies als esforços invertits en l'anàlisi de les imatges originals i en el renderitzat automàtic d'objectes virtuals, ara podem produir versions augmentades de les imatges originals amb relativa facilitat.

Aquesta tesi proposa el seguiment en profunditat d'un procés de disseny i d'implementació d'un artefacte interactiu. Explora l'agència de dissenyadors, usuaris i artefactes interactuant junts i configurant processos que van més enllà de la producció d'un objecte acabat. També mostrar com el disseny d'interactius no només és un disseny de tecnologia, sinó també de context d'ús i on els processos socials -entre humans i no humans, també- juguen un paper determinant. La visió del codisseny que es proposa obre una mirada crítica sobre com entenem actualment els processos de disseny i els agents implicats, qüestionant que el centre d'atenció es posi en l'experiència d'usuari sense tenir en compte l'experiència dels propis dissenyadors i el context d'ús. Metodològicament, aquesta tesi revela com quan el dissenyador experimenta amb diferents mètodes etnogràfics la seva forma de comprendre el món requereix no només observar i descriure, sinó també fer i donar forma a la pròpia tecnologia., Esta tesis propone el seguimiento en profundidad de un proceso de diseño y de implementación de un artefacto interactivo. Explora la agencia de diseñadores, usuarios y artefactos interactuando juntos y configurando procesos que van más allá de la producción de un objeto terminado. También muesra cómo el diseño de interactivos no sólo es un diseño de tecnología, sino también de contexto de uso y donde los procesos sociales -entre humanos y no humanos, también- juegan un papel determinante. La visión del codiseño que se propone abre una mirada crítica sobre cómo entendemos actualmente los procesos de diseño y los agentes implicados, cuestionando que el centro de atención se ponga en la experiencia de usuario sin tener en cuenta la experiencia de los propios diseñadores y el contexto de uso. Metodológicamente, esta tesis revela que cuando el diseñador experimenta con diferentes métodos etnográficos su forma de comprender el mundo requiere no sólo observar y describir, sino también hacer y dar forma a la propia tecnología., This Ph.D. thesis proposes to follow a design and implementation process of an interactive artifact. It explores the agency of designers, users and devices interacting together and forming processes that go beyond the production of a finished object. It also shows how the design of interactive artifacts is not only the development of a technology but also the configuration of a context of use t where social processes among humans and non-humans, play a decisive role. The proposed vision of co-design opens a critical view at how we currently understand design processes and stakeholders. I argue that in interactive design the experience of users include the experience of the designers and that the non-human components play also a significative role in how thee artifact becomes. Methodologically, this PhD dissertation reveals how the designer needs to make and shape technology, not only observe and describe, when he experiments with different ethnographic methods to understand the world.