Search

This project integrates mixed reality, computer vision, and deep learning to develop an application for the Glassear headset, a cutting-edge entrepreneurial project. The aim of the application is to improve user health and encourage a culture of healthy eating. Mixed reality combines virtual and augmented reality, bridging the gap between the real and digital world, to offer an immersive and interactive experience to the user. By using the headset's cameras to scan the environment, the application identifies available ingredients and presents healthy recipes with instructions in 3D and first-person view. The computer vision component of the project provides real-time object detection with high precision and recall, over 95%, and the advanced user interface allows for seamless interaction with the experience, by using natural input such as human hands or eyes. The combination of these technologies results in a dynamic and intuitive experience for the user, promoting healthy eating habits and giving more value to new technologies. Aquest projecte integra realitat mixta, visió per ordinador i aprenentatge profund per desenvolupar una aplicació per al casc Glassear, un projecte emprenedor d'avantguarda. L'objectiu de l'aplicació és millorar la salut dels usuaris i fomentar una cultura d'alimentació saludable. La realitat mixta combina la realitat virtual i la realitat augmentada, superant la bretxa entre el món real i el digital, per oferir una experiència immersiva i interactiva a l'usuari. Mitjançant l'ús de les càmeres del casc per escanejar l'entorn, l'aplicació o identifica els ingredients disponibles i presenta receptes saludables amb instruccions en 3D i vista en primera persona. El component de visió per ordinador del projecte proporciona detecció d'objectes en temps real amb una alta precisió i record, més del 95%, i la interfície d'usuari avançda permet una interacció perfecta amb l'experiència, utilitzant inputs naturals com ara mans o ulls humans, fins i tot la veu. La combinació o d'aquestes tecnologies dóna com a resultat una experiència dinàmica i intuïtiva per a l'usuari, promovent habits alimentaris saludables i donant més valor a noves tecnologies. Este proyecto integra realidad mixta, visión por ordenador y aprendizaje profundo para desarrollar una aplicación para el casco Glassear, un proyecto emprendedor de vanguardia. El objetivo de la aplicación es mejorar la salud de los usuarios y fomentar una cultura de alimentación saludable. La realidad mixta combina la realidad virtual y la realidad aumentada, superando la brecha entre el mundo real y el digital, para ofrecer una experiencia inmersiva e interactiva al usuario. Mediante el uso de las cámaras del casco para escanear el entorno, la aplicación o identifica los ingredientes disponibles y presenta recetas saludables con instrucciones en 3D y vista en primera persona. El componente de visión por ordenador del proyecto proporciona detección de objetos en tiempo real con una alta precisión y recuerdo, más del 95%, y la interfaz de usuario avanzada permite una interacción perfecta con la experiencia, utilizando inputs naturales como manos u ojos humanos, incluso la voz. La combinación o de estas tecnologías da como resultado una experiencia dinámica e intuitiva para el usuario, promoviendo habitos alimentarios saludables y dando más valor a nuevas tecnologías.

This project addresses the topic of database augmentation through a focus on process automation. In the field of autonomous driving systems the datasets used by the learning algorithms are decisive. Furthermore, the underlying machine learning systems would always benefit from having further quality data to learn from. A recent work on the topic of image dataset augmentation has been published, but it did not focus on the automation of the process, and it only involved the addition of cars to the existing images. On the other hand, our project has been developed to also support other kinds of objects. Moreover, our work has centered on developing an automatic pipeline that enables a continual augmentation of the dataset. Thanks to the efforts invested into the analysis of the source images and the automated rendering of virtual objects we can now produce augmented versions of the source images with relative ease. Este proyecto aborda el tema del aumento de conuntos de datos a través de un enfoque en la automatización de procesos. En el campo de los sistemas de conducción autónomos, los conjuntos de datos utilizados por los algoritmos de aprendizaje son decisivos. Además, los sistemas subyacentes de aprendizaje automático siempre se pueden beneficiar de contar con más datos de calidad de los que aprender. Recientemente se ha publicado un trabajo sobre el tema del aumento del conjunto de datos de imágenes, pero no está centrado en la automatización del proceso, y solo incluye la adición de automóviles a las imágenes existentes. En cambio, nuestro proyecto se ha desarrollado para admitir otros tipos de objetos. Además, nos hemos centrado en desarrollar un proceso automático que permita un aumento continuo del conjunto de datos. Gracias al esfuerzo invertido en el análisis de las imágenes originales y la representación automática de objetos virtuales, ahora podemos producir versiones aumentadas de las imágenes originales con relativa facilidad. Aquest projecte aborda el tema de l'augment de conjunts dades mitjançant un enfocament en l'automatització de processos. En el camp dels sistemes de conducció autònoms, els conjunts de dades utilitzats pels algoritmes d'aprenentatge són decisius. A més, els sistemes subjacents d'aprenentatge computacional sempre es poden beneficiar de tenir més dades de qualitat de les que aprendre. S'ha publicat recentment un treball sobre l'augment de conjunts de dades d'imatges, però no està centrat en l'automatització del procés i només involucra l'addició de cotxes a les imatges existents. D'altra banda, el nostre projecte s'ha desenvolupat per a donar suport a més tipus d'objectes i s'ha centrat en desenvolupar un procés automàtic que permeti augmentar de forma contínua el conjunt de dades. Gràcies als esforços invertits en l'anàlisi de les imatges originals i en el renderitzat automàtic d'objectes virtuals, ara podem produir versions augmentades de les imatges originals amb relativa facilitat.