Search

Submitted by António Freitas (amsf@uma.pt) on 2021-11-23T11:57:09Z No. of bitstreams: 1 FranciscoTeixeira_dissertacao_final.pdf: 3662289 bytes, checksum: 357f1df2c0beb690422c7ec1f864fd77 (MD5) Made available in DSpace on 2021-11-23T11:57:09Z (GMT). No. of bitstreams: 1 FranciscoTeixeira_dissertacao_final.pdf: 3662289 bytes, checksum: 357f1df2c0beb690422c7ec1f864fd77 (MD5) Previous issue date: 2021-07-27

To address the problem of occlusion in hand tracking, this work presents the software followIT as an annotation tool in which the positions of wrists are manually annotated by users in previously recorded 3D point clouds. These are captured by the Microsoft® Azure Kinect Depth Camera. The software is developed with Python and is based on Open3D. The result is a csv-file including the coordinates for each wrist to generate trajectories. The evaluation shows that followIT enables the user to estimate visible and occluded wrists nearly as good as ground truth tools.

Ilustraciones a color, tablas Los sistemas de realidad virtual y aumentada son tecnologías que han impuesto nuevas formas de interacción entre los usuarios y entornos simulados por computadora. Con diversos campos de aplicación, estos sistemas han demostrado tener potencial en el sector industrial para apoyar el entrenamiento de trabajadores en múltiples sectores. Sin embargo, se hace necesario desarrollar interfaces hombre-máquina cada vez más intuitivas y menos invasivas para lograr un alto impacto y aceptación por parte de los usuarios. Los guantes hápticos son dispositivos modernos alineados con este objetivo, pues gracias a un conjunto de sensores integrados, rastrean el movimiento de las manos y los dedos con precisión, permitiendo a los usuarios interactuar tanto con el mundo real a su alrededor, como con objetos virtuales agregados a la escena. A pesar de encontrar diferentes productos comercializados de este tipo, aplicaciones de realidad mixta para el sector industrial y múltiples proveedores de guantes hápticos, no existe una única solución general para diversos campos de la industria. De hecho, tampoco es posible reutilizar recursos entre proyectos debido a las grandes diferencias que enfrenta cada aplicación, en cuanto a requerimientos, herramientas y dispositivos implementados. Con el fin de aportar a la solución, en este proyecto se diseñó e implementó una librería de software para integrar rápidamente los guantes hápticos Captoglove a cualquier aplicación de realidad mixta desarrollada en Unity. Con esta librería se simplifica el desarrollo de aplicaciones dirigidas al entrenamiento industrial de trabajadores, al sintetizar el proceso de configuración, procesamiento de datos e interacción con objetos virtuales a través de gestos específicos y comúnmente encontrados en diferentes entornos de capacitación. Virtual and augmented reality systems are technologies that have imposed new forms of interaction between users and computer simulated environments. With diverse fields of application, these systems have shown potential in the industrial sector to support the training of workers. However, it is necessary to develop intuitive and less invasive human-machine interfaces to achieve high impact and acceptance by the users. Haptic gloves are modern devices aligned with this objective, because a set of integrated sensors that track the movement of the hands and fingers with precision, allowing users to interact both with the real world around them, as with virtual objects added to the scene. Despite there are different commercialized products of this type, mixed reality applications for the industrial sector and multiple suppliers of haptic gloves, there is no an unique general solution for different fields of industry. In fact, it is also not possible to reuse resources among projects due to the great differences that each application faces, in terms of requirements, tools and implemented devices. In order to contribute to the solution, a software library was designed and implemented in this project to quickly integrate Captoglove haptic gloves to any mixed reality application developed in Unity. With this library, the development of applications for industrial worker training is simplified, by synthesizing the configuration process, data processing and interaction with virtual objects through specific gestures commonly found in different training environments. Contiene anexos digitales a repositorios externos para consultar el código fuente del proyecto y videos de funcionamiento Maestría Desarrollo de recursos digitales para ambientes de realidad aumentada o virtual

[ES] A pesar del número cada vez mayor de aplicaciones de robots y la disminución de las barreras de entrada a la robótica en general, la programación de robots a menudo sigue siendo engorrosa y requiere mucho tiempo. La programación de robots colaborativos industriales es una tarea desafiante ya que requiere el conocimiento de un trabajador con habilidades en robótica. Esto se traduce en un aumento de los gastos para las empresas, ya que los robots se reprogramarán cuando se instalen en una línea de producción diferente. Por este motivo, normalmente solo se utilizan en la producción a gran escala. Los investigadores están evaluando varios enfoques para reducir el tiempo de capacitación y aumentar la facilidad de uso, de modo que trabajadores con habilidades comunes puedan realizar la tarea de programación fácilmente. Debido a la naturaleza de la tarea, los medios emergentes de Realidad Virtual (VR) y Realidad Aumentada (AR) parecen ser las herramientas más adecuadas e intuitivas en estas labores. Se basan en la realidad aumentada espacial, la cognición y la entrada y salida multimodal. A medida que "hand tracking" se está volviendo más omnipresente en los sistemas de RV y RM ya disponibles, permite explorar nuevos paradigmas de interacción para la interacción hombre-máquina. En el campo de esta tesis, el "hand tracking" facilita a obtener una definición de posición más rápida e intuitiva para crear las trayectorias que deben enseñarse al robot manipulador. Los escenarios en los que los objetos a manipular no son estacionarios constituyen un desafío particular para las tareas de programación. La tarea de esta tesis incluye la implementación de uno o más paradigmas de interacción y su comparación con los métodos de enseñanza clásicos. El proceso de enseñanza se realiza para un manipulador UR10 en un escenario de celda de trabajo robótica con una tarea de pick-and-place. Para ello, el presente trabajo hace uso de la celda de trabajo con el robot, una pantalla de realidad mixta montada en la cabeza - HoloLens 2 - y un sistema de simulación 3D, para lo cual un gemelo digital del UR10 y una interfaz inicial para el HoloLens HMD ya existe. Sobre la base de la investigación del estado del arte en el campo, los enfoques existentes se combinarán o se diseñarán e implementarán nuevos para explorar: ¿Qué modalidades y métodos de entrada de AR son los más prometedores para la tarea dada? ¿Qué métricas son más útiles para evaluar el impacto positivo de estos métodos? ¿Cuál es el flujo de trabajo de enseñanza más eficiente utilizando los métodos? ¿Se beneficia de ellos un programador de robots experimentado? ¿La precisión proporcionada es suficiente para la tarea de enseñanza? ¿Puede una persona no iniciada aprender a programar un robot más rápido usando AR y los errores pueden evitarse más fácilmente? ¿De qué manera se puede mejorar la tecnología de AR de última generación para adaptarse aún mejor a tales tareas? Para evaluar la función y efectividad del sistema, se debe seleccionar un escenario de evaluación concreto como paso final y se llevará a cabo un breve test de usuarios., [EN] Robot programming often remains cumbersome and time-consuming. For this reason, researchers are evaluating various approaches to reduce training time and increase userfriendliness, so that ordinary-skilled workers are able to perform the programming task easily. Due to the nature of the task, the emerging media of Virtual Reality (VR) and Augmented Reality (AR) appear to be the best-suited and most intuitive tools in these endeavors. This thesis’ task includes the implementation of a new interaction paradigm and its comparison to classical teaching methods. The teaching process is carried out for a UR10 manipulator in a robotic work cell scenario with a pick-and-place task. For this, the present work makes use of the work cell with the robot, a Mixed Reality (MR) Head-Mounted Display (HMD) — HoloLens 2 — and a 3D simulation system, for which a Digital Twin (DT) of the UR10 already exists.

Hand gesture recognition is a crucial task for the automated translation of sign language, which enables communication for the deaf. This work proposes the usage of a magnetic positioning system for recognizing the static gestures associated with the sign language alphabet. In particular, a magnetic positioning system, which is comprised of several wearable transmitting nodes, measures the 3D position and orientation of the fingers within an operating volume of about 30 × 30 × 30 cm, where receiving nodes are placed at known positions. Measured position data are then processed by a machine learning classification algorithm. The proposed system and classification method are validated by experimental tests. Results show that the proposed approach has good generalization properties and provides a classification accuracy of approximately 97% on 24 alphabet letters. Thus, the feasibility of the proposed gesture recognition system for the task of automated translation of the sign language alphabet for fingerspelling is proven.

In this paper, we present STRONGER, a client-server solution for the online gesture recognition from captured hands' joints sequences. The system leverages a CNN-based recognizer improving current state-of-the-art solutions for segmented gestures classification, trained and tested for the online gesture recognition task on a recent benchmark including heterogeneous gestures. The recognizer provides good classification accuracy and a limited number of false positives on most of the gesture classes of the benchmark used and has been used to create a demo application in a Mixed Reality scenario using an Hololens 2 optical see through Head-Mounted Display with hand tracking capability., Smart Tools and Apps for Graphics - Eurographics Italian Chapter Conference, Augmented and Virtual Reality, 109, 117, Marco Emporio, Ariel Caputo, and Andrea Giachetti, CCS Concepts: Computing methodologies --> Neural networks; Human-centered computing --> Gestural input

Тема данной работы: "Разработка программного модуля управления перемещением пользователя и взаимодействием его со средой с помощью движения руки в виртуальной реальности" Целью работы является исследование Ñ‚ÐµÑ Ð½Ð¾Ð»Ð¾Ð³Ð¸Ð¸ виртуальной реальности, средств отслеживания руки. Выбор Ð´Ð¾ÑÑ‚ÑƒÐ¿Ð½Ñ‹Ñ ÑÑ€ÐµÐ´ÑÑ‚Ð² и разработка Unity ВРпроекта с определением руки с помощью выбранного средства, интеграция созданного проекта с программным приложением для курса «Цифровая грамотность». В результате был создан модуль управления перемещением пользователя в среде с помощью руки, и данный модуль был интегрирован с приложением для курса «Цифровая грамотность»., The topic of this final graduate project is "Development of programming module for controlling user’s movement and his interactions within virtual reality environment with hand movements" The goal of this work is to research virtual reality technology, hand tracking technology. Choose the most suitable and available method and to develop Unity VR project with hand tracking. Then implement the developed module in the app from "Digital literacy" course. As a result of this work the module for controlling user’s movement and interaction within virtual reality was made and implemented in the app from "Digital literacy" course.

This preregistration describes the method, procedure, and data analyses for a study aimed at validating an open source hand texture data set for virtual reality.

ilustraciones, fotografías, graficas Los mecanismos de entrenamiento para disminución de la accidentalidad laboral son espacios de mejora continua donde la aplicación de nuevas tecnologías genera un impacto importante. A pesar de la existencia de diferentes alternativas para entrenamiento incluyendo escenarios de realidad virtual, no es común encontrar desarrollos que incluyan dispositivos hápticos los cuales podrían mejorar la sensación inmersiva de estos entornos. Buscando contribuir en esta temática se diseñó un entorno de entrenamiento virtual que integra dispositivos hápticos para su interacción. El entorno incluyó dos escenarios de prueba, una subestación eléctrica y un pozo petrolero, así como las diferentes plantillas que permitan reproducir el desarrollo en diferentes escenarios. El entorno está conformado por un visor de realidad virtual Oculus, guantes de interacción háptica captoglove que permiten controlar el movimiento del personaje a través de gestos y un chaleco háptico b-haptix que genera vibración en la presencia de algún tipo de peligro. Entre las situaciones peligrosas incluidas en el desarrollo está la fragmentación de objetos, fuga de gas, arco eléctrico, presencia de humo y material particulado para los cuales se desarrolló el código que permite controlar su ubicación, duración, imagen de alerta, patrón de vibración en el chaleco y sonido. La validación del desarrollo se realizó en colaboración de un grupo de 23 operarios con experiencia promedio de siete años en actividades de campo, que están expuestos a diario a todo tipo de peligro. La investigación permitió concluir que tanto la generación de entornos virtuales de entrenamiento como la integración de dispositivos hápticos representan una mejora importante en el objetivo de contribuir con espacios de formación seguros que reduzcan la accidentalidad laboral. (Texto tomado de la fuente) Occupational accidents and possible actions to prevent it are a space for continuous improvement where the application of new technologies generates a significant impact. However, although it is possible to find several alternatives, it is not common to find developments that include haptic devices which could improve the immersive sensation. In order to contribute to this topic, was designed a virtual training environment that integrates haptic devices for their interaction. The environment included two test scenarios, an electrical substation and an oil well, as well as the different templates that allow them to be reproduced with different environments. The devices chosen were the Oculus virtual reality glasses, the captoglove haptic interaction gloves and the b-haptix haptic vest. The risks included in the development are fragmentation of objects, gas leakage, electric arc, presence of smoke and particulate matter. For them, a programming code was developed that allows control of location, duration, alert image, vibration pattern in the vest and sound. For the validation of the development, we counted with the collaboration of a group of 23 workers with an average experience of seven years in field activities, who are exposed to all kinds of risks on a daily basis. The validator group concluded that, thanks to the immersive feel and graphic detail, the development was useful for training risky conditions in safe environments. Maestría Magíster en Ingeniería - Automatización Industrial Automatización de Procesos

Natural interaction with virtual objects relies on two major technology components: hand tracking and hand-object physics simulation. There are functional solutions for these two components, but their hand representations may differ in size and skeletal morphology, hence making the connection non-trivial. In this paper, we introduce a pose retargeting strategy to connect the tracked and simulated hand representations, and we have formulated and solved this hand retargeting as an optimization problem. We have also carried out a user study that demonstrates the effectiveness of our approach to enable fine manipulations that are slow and awkward with na¨ıve approaches.

Visuelle Augmented Reality hat das Potential, die Art und Weise, wie der Mensch mit Maschinen kommuniziert, grundlegend zu verändern. Grundvoraussetzung dafür sind angenehm zu tragende binokulare AR-Brillen mit einem großen Sichtfeld für visuelle Einblendungen mit hohem Kontrast, so dass virtuelle Elemente als Teil der realen Umgebung dargestellt und wahrgenommen werden können. Gleichzeitig bedürfen derartige AR-Systeme einer intuitiven Interaktion mit ihrem Benutzer, um akzeptiert zu werden. Blick und Handgesten bilden neben Sprache die Interaktionstechniken der Wahl, um mit virtuellen Elementen zu interagieren. Die vorliegende Arbeit beschäftigt sich mit der Analyse des Blickes für eine implizite unbewusste Interaktion und mit der Erfassung von Handgesten für die explizite Interaktion in mobilen Anwendungen. Es wird eines der ersten Verfahren zur vollautomatischen echtzeitfähigen Blickbewegungsanalyse in dreidimensionalen Umgebungen anhand eines Beispiels aus dem Museumskontext vorgestellt. Dafür wurde eine 3D-Blickpunktberechnung und eine darauf aufsetzende echtzeitfähige Blickanalyse von 3D-Blickpfaden realisiert, als dies mit anderen Blickmessgeräten inklusive zugehöriger Software nicht möglich war. Zusätzlich wird das Verfahren Projected Gaussians für die Darstellung dreidimensionalen Blickverhaltens vorgestellt, das in Echtzeit realistische Visualisierung von Heatmaps in dreidimensionalen Umgebungen erzeugt. Dieses Verfahren ist das weltweit einzige, das die visuelle Schärfe des menschlichen Blickes in die Szene projiziert und damit nah am physikalischen Prozess der Wahrnehmung bleibt. Kein zuvor vorgestelltes Verfahren berücksichtigte Verdeckungen oder ermöglichte eine von der Polygonstruktur unabhängige Einfärbung von Oberflächen. Sowohl das Verfahren zur vollautomatischen Blickanalyse als auch Projected Gaussians wird anhand eines Beispiels auf echte Blickdaten angewendet und die Ergebnisse dieser Analyse werden präsentiert. Für die explizite Interaktion mit den Händen beschäftigt sich diese Arbeit mit dem ersten Schritt der Handgestenerkennung in monokularen Farbbildern: der Handregionsbestimmung. Bei dieser wird die Region der Hand in einem Kamerabild ermittelt. Die entwickelten Verfahren fusionieren auf unterschiedliche Weise optischen Fluss und Segmentierungen von Hautfarbe. Des Weiteren nutzen sie Objektklassifikatoren und Handposenschätzer für eine optimierte Handregionsbestimmung. Letztere wird anschließend mit einem öffentlich verfügbaren 2D-Handposenschätzer fusioniert. Diese Fusion übertrifft bei der 2D-Posenschätzung und geringen erlaubten Abweichungen auf dem öffentlichen Datensatz EgoDexter den aktuellen Stand der Technik der Handposenschätzung, obwohl zugehörige Verfahren trotz monokularen Eingabedaten ihre Schätzungen im dreidimensionalen Raum durchführen. Die Ergebnisse zeigen bei aktuellen 3D-Handposenschätzern für monokulare Eingabebilder ein Defizit bei der Wiederverwendung vorheriger Handposenschätzungen. Das hier vorgestellte Verfahren zur Handregionsbestimmung kann mit jedem Handposenschätzer kombiniert werden.

Tracking and reconstructing the 3D pose and geometry of two hands in interaction is a challenging problem that has a high relevance for several human-computer interaction applications, including AR/VR, robotics, or sign language recognition. Existing works are either limited to simpler tracking settings (e.g., considering only a single hand or two spatially separated hands), or rely on less ubiquitous sensors, such as depth cameras. In contrast, in this work we present the first real-time method for motion capture of skeletal pose and 3D surface geometry of hands from a single RGB camera that explicitly considers close interactions. In order to address the inherent depth ambiguities in RGB data, we propose a novel multi-task CNN that regresses multiple complementary pieces of information, including segmentation, dense matchings to a 3D hand model, and 2D keypoint positions, together with newly proposed intra-hand relative depth and inter-hand distance maps. These predictions are subsequently used in a generative model fitting framework in order to estimate pose and shape parameters of a 3D hand model for both hands. We experimentally verify the individual components of our RGB two-hand tracking and 3D reconstruction pipeline through an extensive ablation study. Moreover, we demonstrate that our approach offers previously unseen two-hand tracking performance from RGB, and quantitatively and qualitatively outperforms existing RGB-based methods that were not explicitly designed for two-hand interactions. Moreover, our method even performs on-par with depth-based real-time methods., Comment: SIGGRAPH Asia 2020

International audience; This paper addresses the issue of matching rigid and articulated shapes through probabilistic point registration. The problem is recast into a missing data framework where unknown correspondences are handled via mixture models. Adopting a maximum likelihood principle, we introduce an innovative EM-like algorithm, namely the Expectation Conditional Maximization for Point Registration (ECMPR) algorithm. The algorithm allows the use of general covariance matrices for the mixture model components and improves over the isotropic covariance case. We analyse in detail the associated consequences in terms of estimation of the registration parameters, and we propose an optimal method for estimating the rotational and translational parameters based on semi-definite positive relaxation. We extend rigid registration to articulated registration. Robustness is ensured by detecting and rejecting outliers through the addition of a uniform component to the Gaussian mixture model at hand. We provide an in-depth analysis of our method and we compare it both theoretically and experimentally with other robust methods for point registration.

In the following article, it is presented a human-robot interaction system where algorithms were developed to control the movement of a manipulator in order to allow it to search and deliver, in the hand of the user, a desired tool with a certain orientation. A Convolutional Neural Network (CNN) was used to detect and recognize the user's hand, geometric analysis for the adjustment of the delivery status of the tool from any position of the robot and any orientation of the gripper, and a trajectory planning algorithm for the movement of the manipulator. It was possible to use the activations of a CNN developed in previous works for the detection of the position and orientation of the hand in the workspace and thus track it in real time, both in a simulated environment and in a real environment.