Search

Apresenta-se o Holographic Studio, um sistema de captação e produção de vídeo volumétrico para representação de atuações em ambientes virtuais, visíveis a partir de qualquer ponto de vista. Esta tecnologia não só encontra aplicação natural em contextos de entretenimento como videojogos e concertos remotos, mas também se estende para outras indústrias como o desporto, a moda, a cultura, a comunicação e ensino remotos, o treino militar, médico, entre outros. Esta dissertação visa reduzir o intervalo entre empresas de pequena e média dimensão, que beneficiariam com o aumento da imersão dos seus conteúdos, e esta tecnologia, tipicamente caracterizada por hardware dispendioso, disponibilidade escassa e custos de utilização elevados. A infraestrutura proposta recorre a sensores RGB-D para captação de dados de profundidade e a algoritmos de processamento de dados 3D para limpeza e replicação das performances reais para visualização em espaços virtuais imersivos. A arquitetura implementada providencia uma base sólida para inovações futuras a nível do realismo das captações, de forma escalável e replicável. Presenting Holographic Studio, a volumetric video capturing and production system for performance capture, visible from any perspective in virtual environments. This technology not only finds a natural application under the entertainment industry such as video-games and remote concerts, but also extends itself to other industries such as sports, fashion, culture, remote communication and education, military and medical training, among others. This dissertation aims at reducing the gap between small and medium-sized companies, that would benefit with the increase in immersion of their content, and this technology, typically characterized by expensive hardware, scarce availability and high usage costs. The proposed infrastructure resorts to RGB-D sensors to capture depth data and integrates 3D data processing algorithms to clean and replicate live action performances to be viewed in immersive virtual spaces. The implemented architecture provides a solid basis to future innovations on the photorealism of captures, in a scalable and replicable way. Mestrado em Engenharia Informática

Mestrado de dupla diplomação com a UTFPR - Universidade Tecnológica Federal do Paraná A comunicação é considerada uma ferramenta de importante uso em todos os tipos de relações, que pode ser realizada de forma verbal ou não verbal. Tratando-se de uma pessoa surda, a linguagem gestual portuguesa (LGP - Portugal), ou linguagem brasileira de sinais (Libras - Brasil), contribui para a comunicação dos surdos, que enfrentam barreiras que dificultam sua comunicação, em locais de trabalho, vida social entre outros. Considerando a grande comunidade de surdos no mundo, que necessitam de ajuda para se comunicar e que tenham facilidade em realizar essa comunicação, e também, tendo em conta o avanço da tecnologia nos últimos anos, surgiu a possibilidade da criação de interfaces humanocomputador, mais simples e de fácil acesso e compreensão. Neste contexto, e com o uso da Inteligência Artificial, o principal objetivo deste trabalho é estudar a possibilidade de criar uma ferramenta que possa realizar a identificação e tradução das letras do alfabeto para computador através da criação de um sistema composto pela captura e tradução de gestos a partir de um Kinect mais o Software MatLab. Com os estudos realizados neste trabalho, observou-se que o dispositivo possui precisão de 96.71% em relação ao gestos treinados e apresenta a possibilidade de realizar testes e tradução em tempo real. Communication is considered a tool of important use in all types of relationships, which can be carried out verbally or non-verbally. In the case of a deaf person, Portuguese sign language (LGP - Portugal), or Brazilian sign language (Libras - Brazil), contributes to their communication, who face barriers communication, in workplaces, life among others. Considering the large community of deaf people in the world who needs help to communicate and easily communicates, and also, taking into account the advancement of technology in recent years, the possibility of creating human-computer interfaces came up, simpler and easy to access and understand. In this context, and with the use of Artificial Intelligence, the main objective of this work was to study the possibility of creating a tool that can perform the identification and translation of the letters of the alphabet to a computer through the creation of a system composed by the capture and translation of gestures from a Kinect plus MatLab Software. With the studies carried out in this work, it was observed that the device has 96.71% accuracy in relation to the trained gestures and the possibility to carry out tests and real time translation.

Uma importante etapa do processo de reabilitação de movimentos é o diagnóstico de limitações do paciente. A técnica mais utilizada tradicionalmente por fisioterapeutas consiste na goniometria, exame no qual o paciente realiza movimentos propostos pelo especialista e este mede o ângulo desenvolvido pela articulação com o auxilio de um goniômetro. Este exame é muito influenciado pela experiência do especialista, que de acordo com a sua técnica pode encontrar diferentes resultados do mesmo exame realizado por outro especialista. Assim, surgem alternativas tecnológicas para facilitar esta avaliação, porém muitas alternativas encontradas comercialmente possuem um elevado custo do equipamento e alternativas com menor custo são mais difíceis de ser encontradas, em sua maioria são apenas sistemas utilizados em laboratório e sem uma validação realizada com movimentos reais e com o acompanhamento de especialistas da área. O presente trabalho busca desenvolver um sistema de baixo custo para realizar a tarefa descrita, nesta proposta é utilizado um sensor Kinect, que é capaz de capturar com uma boa precisão os pontos das articulações do indivíduo no espaço. Através dos pontos no espaço são utilizadas equações de ângulo entre retas e filtros para suavizar os valores encontrados online para capturar a amplitude de movimentos dos membros superiores. Para validar o sistema desenvolvido foi realizada uma parceria com o curso de Fisioterapia da Faculdade Anhanguera do Rio Grande, assim é possível comparar resultados obtidos pelo sensor e resultados obtidos através de exames tradicionais de goniometria realizados por alunos do curso. An important step in the movement rehabilitation process is the diagnosis of patient limitations. The technique most traditionally used by physiotherapists is goniometry, an exam which the patient performs movements proposed by the specialist and he measures the angle developed by the joint with the aid of a goniometer. This exam is greatly influenced by the experience of the specialist, who according to his technique can find different results from the same exam performed by another specialist. Thus, technological alternatives emerge to facilitate this evaluation, but many alternatives found commercially have a high cost of equipment and lower cost alternatives are more difficult to find, most are only systems used in the laboratories and without a validation performed with real movements with the accompaniment of experts in this field. The present work seeks to develop a low cost system to perform the described task. In this proposal a Kinect sensor is used, which is able to capture with good precision the points of the individuals joints in space. Through points in space, angle equations between lines and filters are used to smooth out the values found in real time to capture the range of motion of the upper limbs. To validate the developed system, a partnership was made with the Physiotherapy course of the Anhanguera College of Rio Grande, so it is possible to compare results obtained by the sensor and results obtained through traditional goniometry exams performed by students of the course.

Dissertação de mestrado integrado em Engenharia Eletrónica Industrial e Computadores, Esta dissertação tem como objetivo desenvolver um sistema capaz de fazer um mapeamento e auto-localização simultaneamente, conhecido na robótica como SLAM, recorrendo a visão por computador. A localização e a capacidade de desenvolver um mapa de um determinado ambiente sempre foram áreas de estudo importantes para a robótica. Esta importância deve-se a uma tendência em procurar construir robôs que consigam fazer tarefas de forma independente. O sistema proposto estima a odometria visual com um sistema mono câmara. Pontos-chave são encontrados utilizando o algoritmo FAST. Entre frames, são verificadas as transformações que ocorrem nestes pontos. O algoritmo de 5-pontos de Nister é utilizado para prever a matriz essencial utilizando as transformações identificadas. Esta matriz permite estimar o movimento realizado pela câmara. Uma Kinect é utilizada para recuperar a escala e fornecer nuvens de pontos para a construção do mapa. O sistema foi desenvolvido em Python e utiliza ROS e os seus recursos para atingir os objetivos propostos., This dissertation aims to develop a system capable of self-localization and mapping, known in robotics as SLAM. The goal is to use computer vision. Self-localization and the ability of developing a map of a given environment are important areas of study in robotics. The intention and tendency of build robots that can do basic tasks independently is growing each year. The proposed system estimates visual odometry with a mono camera system. Keypoints are found using the FAST algorithm. Between frames, thoose points are tracked and Nister's 5-point algorithm is used to predict the essential matrix. This matrix allows to calculate the movement performed by the camera. A Kinect is used to recover the scale and provide point clouds for the construction of the map. The system was developed in Python and use ROS and its resources to achieve the proposed objectives.

Reconhecer a identidade de seres humanos a partir de imagens captadas através de câmaras digitais torna-se importante para a evolução dos sistemas de controlo de acesso, na medida em que vem auxiliar os utilizadores que fazem uso deste processo. Para competir com os sistemas atuais de controlo de acesso é necessário que estes sistemas de reconhecimento facial sejam, acima de tudo, fiáveis; caso contrário, será difícil virem a substituir os sistemas atuais de controlo de acesso através do reconhecimento de impressões digitais. Para que este seja um sistema idôneo, é necessário o uso de tecnologia tridimensional de forma a assegurar que se trata, realmente, de um ser humano e não de uma fotografia ou outro tipo de imagem não real. Esta tese apresenta um estudo comparativo de diversos algoritmos 2D e 3D, de forma a obter o melhor método de reconhecimento facial tridimensional, no qual vários métodos são implementados, testados e analisados, com recurso a dados de imagens recolhidas com o Kinect. Esta tese tem como objetivo o estudo da abordagem descrita acima, isto é, identificar os melhores métodos para o reconhecimento facial tridimensional, para uma possível utilização num sistema real. São apresentados resultados experimentais detalhados de 15 indivíduos, dos quais foram recolhidos diversos dados faciais através do sensor Kinect, que, por sua vez, são pré processados e armazenados. Posteriormente, são processados com recurso aos métodos estudados, evidenciando as diferenças de resultados entre estes, com os quais é possível comprovar a eficácia dos métodos 2D e 3D.

Dissertação de mestrado integrado em Engenharia Eletrónica Industrial e Computadores, Este trabalho apresenta a possibilidade de criar um tradutor de Língua Gestual Portuguesa, LGP, com recurso à Kinect versão 2 e utilizando a biblioteca open source Tensorflow. Com o crescimento que Machine Learning tem trazido para a sociedade nos últimos anos é importante testar novas vias que possam proporcionar uma melhor qualidade de vida para toda a sociedade. Língua Gestual, neste caso LGP, fornece um conjunto de elementos que ainda não foram suficientemente testados em Machine Learning. Este projeto surgiu com a ideia de testar se era possível criar um tradutor de LGP e de saber se a Kinect, com a sua possibilidade de detetar o esqueleto humano poderia contribuir para tornar esse tradutor mais robusto e com melhores resultados. O resultado final é uma base de dados preliminar e uma interface capaz de analisar as imagens recolhidas. A Kinect provou não ser fiável o suficiente para entregar bons resultados em LGP, mas Machine Learning conseguiu mostrar que apenas com uma câmara normal é possível treinar uma base de dados para produzir resultados positivos. A biblioteca Tensorflow permitiu acesso ao modelo Inception, que vem pré-treinado com outras classes e utiliza o conhecimento dessas para o aplicar na base de dados deste projeto, isto permite que esta não tenha que ser demasiado grande, nem que o treino demore muito. No final, os resultados obtidos foram satisfatórios e por isso pode-se continuar a testar e aumentar a base de dados existente de modo a tentar incorporar todos os gestos que fazem parte de LGP, sendo que LGP é uma Língua complexa que incorpora não só mãos, como também braços, tronco e expressões faciais., This paper presents the possibility of creating a Portuguese Sign Language (PSL) Translator using Kinect version 2 and using an open source library, Tensorflow. With the growth that Machine Learning has brought to the society in recent years, it is important to test new paths that can offer a better quality of life for the entire society. Sign Language, in this case PSL, as a set of elements that have not yet been tested in Machine Learning. This project was created with the idea of testing whether it was possible to create a PSL translator and whether Kinect, with its ability to detect the human skeleton could contribute to making this translator more robust and better performing. The end result is a preliminary database and an interface capable of analyzing how images are collected. Kinect does not provide sufficient assurance to deliver good results at PSL, but Machine Learning has been able to show that, with only a normal camera, a database can be trained to produce positive results. Tensorflow library has allowed access to the Inception model, which comes pre-trained with other classes and uses the knowledge of these to applie them to the database of this project, allowing it not to be so big, or even to have longest training. In the end, the results obtained were satisfactory and therefore they can continue to be tested and grow the existing database to try to incorporate all gestures that are part of PSL, being it a complex language that does not incorporate only hands, but arms, torso and facial expressions as well.

O presente artigo tem como objetivo apresentar um serious game aplicado à fisioterapia com escopo de tratamento da Encefalopatia Crônica não Progressiva da Infância. A plataforma, também denominada por gameterapia, foi desenvolvida com o suporte de profissionais da área de fisioterapia e ciência da computação sendo composta por dois módulos, os quais trabalham para melhorar a coordenação motora e cognição do paciente, sendo o Kinect a ferramenta utilizada para a imersão do jogador no ambiente virtual de gameterapia. O módulo cognitivo, foco deste trabalho, foi implementado conforme definições dos profissionais de fisioterapia, bem como foram avaliados com pacientes reais para validar sua aplicabilidade e aceitação. O módulo foi definido como importante para o complemento reabilitatório em fisioterapia neurológica infantil, proporcionando ludicidade durante os atendimentos e em conjunto aprimorando as habilidades cognitivas das crianças tratadas com esse enfoque.

Reconhecimento de atividade humana é uma área de investigação multidisciplinar que tem atraído o interesse de investigadores especializados em aprendizagem automática, visão por computador e medicina. Esta área tem diversas aplicações: sistemas de vigilância, interação homem-máquina, análise de desportos, robôs colaborativos, saúde e automóveis autónomos. Capturar atividade humana apresenta dificuldades técnicas como oclusão, iluminação insuficiente, seguimento erróneo e questões éticas. O movimento humano pode ser ambíguo e com múltiplas intenções. A forma como interagimos com outros seres humanos e objetos cria uma combinação quase infinita de variações de como fazemos as coisas. O objetivo desta dissertação é desenvolver um sistema capaz de reconhecer e prever a atividade humana usando técnicas de aprendizagem automática para extrair significado de características calculadas a partir de articulações do corpo humano capturado pela câmara Kinect. Propomos uma arquitetura hierárquica e modular que realiza segmentação temporal de sequências de ações, anotação semi-supervisionada de sub-atividades utilizando técnicas de clustering, reconhecimento de sub-atividade frame-a-frame em tempo real usando classificadores binários de random decision forests logo a partir dos primeiros instantes da ação e previsão de atividade em tempo real baseada em conditional random fields para modelar a estrutura das sequências de ações para obter as futuras possibilidades. Gravámos um novo conjunto de dados contendo sequências de ações agressivas com um total de 72 sequências, 360 amostras de 8 ações distintas realizadas por 12 sujeitos. Efetuamos testes extensivos com dois conjuntos de dados, comparando o desempenho de reconhecimento de vários classificadores supervisionados treinados com dados anotados manualmente ou com dados anotados de forma semi-supervisionada. Aprendemos como a qualidade dos conjuntos de treino afeta os resultado que dependem também da complexidade das ações que estão a ser reconhecidas. Conseguímos obter melhores resultados que algumas das abordagens existentes na literatura em reconhecimento de atividade, efetuamos o reconhecimento de forma antecipada e obtivemos resultados encorajadores na previsão de atividades. Human Activity Recognition is an interdisciplinary research area that has been attracting interest from several research communities specialized in machine learning, computer vision, and medical research. The potential applications range from surveillance systems, human computer interfaces, sports analysis, digital assistants, collaborative robots, health-care and self-driving cars. Capturing human activity presents technical difficulties like occlusion, insufficient lighting, unreliable tracking and ethical concerns. Human motion can be ambiguous and have multiple intents. The complexity of our lives and how we interact with other humans and objects prompt to a nearly infinite combination of variations in how we do things. The focus of this dissertation is to develop a system capable of recognizing and predicting human activity using machine learning techniques to extract meaning from features computed from relevant joints of the human body captured by the skeleton tracker of the Kinect sensor. We propose a modular framework that performs off-line temporal segmentation of sequences of actions, off-line semi unsupervised labeling of sub-activities via clustering techniques, real-time frame by-frame sub-activity recognition using random decision forest binary classifiers right from the very first frames of the action and real-time activity prediction with conditional random fields to model the sequential structure of sequences of actions to reason about future possibilities. We recorded a new dataset containing long sequences of aggressive actions with a total of 72 sequences, 360 samples of 8 distinct actions performed by 12 subjects. We experimented extensively with two different datasets, compared the recognition performance of several supervised classifiers trained with manually labeled data versus semi-unsupervised labeled data. We learned how the quality of the training data affects the results which also depends on the complexity of the actions being recognized. We outperformed state-ofthe-art activity recognition approaches, performed early action recognition and obtained encouraging results in activity prediction.

Comumente funcionários apresentam algum desconforto físico ocasionado devido ao sedentarismo ou devido à atividade desempenhada com movimentos repetitivos. O propósito deste trabalho é o desenvolvimento de um sistema que facilite, de maneira monitorada, funcionários a realizar exercícios de ginástica laboral para prevenirem riscos de lesões. A ideia é que funcionários possam definir seus próprios horários para a prática da ginástica laboral, inclusive realizar os exercícios em sua própria residência, sendo os resultados armazenados para consulta posteriormente. O sistema serve como ferramenta de apoio para que o educador físico consiga acompanhar um maior número de funcionários. Para saber se o movimento foi feito de maneira correta, o sistema utiliza uma comparação de ângulos relacionados aos movimentos das juntas do corpo humano comparando com os ângulos de um movimento pré-definido. Nem todos os exercícios são possíveis de serem acompanhados pelo sistema devido às limitações do sensor Kinect.

A indústria cinematográfica habituou as pessoas a grandes produções 3D, com várias técnicas inovadoras para a captura de movimentos juntamente com a utilização de vários softwares pagos, que envolvem grandes investimentos a nível financeiro. Atualmente, no mercado, existem alguns sistemas de captura de movimentos a preços acessíveis como também pacotes de software, alguns gratuitos e outros com preços mais acessíveis, que em conjunto são capazes de criar soluções de vídeo 3D com captura de movimentos a um valor bastante aliciante. Este projeto consistiu na utilização de uma solução mais económica para a produção de um filme de animação 3D, mais propriamente um trailer para o jogo “Keepers of Intheris”. Seguindo uma pipeline de produção, atravessámos várias fases. Na fase inicial, denominada de pré-produção, foi idealizado todo o projeto e o enredo a adotar, seguindo pela criação do storyboard e acabando no design dos conceitos. Na fase de produção, todos os conceitos foram concretizados por modelação e texturização. Ainda nesta fase, as personagens, além da modelação e texturização, passaram pelas fases de rigging e animação, onde depois foram inseridas nos cenários, tendo sido realizados também os efeitos visuais. Na ultima fase, a pós-produção do projeto, foram realizados os vários efeitos visuais 2D e edição de vídeo e de som. No fim da produção deste projeto obtivemos como resultado um trailer para o jogo referido. Este projeto segue uma pipeline que poderá ser útil para qualquer pessoa que queira realizar qualquer tipo de filme ou vídeo 3D aliado a um baixo custo quando comparado com as soluções existentes na indústria cinematográfica. When it comes to the cinematographic industry, people have come to expect large 3D productions with ground breaking techniques for motion capture and very high costs from the required software. Currently, the consumer segment has access to some motion capture systems as well as software packages for 3D motion capture at very competitive prices. On this project, this equipment and software are used to produce a 3D animation video, specifically, a trailer for the game “Keepers of Intheris”. Following the standard production pipeline, there are three main stages in this project. In pre-production, the entire project was idealized, planned and the story was written. This was followed by the creation of the storyboard and then, the concepts were designed. During the production stage, all concepts were modelled and textured. During this stage, characters were also rigged and animated before being placed on the set/scenes after which, visual effects were added. On the last stage of the pipeline, post-production, 2D visual effects were added, the video was edited and sound was added to the video. The result of this project’s production was the trailer for the game Keepers of Intheris. This project follows a pipeline that is useful for anyone who wants to produce any type of video or 3D animation at a low cost when compared to the current solutions of the cinematographic industry

Submitted by Aline Batista (alinehb.ufpel@gmail.com) on 2018-04-19T13:36:05Z No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertacao_Leandro_Weige_Dias.pdf: 6474786 bytes, checksum: e8c0c5d24930246b588d580da0385883 (MD5) Approved for entry into archive by Aline Batista (alinehb.ufpel@gmail.com) on 2018-04-19T14:44:49Z (GMT) No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertacao_Leandro_Weige_Dias.pdf: 6474786 bytes, checksum: e8c0c5d24930246b588d580da0385883 (MD5) Made available in DSpace on 2018-04-19T14:44:56Z (GMT). No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertacao_Leandro_Weige_Dias.pdf: 6474786 bytes, checksum: e8c0c5d24930246b588d580da0385883 (MD5) Previous issue date: 2017-04-25 Sem bolsa Este trabalho tem por objetivo central trazer uma comparação entre as duas versões do sensor Kinect em relação a identificação biométrica através do caminhar humano. Para realizar a comparação entre os sensores, foram implementadas quatro metodologias diferentes de extração de parâmetros do caminhar humano, sendo analisados tanto atributos antropométricos, cinemáticos como espaço-temporais. Uma análise individual de cada atributo das propostas de caracterização do caminhar foi realizada para identificar os predicados que traziam maior contribuição na identificação dos indivíduos. Com a finalidade de se criar uma base de exemplos para a extração dos parâmetros do caminhar, foram capturados 50 indivíduos através dos sensores Kinect e aplicados algoritmos de aprendizado de máquina para a classificação das pessoas. Os resultados obtidos mostraram uma acurácia superior do Kinect One na maioria das metodologias, justificando a sua utilização em relação ao Kinect 360. Neste trabalho também foram realizados como experimentos adicionais a comparação entre os sensores com relação a identificação do gênero do indivíduo e a análise da dependência de pose. The main goal of this thesis is to bring a comparative between the two versions of the Kinect sensor in biometric identification through human gait. To compare the sensors, four different methods of human gait parameters extraction were implemented, being analyzed both anthropometric, kinematic and spatiotemporal attributes. An individual analysis of each attribute of the gait characterization methodologies was performed to identify the attributes that bring the greatest contribution in the identification of individuals. In order to create a base for extracting gait parameters, 50 individuals were captured through the Kinect sensors and machine learning algorithms were applied to classify the people. The results obtained show a superiority of Kinect One in most of the methodologies, justifying its use in relation to Kinect 360. In this work, a mapping between the sensors in relation to the identification of the individual’s gender and an analysis of the pose dependency were also performed as additional experiments.

Anti-collision systems are based on sensing and estimating the mobile robot pose (coordinates and orientation), with respect to its environment. Obstacles detection, path planning and pose estimation are primordial to ensure the autonomy and safety of the robot, in order to reduce the risk of collision with objects and living beings that share the same space. For this, the use of RGB-D sensors, such as the Microsoft Kinect, has become popular in the last years, for being relative accurate and low cost sensors. In this work we propose a new 3D anti-collision algorithm based on Artificial Potential Field method, that is able to make a mobile robot pass between closely spaced obstacles, minimizing the oscillations during the cross. We develop our Unmanned Ground Vehicles (UGV) system on a ’Turtlebot 2’ platform, with which we perform the experiments. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES Sistemas anti-colisão são baseados na percepção e estimação da pose do robô móvel (coordenadas e orientação), em referência ao ambiente em que ele se encontra. A detecção de obstáculos, planejamento de caminhos e estimação da pose são fundamentais para assegurar a autonomia e a segurança do robô, no intuito de reduzir o risco de colisão com objetos ou pessoas que dividem o mesmo espaço. Para isso, o uso de sensores RGB-Ds, tal como o Microsoft Kinect, vem se tornando popular nos últimos anos, por serem sensores relativamente precisos e de baixo custo. Nesse trabalho nós propomos um novo algoritmo anti-colisão 3D baseado no método de Campo Potencial Artificial, que é capaz de fazer um robô móvel passar em espaços estreitos, entre obstáculos, minimizando as oscilações, que é uma característica comum desse tipo de método, durante seu deslocamento. Foi desenvolvido um sistema para plataforma robótica ’Turtlebot 2’, o qual foi utilizado para realizar todos os experimentos.

Tomando como ponto de partida uma reflexão ontológica de Agamben (1992), que relaciona o gesto ao ato de tornar visível a irremediável medialidade do ser, propomos uma discussão sobre a gestualidade e a dança relação que, em uma perspectiva artística, será forjada por aparatos tecnológicos. Os conceitos de corporeidade e alteridade, segundo Bernard (2006), também serão abordados, tensionados pela noção de improvisação em dança do mesmo autor e, assim, fundamentando-se articulações com uma experiência de desenhos de movimento capturados pelo Kinect. As imagens originadas como Rastros do corpo no espaço, são o meio a partir do qual poderemos refletir sobre as relações aqui propostas. From the ontological reflection of Agamben (1992) we realize that gesture relates to making visible a means as such it, to expose mediality itself; it’s facing this starting point that we propose a discussion between gesture and dance, a relantionship that in an artistic perspective, will be forged by technological devices. The concepts of the corporeity and the alterity, by Bernard (2006), will also be aprroched, in connection with the notion of improvisation in dance and grounding articulations with an experience of motions captured by Kinect. The frames originated as traces of the body in space, are thus the medium from which we can reflect on the relations proposed here.

Quando um individuo apresenta uma limitação a nível cinético-funcional do seu corpo é provável que o seu médico de família o encaminhe para a fisioterapia. Estes problemas podem ser de origem genética ou resultado de traumas. Independentemente do tipo de reabilitação, existe um objetivo comum: o de tornar o tratamento o mais eficaz possível. A força de vontade e a motivação por parte do paciente são fatores importantes e influenciadores na recuperação. Um paciente motivado e empenhado na execução dos seus tratamentos tem maior probabili-dade de recuperar mais rapidamente do que um paciente desanimado. Assim, surge a neces-sidade de tornar os tratamentos não só eficazes como também interessantes e apelativos ao paciente, motivando-o a seguir rigorosamente os exercícios que lhe são prescritos e deste modo, obter resultados positivos na sua recuperação. O biofeedback pode ser utilizado como auxílio ao processo de reabilitação. Esta técnica pode ser aplicada a qualquer exercício e permite que o paciente tenha uma melhor perceção dos seus movimentos durante a execução das sessões, e, por conseguinte, corrigir possíveis falhas nos movimentos ou más posturas. Posto isto, o sistema implementado consiste num software de exercícios de fisioterapia rela-tivos a reabilitação ao nível dos ombros com uma componente de biofeedback, isto é, permitir ao paciente ter um feedback relativo à execução dos exercícios, em tempo real, e com isto compreender o impacto desta técnica no processo de recuperação.

Trabalho de projeto de mestrado, Engenharia Geográfica, Universidade de Lisboa, Faculdade de Ciências, 2017 Submitted by Teresa Boa (tdboa@fc.ul.pt) on 2017-04-24T10:26:01Z No. of bitstreams: 1 ulfc121651_tm_César_Rocha.pdf: 7513534 bytes, checksum: adf4140b7cbc6a25ce89a9ce94bb9a68 (MD5) Made available in DSpace on 2017-04-24T10:26:11Z (GMT). No. of bitstreams: 1 ulfc121651_tm_César_Rocha.pdf: 7513534 bytes, checksum: adf4140b7cbc6a25ce89a9ce94bb9a68 (MD5) Previous issue date: 2017

O reconhecimento automático de expressões faciais é um problema complexo que requer a aplicação de técnicas de Inteligência Computacional, em especial aquelas relacionadas a área de Reconhecimento de Padrões. A utilização destas técnicas nesse trabalho tem como objetivo estabelecer uma abordagem que permita a diferenciação de sinais da Língua Brasileira de Sinais, conhecida por Libras, por meio de um dos seus parâmetros fonológicos: as expressões não-manuais. Estas expressões são formadas pelo movimento da face, dos olhos, da cabeça e/ou do tronco. O objetivo principal da presente pesquisa foi mensurar a importância da expressão facial durante a execução do sinal de Libras e verificar se apenas a mudança na fisionomia é suficiente para identificar um sinal. A partir desta premissa, uma metodologia para o reconhecimento automático de sinais da Libras foi estruturada e validada por uma base de dados composta por 10 sinais de Libras capturados por um sensor RGB-D (Kinect). Esta base de sinais foi construída para esta aplicação e nela cada sinal selecionado para sua composição foi executado por apenas um sinalizador. A base de sinais de Libras disponibiliza as coordenadas (x,y) da posição de 121 pontos do rosto e os vídeos de cada gravação de cada sinal. A partir destas informações disponíveis, as etapas a seguir foram implementadas: (i) detecção e recorte da face, que é a região de interesse desse trabalho; (ii) sumarização dos vídeos com as imagens do rosto utilizando o conceito da maximização da diversidade em termos de distância temporal e da diferença de cores no padrão RGB entre os quadros. Esta etapa foi necessária para eliminar informações redundantes e por meio dela foram obtidos os cinco quadros mais significativos das gravações de cada sinal; (iii) criação de dois vetores de características: um a partir da concatenação dos 121 pontos cartesianos disponíveis na base de sinais e outro a partir da informação obtida pela aplicação do descritor de textura LBP (Padrões Locais Binários) em cada um dos quadros significativos; e (iv) classificação dos sinais aplicando o k-NN (k-vizinhos mais próximos) e a SVM (Máquina de Vetores de Suporte). Os melhores parâmetros para estes classificadores (respectivamente o parâmetro k do primeiro, e C e do segundo) foram obtidos a partir de validação cruzada. A classificação dos sinais da base criada por meio da característica gerada pela aplicação do descritor LBP nos quadros mais significativos dos vídeos das gravações de cada sinal teve melhor desempenho que a característica derivada da concatenação dos pontos cartesianos. Já em relação aos classificadores, o SVM retornou melhores taxas de acerto. Com isso, a acurácia média de reconhecimento dos sinais obtida da análise da metodologia proposta aqui foi de 95,3% evidenciando a potencialidade do modelo proposto. Esse trabalho contribui para o crescimento dos estudos que envolvem os aspectos visuais próprios da estrutura da Libras e tem como foco principal a importância da expressão facial na identificação dos sinais de forma automatizada. The automatic recognition of facial expressions is a complex problem that requires the application of Computational Intelligence techniques, especially those related to Pattern Recognition. The use of these techniques aims to establish an approach that allows identify signs of the Brazilian Sign Language, known as Libras, through one of its phonological parameters: non-manual expressions. These expressions are formed by movement of the face, eyes, head and/or trunk. The main objective of the present research was to measure the importance of facial expression during the execution of sign in Libras and to verify if only the change in physiognomy is enough to identify one. From this premise, a methodology for the automatic recognition of Libras signs was structured and validated by a database composed of 10 Libras signs recorded by a RGB-D (Kinect) sensor. This sign database was built for this application and in it each sign selected for its composition was executed by only one flag. The Libras sign database provides the coordinates (x,y) of the 121-point face position and the videos of each recording of each signal. From this available information, the following steps were implemented: (i) face detection and clipping, which is the region of interest in this work; (ii) summarization videos with face images using the concept of maximizing diversity in terms of temporal distance and color difference in RGB pattern between frames. This step was necessary to eliminate redundant information and through it the five most significant frames of the recordings of each signal were obtained; (iii) creation of two characteristic vectors: one from the concatenation of the 121 cartesian points available in the sign database and another from the information obtained by applying the LBP (Binary Local Patterns) texture descriptor in each of the significant frames; and (iv) classification of the signs by applying k-NN (k-nearest neighbors) and SVM (Support Vector Machine). The best parameters for these classifiers (respectively the parameter k of the first, and C and of the second) were obtained from cross validation. The classification of the signs of the database created by means of the characteristic generated by the application of the descriptor LBP in the most significant pictures of the videos of the recordings of each sign had better performance than the characteristic derived from the concatenation of cartesian points. In relation to the classifiers, the SVM returned better hit rates. Thus, the mean accuracy of sign recognition obtained from the analysis of the methodology proposed here was of 95.3% evidencing the potentiality of the proposed model. This work contributes to the growth of studies that involve the visual aspects of the structure of Libras and focuses on the importance of facial expression in the identification of signs in an automated way.

Mestrado em Engenharia Mecânica Este trabalho propõe uma solução para Bin-Picking, baseada em mapeamentos 3D e referências do modelo CAD 3D do objeto. Em primeiro lugar foi convertido o modelo STL, da peça, em nuvem de pontos por diferentes métodos. De seguida foi detetado o contentor onde os objetos se encontram no espaço de trabalho, isolando o espaço de busca e definindo as restrições á abordagem do manipulador. Deste modo, as duas nuvens foram conseguidas possibilitando a comparação do modelo sintetizado com a nuvem recolhida pelo sensor. A comparação foi executada a custa de descritores locais, calculados em ambas as nuvens, tais como o SHOT e FPFH. Algumas propriedades do modelo foram analisadas , como a parcialidade e inclusão de ruído. This thesis proposes a solution for bin-picking based on 3D mapping and 3D CAD model reference, of the object. First it was converted STL model of the part, in point cloud by different methods. Then the container was detected where objects are in the workspace, isolating the search space and defining the approach restrictions of the robot. Thus the two clouds were obtained allowing comparison between the synthesized model and the cloud gathered by the sensor. The comparison was performed at the expense of local descriptors calculated in both clouds, such as SHOT and FPFH. Some properties of the model were analyzed, such as partiality and inclusion of noise.

A interação homem-máquina tem evoluído significativamente nos últimos anos, a ponto de permitir desenvolver soluções adequadas para apoio a pessoas que possuem um certo tipo de limitação física ou cognitiva. O desenvolvimento de técnicas naturais e intuitivas de interação, as chamadas Natural User Interface (NUI), permitem, hoje, que pessoas que estejam acamadas e/ou com incapacidade motora possam executar um conjunto de ações por intermédio de gestos, aumentando assim a sua qualidade de vida. A solução implementada neste projecto é baseada em processamento de imagem e visão por computador através do sensor 3D Kinect e consiste numa interface natural para o desenvolvimento de uma aplicação que reconheça gestos efetuados por uma mão humana. Os gestos identificados pela aplicação acionam um conjunto de ações adequados a uma pessoa acamada, como, por exemplo, acionar a emergência, ligar ou desligar a TV ou controlar a inclinação da cama. O processo de desenvolvimento deste projeto implicou várias etapas. Inicialmente houve um trabalho intenso de investigação sobre as técnicas e tecnologias consideradas importantes para a realização do trabalho - a etapa de investigação, a qual acompanhou praticamente todo o processo. A segunda etapa consistiu na configuração do sistema ao nível do hardware e do software. Após a configuração do sistema, obtiveram-se os primeiros dados do sensor 3D Kinect, os quais foram convertidos num formato mais apropriado ao seu posterior tratamento. A segmentação da mão permitiu posteriormente o reconhecimento de gestos através da técnica de matching para os seis gestos implementados. Os resultados obtidos são satisfatórios, tendo-se contabilizado cerca de 96% de resultados válidos. A área da saúde e bem-estar tem necessidade de aplicações que melhorem a qualidade de vida de pessoas acamadas, nesse sentido, o protótipo desenvolvido faz todo o sentido na sociedade actual, onde se verifica o envelhecimento da população.

Submitted by Boris Flegr (boris@uerj.br) on 2021-01-05T17:54:32Z No. of bitstreams: 1 Thais Rodrigues_CComp.pdf: 1642695 bytes, checksum: 422ee497ab6adaf93b215e06f7929dc8 (MD5) Made available in DSpace on 2021-01-05T17:54:32Z (GMT). No. of bitstreams: 1 Thais Rodrigues_CComp.pdf: 1642695 bytes, checksum: 422ee497ab6adaf93b215e06f7929dc8 (MD5) Previous issue date: 2016-09-16 Coordenação de Aperfeiçoamento de Pessoal de Nível Superior The archaeological heritage are fundamental for the construction of the cultural identity of a society, contributing to recovery the history and the memory de social groups. The preservation of these artifacts is a duty of contemporary society, because promotes your development for future generations. Currently there are many 3D reconstruction techniques and devices that are capable of performing 3D representation of a real object. In archeology, it is a major breakthrough because it excludes the use of traditional techniques of plaster molding, which can compromise the integrity of artifacts. The interest in the use for 3D data acquisition techniques in archeology have been increasing significantly in recent years. The availability of depth sensors based on light structured on the market demonstrates several new opportunities in the preservation of cultural heritage. This work investigates the use of an effective and economical method to perform 3D reconstructions using data acquired by the Kinect sensor. These data can be used to create and disseminate digital replicas. Kinect has great potential because it has an affordable price compared to other sensors. Some technical difficulties have been overcome for the use of Kinect in this work. One of the main difficulties is the large amount of noise that Kinect returns on the clouds of points. The benefits and challenges of using Kinect will be measure. Also results will be presented showing that 3D modeling using the sensor is capable of creating archaeological artifacts replicas O patrimônio arqueológico é fundamental para a construção da identidade cultural de uma sociedade, uma vez que contribui para recuperar a história e a memória de grupos sociais. A preservação desses artefatos é um dever da sociedade contemporânea pois promove a sua continuidade para as gerações futuras. Atualmente, existem muitas técnicas de reconstrução 3D e dispositivos que são capazes de realizar a representação em 3D de um objeto real. Para a arqueologia, é um grande avanço, porque exclui o uso de técnicas tradicionais de moldagem de gesso, que podem comprometer a integridade dos artefatos. Por isso, o interesse no uso de técnicas de aquisição de dados 3D aumentou significativamente nos últimos anos na arqueologia. Nos dias de hoje, há uma disponibilidade no mercado de sensores de profundidade baseados em luz estruturada, que apresentam uma série de novas oportunidades na preservação do patrimônio cultural. Neste contexto, este trabalho investiga o uso de um método eficaz e econômico capaz de realizar reconstruções 3D utilizando dados adquiridos pelo sensor Kinect. Esses dados podem ser utilizados para criar e disseminar réplicas digitais. O Kinect apresenta grande potencial, considerando seu preço acessível em comparação com outros sensores. No presente trabalho, algumas dificuldades tecnológicas foram superadas para a utilização do Kinect, sendo uma das principais, a grande quantidade de ruídos que o Kinect retorna nas nuvens de pontos. Deste modo, serão avaliados os benefícios e desafios da utilização do Kinect. Além disso, serão apresentados resultados que demonstram que a modelagem 3D utilizando o sensor é capaz de criar réplicas de artefatos arqueológicos

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) Type 2 diabetes mellitus (DM) is responsible for quality of life reduction due its negative impact in the physical exercise capacity. The impairment of cardiopulmonary fitness and lower values in oxygen uptake in exercise tests has been associated with factors related with diabetes complications. Phototherapy is a resource largely utilized due it action in biological systems and it may be adjuvant to exercise to improve muscular efficiency and increase aerobic capacity. Thus, the question if this resource may be benefit to populations with DM. Therefore, we proposed a study protocol randomized, double-blind, placebo controlled to evaluate the acute effect of light emitting diode (LED) in cardiorespiratory and hemodynamic adjustments of moderate exercise in cycloergometer, as well as, in lactate and glucose levels pre and post intervention and after exercise in men aged between 45 and 64 years, with DM and health. Then, two studies were performed. In the study 1 it was evaluated the acute effect of phototherapy (LED-150J) in two groups: DM group (DMG) and health group (HG) (n=16 and n=9, respectively). The groups were paired by age and body mass index. The LED reduced significantly the glucose levels in DMG after exercise and do not affect the lactate levels, cardiorespiratory and hemodynamic adjustments of aerobic exercise in both groups. Our results suggest that LED in combination with moderate exercise decrease acutely the glucose levels in adult subjects with DM. The study 2 aimed evaluate the acute effect of two different doses of phototherapy. Participated in this study two groups of men with DM: LED-150J (n=16) and LED-300J (n=17). The LED-150J reduced the levels of glucose after exercise. The LED-300J increased the lactate levels after exercise in effective session compared with placebo. Any doses changed the cardiorespiratory and hemodynamic adjustments. This study demonstrated that the phototherapy with LED using the 300J dose did not improved the parameters studied and the 150J dose improved the glycaemia and should be used in combination with other therapies for the hyperglycemia management in individuals with DM. The general conclusion of this thesis is that our findings suggest that phototherapy associated with moderate physical exercise have therapeutic potential to control glycaemia in DM, however, further studies should be conducted investigating the dose window and dose-response capable to change acutely the cardiopulmonary and hemodynamic adjustments and lactate levels. O diabetes mellitus tipo 2 (DM) é responsável por redução significativa na qualidade de vida devido ao seu impacto negativo na capacidade de realização de exercícios físicos. A diminuição do condicionamento cardiopulmonar e os menores valores de consumo de oxigênio pico em testes de exercício têm sido associados com múltiplos fatores envolvidos nas complicações do diabetes. A fototerapia é um recurso que tem sido utilizado devido sua ação nos sistemas biológicos, podendo ser um coadjuvante do exercício na melhora da eficiência do trabalho muscular e aumento da capacidade aeróbia. Por isso, levantou-se a questão de que tal recurso poderia beneficiar populações com DM. Assim, foi proposto um protocolo experimental aleatorizado e duplo-cego visando avaliar o efeito agudo da fototerapia com diodos emissores de luz (LED) nos ajustes cardiorrespiratórios e hemodinâmicos ao exercício moderado em cicloergômetro, bem como nas concentrações de lactato e glicose sanguíneas pré e pós intervenção e após o exercício físico em homens com DM e saudáveis, com idade entre 45 e 64 anos. A partir deste protocolo dois estudos foram realizados. No estudo 1 foi avaliado o efeito agudo da fototerapia (LED-150J) em dois grupos: grupo com DM (GDM, n=16) e grupo saudável (GS, n=9). Os grupos foram pareados por idade e índice de massa corpórea. O LED reduziu significativamente as concentrações de glicose no GDM após o exercício em cicloergômetro e não afetou os níveis de lactato e os ajustes cardiorrespiratórios e hemodinâmicos em ambos os grupos. Nossos resultados sugerem que o LED em combinação com o exercício moderado reduz de forma aguda os níveis de glicose em homens adultos com DM. No estudo 2 objetivou-se avaliar o efeito agudo de duas diferentes doses de fototerapia. Participaram desse estudo dois grupos de homens com DM: LED-150J (n=16) e LED-300J (n=17). O LED-150J reduziu as concentrações de glicose após o exercício físico e o LED-300J aumentou os níveis de lactato após o protocolo de exercício na fototerapia efetiva em comparação com a fototerapia placebo. Nenhuma das dosagens avaliadas modificou significativamente os ajustes cardiopulmonares e hemodinâmicos avaliados. Este estudo mostrou que a fototerapia por meio de LED na dosagem de 300J não causou melhora nos parâmetros estudados enquanto a dosagem de 150J melhorou a glicemia, podendo ser utilizada como recurso adjuvante no controle da hiperglicemia em indivíduos com DM. Como conclusão geral, nossos achados sugerem que a fototerapia associada ao exercício moderado tem potencial terapêutico no controle da glicemia do DM, no entanto, mais estudos são necessários para estabelecer a janela terapêutica e a dose-resposta capaz de modificar de forma aguda os ajustes cardiopulmonares e hemodinâmicos, assim como os níveis de lactato. FAPESP: 2013/08183-7 FAPESP: 2015/20512-1 FAPESP: BEPE 2013/07953-3

Trabalho Final de Mestrado para obtenção do grau de Mestre em Engenharia Mecânica A robótica é um tema que desde a sua introdução tem capturado o interesse e a imaginação das pessoas. A sua aplicação menos fantasiosa e mais realista pode ser vista na indústria. No entanto, um dos maiores desafios encontra-se em criar um robô com capacidade de navegação autónoma, incluindo o reconhecimento e desvio de pessoas, em ambientes estruturados. A robótica móvel baseada no controlo por visão tem-se desenvolvido nos últimos 30 anos. Ao longo deste período, diversos modelos matemáticos foram apresentados com o objectivo de resolver os múltiplos desafios que o controlo de uma unidade robótica autónoma apresenta. A visão robótica, tal como no ser Humano, permite à unidade uma compreensão do mundo onde se insere. No caso de o ambiente ser partilhado com pessoas, a necessidade de interpretar e separar uma pessoa de um objecto é fundamental, para a segurança física e psíquica do ser Humano. Esta dissertação propõe o estudo e desenvolvimento de um robô móvel autónomo apto para navegar em espaços com pessoas. Os trabalhos realizados focaram-se na localização no espaço, reconhecimento de pessoas e planeamento e controlo de trajectórias. Com este conjunto de soluções pretende-se contribuir com um sistema autónomo robusto capaz de interagir em segurança em ambientes de trabalho partilhados com pessoas, com elevado grau de confiança de modo a que seja possível implantar num ambiente industrial. Abstract: Robotics is a subject known to capture the imagination of people. It can be seen in a realistic fashion in many fields of modern industry. Current robotics challenges can be found in the deployment of autonomous mobile robotswhen operating in Human shared environments. Vision based mobile robotics is a subject being studied for over 30 years. Robotic Vision, supports the perception of the surrounding world, including the discrimination of objects from people, therefore itis paramount to gurantee the physical and psychological safety of Humans. This work presents a study and development of a mobile robot with the ability to detect people, and to modify the navigation path accordingly. This thesis aims to provide a robust autonomous robot system that can safely operate in Human shared environments, thus being suitable to areal industrial situation.

Mestrado em Comunicação Multimédia A incorporação da multimédia no domínio da dança é uma estratégia que tem emergido no mundo performativo. A presente dissertação pretende explorar como a tecnologia digital e interativa pode influenciar o desempenho no ensino da dança no segmento infantil, especificamente na academia de dança Dancenter. É vital ter como fundamento o estado de arte relativamente ao que já foi aplicado no âmbito tecnológico e performativo, aliando conceitos intrínsecos, tais como interação, mediação, simulação para perceber a mudança paradigmática que novas soluções provocaram nos métodos de ensino artístico. Será desenvolvido um trabalho de campo baseado na abordagem do design centrado no utilizador e em métodos etnográficos, que permitirão testar e avaliar, no ambiente de interação, três protótipos funcionais: Em Movimento, Tocar em Movimento e Pintar em Movimento. Serão sustentados nos paradigmas de interação com a kinect, tendo em conta a singularidade cognitiva das crianças e os métodos de ensino reiterados, recorrentes ou não, de tecnologias educativas. Este trabalho de investigação ocorrerá num processo colaborativo, entre professores e alunos da academia, primando por uma abordagem etnográfica, que envolve a participação e envolvimento da equipa de investigação nas atividades letivas da Dancenter, com o propósito de reformular atividades em contexto sala de aula. Intenta-se que o sistema multimédia desenvolvido fomente o desempenho da criança nas questões da dança, mas também que possibilite experiências enriquecedoras, pessoais e participativas. The incorporation of multimedia in dance is a strategy that has emerged in the performative world. This thesis aims to explore the digital and interactive technology and how can influence performance in dance education for children's, specifically at Dancenter academy of dance. In the state of the art, it is vital in to know what has already been applied in technological and performative context, combining intrinsic concepts such as interaction, mediation, simulation to realize the paradigm shift to new solution. It will develop a fieldwork-based design approach focused on the user and ethnographic methods, which will test and evaluate the interaction of environment, three functional prototypes: In Moviment, Play in Moviment and Paint in Moviment. They will be sustained in the interaction paradigms with kinect, focusing in children’s needs and teaching technologies. This research will take place in a collaborative process between teachers and students of the academy, striving for an ethnographic approach, which involves the participation and involvement of the research team in the teaching activities of Dancenter, in order to reformulate activities in the context of classroom. It intends that the multimedia system developed for boost the child's performance in dance, but also to enable enriching, personal and participatory experiences..

O objetivo é desenvolver um método para obtenção de medidas antropométricas através de um digitalizador 3D de baixo custo. A metodologia da pesquisa consiste em seis etapas: pesquisa bibliográfica, coleta e análise dos dados antropométricos pelo método direto e o desenvolvimento do método indireto de obtenção de medidas antropométricas, comparação e análise dos dados obtidos, discussão dos resultados e a finalização. O processo de digitalização utilizado está baseado em um dispositivo de baixo custo, o Microsoft Kinect e no software kscan3D. Para o levantamento antropométrico a partir do modelo tridimensional, é utilizado o software Autodesk 3D Studio Max. A pesquisa apresenta recomendações e restrições para a geração do modelo tridimensional, de forma a se obter uma malha com precisão satisfatória. É apresentado um fluxograma para orientar a aplicação do método desenvolvido no processo de Design bem como um quadro-resumo contendo diretrizes para esta aplicação. O método desenvolvido obteve 97,96% de compatibilidade nos resultados das variáveis mensuradas em relação ao método direto. Estes resultados foram obtidos com um tempo de exposição do indivíduo de apenas 3 minutos e 28 segundos, muito inferior ao tempo necessário no método direto, que foi de 1 hora e 12 minutos, o que demonstra uma das principais contribuições do método proposto. The aim is to develop a method for obtaining anthropometric parameters using a low cost three-dimensional digitizer. The research methodology is divided in five steps: literature review; collection and analysis of anthropometric data using the direct method and also the development of the indirect method for obtaining anthropometric measurements; comparison and data analysis; discussion of results and the completion of the research. The digitization process developed it is based on Microsoft Kinect, a low-cost device, and also on the software kscan3D. For the anthropometric collection from the three-dimensional model is used Autodesk 3D Studio Max. This research presents requirements and constraints for generate the three-dimensional model in order to obtain a mesh with satisfactory precision. It is presented a flowchart to guide the implementation of the developed method in the design process as well as a summary table containing guidelines for this application. The developed method achieved 97.96% of compatibility considering the results of the measured variables in relation to the direct method. These results were obtained with an exposure time of the individual of only 3 minutes and 28 seconds, which is less than the time required in the direct method – 1 hour and 12 minutes. This demonstrates one major contribution of the developed method.

O presente trabalho tem como objetivo verificar a validade e confiabilidade na obtenção do tempo de execução de uma técnica de chute do Taekwondo, bem como verificar a acurácia em reconhecer automaticamente movimentos inerentes a uma sessão de treinamento de Taekwondo de um sistema composto pelo sensor Microsoft Kinect e algoritmos desenvolvidos especificamente para estas tarefas. O estudo foi composto por 2 etapas. Na primeira etapa os voluntários realizaram 15 repetições do chute frontal do Taekwondo (ap chagui) em duas velocidades de execução diferentes. Para verificar a validade concorrente foi calculado o coeficiente de correlação de Pearson, a equação de regressão linear simples e erro padrão de estimativa (EPE), verificando a validade entre o Microsoft Kinect e o Optitrack (padrão ouro). Para verificar a confiabilidade foram calculados o Coeficiente de Correlação Intraclasse (CCI2,1) e o Erro Padrão de Medida (EPM). Na segunda fase os voluntários realizaram 4 diferentes movimentos típicos de uma sessão de treinamento de Taekwondo durante 20 segundos cada um e foi verificada a capacidade do sistema em reconhecer e classificar automaticamente os movimentos que foram realizados com elevada acurácia. O sistema de obtenção de tempo de execução do chute composto pelo Microsoft Kinect apresentou uma alta confiabilidade (CCI2,1=0,971 para velocidade de chute de 3 m.s-1 e 0,912 para velocidade de chute de 8 m.s-1). Além disso, apresentou uma alta validade para velocidade de chute de 3 m.s-1, com um r=0,982 (p=0,001), com um percentual de 96,5% do modelo explicado, coeficiente linear a=0,0174, coeficiente angular b=0,984 e EPE=0,064 segundos; e também para velocidade de chute de 8 m.s-1, com um r=0,920 (p=0,001), com um percentual de 84,7% do modelo explicado, coeficiente linear a=0,336, coeficiente angular b=0,866 e EPE=0,011 segundos. No reconhecimento de movimentos a acurácia média foi 89,91%, sendo o soco de direita o movimento com maior acurácia de reconhecimento (93,81%) e o soco de esquerda com a menor acurácia de reconhecimento (85,23%). O sistema avaliado se apresenta como um caminho viável para desenvolvimento de uma ferramenta de registro automático de sessões de treinamento de Taekwondo. This study aims to determine the validity and reliability in getting the run time of a Taekwondo kick, and to verify the accuracy of automatically recognize movements inherent in a Taekwondo training session of a system comprises for the Microsoft Kinect sensor and algorithms developed specifically for these tasks. The study consisted of two stages. In the first step the volunteers performed 15 repetitions of Taekwondo front kick (ap chagui) in two different running speeds. To verify the concurrent validity, it calculated the Pearson correlation coefficient, the equation of linear regression and standard error of the estimate (SEE), checking the validity between the Microsoft Kinect and Optitrack (gold standard). To check the reliability were calculated the intraclass correlation coefficient (ICC2,1) and the Standard Error of Measurement (SEM). In the second phase, the volunteers were four different movements of a Taekwondo training session for 20 seconds each and was checked on the system's ability to recognize and automatically classifying movements which were conducted with high accuracy. The kick runtime system showed high reliability (ICC2,1=0.971 for slow kicks and 0.912 for fast kicks kicks). It also presented a high validity for kick speed 3 ms-1, with r=0.982 (p=0.001), a percentage of 96.5% of the model explained, linear coefficient 'a'=0.0174, angular coefficient 'b'=0.984 and SEE=0.064 seconds; and also for kick speed 8 ms-1, with r=0.920 (p=0.001), a percentage of 84.7% of the model explained, linear coefficient 'a'=0.336, angular coefficient 'b'=0.866 and SEE=0.011 seconds. In recognition of the movement accuracy mean was 89,91%, the right punch movement with more accurate recognition (93.81%) and the left punch with the lowest recognition accuracy (85.23%). The evaluated system is presented as a viable way to develop a Taekwondo training sessions record tool.

Submitted by António Freitas (amsf@uma.pt) on 2017-06-08T11:34:03Z No. of bitstreams: 1 MestradoHugoGoncalves.pdf: 95962653 bytes, checksum: 9cfacfb63c83b27a7dc1b9ceaa4e8dba (MD5) Made available in DSpace on 2017-06-08T11:34:03Z (GMT). No. of bitstreams: 1 MestradoHugoGoncalves.pdf: 95962653 bytes, checksum: 9cfacfb63c83b27a7dc1b9ceaa4e8dba (MD5) Previous issue date: 2015-09-21

ResumoNeste trabalho é introduzido um fluxo de mapeamento 3D de ambientes internos usando dados RGB-D. O método explora a integração de imagens RGB e valores de profundidade oriundos do dispositivo Kinect. Cinco etapas principais envolvidas no desenvolvimento do método proposto são discutidas. A primeira etapa trata da detecção de pontos no par de imagens RGB e o estabelecimento automático das correspondências. Na segunda etapa do método é proposto uma normalização das imagens RGB e IR para associar os pontos homólogos encontrados no par de imagens RGB e seus correspondentes na imagem de profundidade. Na terceira etapa as coordenadas XYZ de cada ponto são calculadas. Em seguida, são calculados os parâmetros de transformação entre os pares de nuvem de pontos 3D. Finalmente, é proposto um modelo linear para a análise da consistência global. Para avaliar a eficiência e potencialidade do método proposto foram realizados quatro experimentos em ambientes internos. Uma avaliação da acurácia relativa da trajetória do sensor mostrou erros no registro de pares de nuvens de pontos em torno de 3,0 cm AbstractIn this work a method for 3D mapping of indoor environments using RGB-D data is presented. Our method exploited the RGB and depth images provided by Kinect sensor for pairwise registration. The proposed method contains five main steps. Firstly, keypoints are detected and automatically established their correspondences in the RGB images. In the second step we propose a rectification between RGB and IR images to find the best association of the correspondent keypoints and depth values. Following, the XYZ coordinates can be computed. Then, a pairwise registration is realized. Finally, we present a linear model for the global consistency. The performance of the method is demonstrated using four datasets of an office environment. An assessment of relative accuracy of the sensor trajectory shows pairwise registration errors around 3,0 cm

CNPq O equilíbrio corporal é o objeto de estudo para a reabilitação de indivíduos que sofrem de alguma alteração em sua condição motora. No entanto, os equipamentos necessários para a avaliação quantitativa do equilíbrio apresentam alto custo. Este trabalho trata do desenvolvimento de uma plataforma de avaliação do equilíbrio corporal de baixo custo, cujo o nome é Reability. Primeiramente, foi desenvolvida uma plataforma para aquisição e processamento do sinal de eletromiografia (2 canais de EMG) e de dois sensores inerciais MPU-6050 via comunicação I2C. O microcontrolador utilizado é da família MSP430(Texas TI) e o firmware foi desenvolvido de tal forma que a leitura dos acelerômetros seja intercalada, não atrapalhando a captura dos canais de eletromiografia, que necessitam de uma taxa maior de velocidade de aquisição. Em um segundo momento, foi desenvolvido o software em ambiente Visual Studio usando C#, utilizando o driver Windows SDK para se comunicar com o Microsoft Kinect, responsável pela interação visual proporcionada pela plataforma. O sistema recebe as informações do hardware via Bluetooth e do Kinect via USB. Esta plataforma permite a avaliação dinâmica do paciente durante o exercício, exibindo os sinais de EMG e de acelerometria para o fisioterapeuta, interagindo com o paciente através do feedback visual proporcionado pelo vídeo com realce de movimento capturado pelo Kinect. Além disso, a gravação dos dados de eletromiografia, de acelerometria e do vídeo permitem ao fisioterapeuta comparar os dados entre as sessões. Para isso, a plataforma apresenta algumas ferramentas de avaliação através de métodos como: diagramas de deslocamento de centro de pressão para os sinais de acelerometria, envoltório de eletromiografia e comparação temporal. Body balance is the object of study for the rehabilitation of individuals suffering from some condition in their motor condition. The equipment necessary for its quantitative measurement is associated with instruments of high cost and complexity. This work deals with the development of a low-cost platform for the body balance evaluation, whose name is Reability. Firstly, a hardware was developed for the acquisition and processing of the electromyography signal (2 EMG channels) and two MPU-6050 inertial sensors via I2C communication. The microcontroller used is from the MSP430 family (Texas TI). The firmware was developed in such a way that the reading of the accelerometers is interleaved, not hindering the capture of the electromyography channels, which require a higher speed of acquisition. In a second moment, a software was developed in Visual Studio using C#, the Windows SDK driver to communicate with Microsoft Kinect, responsible for the visual interaction provided by the platform. The system receives hardware information via Bluetooth and of Kinect via USB. This system allows the dynamic evaluation of the patient during the exercise, displaying the EMG and accelerometry signals to the physiotherapist, interacting with the patient through the visual feedback provided by the motion enhancement video captured by Kinect. Moreover, the recording of electromyography, accelerometry and video allows the physiotherapist to compare data between sessions. For this, the platform presents some evaluation tools through methods such as: diagrams of pressure center displacement for the signs of accelerometry, signal envelope captured of electromyography and temporal comparison.

Sistemas baseados em gestos vêm se tornando uma alternativa para o desenvolvimento de aplicações mais intuitivas para os usuários, pois permitem a esses usuários interagirem de forma mais natural. Tais sistemas, em geral, requerem dispositivos de captura junto com alguma técnica de reconhecimento para que os gestos requeridos na interação natural sejam reconhecidos. A ausência de abstrações apropriadas para representação dos gestos dificulta as especificações de novas interações naturais. A representação de um gesto, quase sempre, envolve Aprendizagem de Máquina ou um avançado algoritmo de reconhecimento baseado nos dados da posição tridimensional do corpo humano fornecidos por sensores de profundidade, tal como o Microsoft Kinect. Além disso, as aplicações desenvolvidas tornam-se dependentes das bibliotecas de desenvolvimento dos dispositivos. Dessa forma, se o dispositivo for substituído por outro mais moderno ou de fabricante diferente quase todo o algoritmo de reconhecimento precisa ser reescrito. O principal objetivo desta dissertação é a especificação e implementação da Linguagem para Especificação de Gestos (LEG), uma Domain-Specific Language (DSL) para a especificação e reconhecimento de gestos livres do corpo humano com suporte a diferentes dispositivos de profundidade. A LEG é uma linguagem declarativa, baseada na análise das interfaces gestuais para computador e no estudo das abstrações e representações do movimento humano, a fim de reduzir a complexidade no desenvolvimento de aplicações baseadas em gestos. A implementação da linguagem foi realizada em duas etapas. Primeiro, foi criado um framework (Kinect Gesture) com a lógica para rastrear e identificar gestos descritos na linguagem. Na segunda etapa, foi definida a gramática e o interpretador foi construído. A abordagem adotada foi de DSL externa, sendo sua sintaxe textual e particular. A fim de avaliar a implementação proposta, 15 (quinze) gestos foram especificados em LEG e reconhecidos. Tendo como referência os resultados obtidos, chegou-se a conclusão que a linguagem apresentada neste trabalho diminuiu consideravelmente a complexidade necessária para realizar a especificação e o reconhecimento dos gestos. Systems Based-gestures are becoming an alternative to the development of more intuitive applications for users, because enable users to interact more naturally. Generally these systems need of capture devices together with some technique for gesture recognition. The lack of appropriate abstractions for the representation of gestures difficult to specifications of new natural interactions. For specify gesture, it is almost always necessary to acquire advanced knowledge in gesture recognition area and skills on chosen device and it is for this reason that the development of gestures is restricted. Often developers are using Machine Learning as support to creating database. Another approach is to create a recognition algorithm based on data from the depth sensor Kinect. Furthermore, due to the nature of the software development kits (SDK) provided by the hardware vendors to build gesture-based applications, the developed applications often become tightly coupled with the SDK. The result is that significant portions of the application need to be rewritten to run it on another device. The main goal of this dissertation is to implement and evaluate GSL (Gesture Specific Language), a Domain-Specific Language for specification and identification of gestures with support to different depth sensors. GSL is a declarative programming language based on the analysis of gestural interfaces for computer and study of abstractions and representations of human movement, in order to reduce the complexity in application development based on gestures. The development was conducted in two phases: the first was implemented a framework (Kinect Gesture) with logic for tracking and identify gestures. In the second phase, we built an grammar and a compiler. We adopted a external DSL approach, with specific and textual syntax. In order to evaluate the proposed implementation, we used GSL for specification and recognition of fifteen gestures. The results obtained show that GSL reduced considerably the complexity on perform the specification and the recognition of gestures.

The inability to navigate independently is one of the most significant handicaps due by blindness. Many difficulties can be faced when visually impaired people (VIP) need to visit new and unknown places. Our approach is to use locomotion simulation interface to allow a natural exploration way of virtual environment (VE) to assist VIP to create cognitive maps efficiently, and thereby to enhance their mobility skill. A computer system, called SACEC Assist System Spatial Cognition in the Blind, was developed using virtual reality techniques and natural interaction. The system allows the modeling of two-dimensional or three-dimensional virtual environments, and it is possible to reproduce actual environments such as schools, universities and others points of interest. The interaction with the virtual environment is based on the recognition of poses, which are interpreted as actions such as walking, turning, or front and side touch, and feedback sounds are sent to user. In order to review and validation of the developed system and the proposed interface tests are performed with actual VIPs, men and women aged from 18 to 60 years. A result shows the effectiveness of the SACEC in developing cognitive map of the simulated environment, as well the positive feedback shows that the system can be entertaining and pleasant to the participants. Therefore, SACEC has a great potential to be used in aid to Orientation and Mobility (OM) trainings, and thus contribute to greater social inclusion of those people. A impossibilidade de navegar de forma independente é uma das desvantagens mais significativas que podem ser causadas pela cegueira. Muitas dificuldades são encontradas quando pessoas com deficiência visual (PDVs) precisam visitar lugares novos e desconhecidos. Este trabalho propõe o uso de uma interface de simulação de locomoção que permita uma forma natural de exploração de Ambientes Virtuais (AV), para propiciar aos deficientes visuais a criação de mapas cognitivos de forma eficiente e, assim, auxiliar a sua mobilidade. Foi desenvolvido um sistema computacional, denominado SACEC - Sistema de Auxílio da Cognição Espacial em Cegos, que utiliza técnicas de Realidade Virtual e Interação Natural. O sistema permite a modelagem de Ambientes Virtuais bidimensionais ou tridimensionais. É possível reproduzir ambientes reais como escolas, universidades e outros espaços de interesse. A interação com o Ambiente Virtual ocorre por meio do reconhecimento de poses, que são interpretadas como ações de andar, girar ou tatear, e com respostas sonoras. Foram realizados testes com 20 PDVs, homens e mulheres com idades entre 18 e 60 anos, para avaliação e validação do sistema desenvolvido, bem como da interface proposta. Os resultados obtidos demonstraram a efetividade do SACEC, assim como avaliação positiva de todos os participantes que conseguiram criar o mapa cognitivo do ambiente navegado e reproduzí-lo verbalmente e em blocos montáveis. Desta forma, pode ser indicado no auxílio do trabalho de Orientação e Mobilidade (OM), e consequentemente contribuir com maior inclusão social dessas pessoas. Doutor em Ciências

Mestrado em Engenharia Mecânica A interação entre um utilizador e um programa (software) é um assunto com destaque e importância desde a criação do computador pessoal. Normalmente a interação é feita através de um teclado e um rato. Nesta dissertação pretende-se explorar e descrever diferentes alternativas para reconhecimento, deteção e identificação de gestos das mãos, para posterior implementação de comandos em diferentes aplicações informáticas e quadros interativos. Para reconhecimento de gestos, realizou-se o estudo da geometria da mão, identificação da mão esquerda e da mão direita, utilizando imagens em profundidade obtidas pela câmara Kinect. Para reconhecimento da cor da pele recorreu-se a imagens a cores utilizando um método probabilístico de reconhecimento de pele. Para manipulação e comando de diferentes aplicações informáticas, nomeadamente o PowerPoint, foram desenvolvidos diferentes algoritmos para o reconhecimento de movimentos e gestos da mão esquerda e direita em tempo real. The interaction between the user and the program (software) it’s been a subject of extreme importance since the creation of the personal computer. Normally the interaction it’s made using a keyboard and a mouse. This thesis aims to explore and describe different alternatives for recognition, detection and identification of hand gestures, so it can be implemented in commands for a diverse number of informatics applications as also interactive whiteboards. For gestures recognition, it was made the study of the hand geometry, the identification of the right hand and the left hand, using depth images obtained by the Kinect camera. For the skin color recognition it was used a probabilistic method. For the manipulation and command of different informatics applications, like PowerPoint, were developed different algorithms for the recognition of movements and gestures by right and left hand in real time processing.

Este artigo descreve o sistema que suporta a escultura Présence, trata-se de um sistema composto por uma aplicação de captura de movimento tridimensional (Localização 3D) e uma aplicação de som que possibilita uma experiência sonora interativa e imersiva através da expressão corporal. O sistema foi desenvolvido para ser utilizado por um público geral, heterogéneo, não especializado quer em tecnologia ou composição sonora. Os utilizadores colocam uns auscultadores sem fios e quando entram numa determinada área sensível iniciam a audição de uma composição sonora criada pelo movimento do seu próprio corpo. Esta composição permanece em constante modelação e organização de acordo com o movimento do utilizador no espaço. Este funcionamento ocorre através da leitura de um conjunto de posições tridimensionais do corpo do utilizador mapeados como parâmetros de controlo para um conjunto de geradores de som. O sistema foi testado em sete exposições públicas no qual participaram e interagiram mais de 500 pessoas comprovando a flexibilidade e expressividade sonora do sistema., 22o Encontro Português de Computação Gráfica e Interação 2015, Interaction Design, 4, 12, Rudolfo Quintas, Adérito Marcos, Mirian Tavares, Interfaces Naturais, Captura de Movimento 3D, KINECT

Made available in DSpace on 2016-03-02T13:04:14Z (GMT). No. of bitstreams: 0 Previous issue date: 2015. Added 1 bitstream(s) on 2016-03-02T13:14:45Z : No. of bitstreams: 1 ISSN2238-1295-2015-04-01-21-31.pdf: 274789 bytes, checksum: 1285d6e38dbc55d990d042c01ece7a21 (MD5) Problemas com pose e iluminação são desafios complexos para o reconhecimento de faces 2D. Devido a estes problemas vários métodos para reconhecimento de faces 3D têm sido propostos, principalmente pelo fato que os dados em 3D são mais resistentes a iluminação e são úteis para correção de pose. O maior problema com a utilização de métodos 3D é o custo elevado dos scanners 3D tradicionais. Uma alternativa é a utilização do Microsoft Kinect que, além de ser consideravelmente mais barato, é capaz de capturar os dados de profundidade com precisão necessária para discriminar sujeitos. O principal objetivo do presente trabalho é avaliar a performance do método 3DLBP para o reconhecimento de faces quando utilizando os mapas de profundidade gerados pelo Kinect. Outro objetivo é investigar quais regiões da face que desempenham melhor no reconhecimento de face. Universidade Estadual Paulista Júlio de Mesquita Filho, Departamento de Computação, Faculdade de Ciências de Bauru, Bauru, Av. Engenheiro Luiz Edmundo Carrijo Coube, 14-01, Vargem Limpa, CEP 17033-360, SP, Brasil Universidade Estadual Paulista Júlio de Mesquita Filho, Departamento de Computação, Faculdade de Ciências de Bauru, Bauru, Av. Engenheiro Luiz Edmundo Carrijo Coube, 14-01, Vargem Limpa, CEP 17033-360, SP, Brasil

Comunicação apresentada na SciTecIn15 - Conferência Ciências e Tecnologias da Interação, realizada em Coimbra, de 12-13 de novembro de 2015 Apresentamos um conceito de jogo inovador e o seu protótipo inicial, integrando tipos distintos de interação e de visualização. Dois jogadores interagem como timoneiro de uma nau portuguesa e gigante Adamastor. Um joga em realidade virtual controlada por gestos finos, outro usa aumentação contextual com gestos amplos e fi-nos. Pretende o conceito e o protótipo servirem como exemplificadores das potencialidades das novas formas de interação e de como as concretizar.

Mestrado em Engenharia Mecânica O bin picking é um processo de grande interesse na indústria, uma vez que permite maior automatização, aumento da capacidade de produção e redução dos custos. Este tem vindo a evoluir bastante ao longo dos anos e essa evolução fez com que sistemas de perceção 3D começassem a ser implementados. Este trabalho tem como principal objetivo desenvolver um sistema de bin picking usando apenas perceção 3D. O sistema deve ser capaz de determinar a posição e orientação de objetos com diferentes formas e tamanhos, posicionados aleatoriamente numa superfície de trabalho. Os objetos utilizados para fazer os testes experimentais, são esferas, cilindros e prismas, uma vez que abrangem as formas geométricas existentes em muitos produtos submetidos a bin picking. Após a identi cação e seleção do objeto a apanhar, o manipulador deve autonomamente posicionar-se para fazer a aproximação e recolha do mesmo. A aquisição de dados é feita através de uma câmara Kinect. Dos dados recebidos apenas são trabalhados os referentes à profundidade, centrando-se assim este trabalho na análise e tratamento de nuvem de pontos. O sistema desenvolvido cumpre com os objetivos estabelecidos. Consegue localizar e apanhar objetos em várias posições e orientações. Além disso apresenta uma velocidade de processamento compatível com a aplicação em causa. Bin picking is a process with major interest in industry, since it allows greater automation, increased production capacity and costs reduction. It has evolved greatly over the years and was that evolution that made possible that these 3D perception systems began to be implemented. This study has as main objective to develop a bin picking system using just 3D perception. The system must be able to determine the position and orientation of objects with di erent forms and sizes, positioned randomly in a work area. The objects used to make experimental tests, are spheres, cylinders and prisms, since these cover the geometric forms existing in many products subjected to bin picking. After the identi cation and selection of the object to pick, the manipulator must autonomously position itself to make the approximation and collect that same object. The data acquisition is made through a Kinect camera. From the collected data, only the ones related to the depth are studied, focusing this study in point cloud handling and analysis. The developed system ful lls the established objectives. It manages to locate and grab objects in several positions and orientations. Furthermore it presents a velocity of processing compatible with the concerned application.

Submitted by Santos Davilene (davilenes@ufba.br) on 2016-05-25T16:33:11Z No. of bitstreams: 1 Caio Sacramento - Versão final.pdf: 44848885 bytes, checksum: 5e9d6d2dbd205475b3fd3d6642804fbc (MD5) Made available in DSpace on 2016-05-25T16:33:11Z (GMT). No. of bitstreams: 1 Caio Sacramento - Versão final.pdf: 44848885 bytes, checksum: 5e9d6d2dbd205475b3fd3d6642804fbc (MD5) Realidade aumentada e uma tecnologia que permite que gr a cos computacionais 2D e 3D sejam alinhados ou registrados com cenas do mundo real em tempo real. Esta proje ção de imagens virtuais requer uma referência na imagem real capturada, o que geralmente e obtido atrav es da utiliza c~ao de um ou mais marcadores. Mas existem situa c~oes em que a utiliza c~ao de marcadores pode não ser adequada, como por exemplo em aplica cões m edicas. Neste trabalho, e apresentado um ambiente multi-câmera, composto por oculos de realidade aumentada e dois dispositivos Kinect, o qual n~ao utiliza marcadores duciais para executar aplica cões de realidade aumentada. Todos os equipamentos s~ao calibrados de acordo com um sistema de referência comum, e então os modelos virtuais são transformados de acordo, tamb em. Para isso, duas abordagens foram especi cadas e implementadas: a primeira, baseada em um Kinect e dados de uxo otico e acelerômetro dos oculos de realidade aumentada, e outra baseada somente em dois dispositivos Kinect. Os resultados relacionados a qualidade e a performance obtidas por estas duas abordagens s~ao apresentados e discutidos, bem como uma compara c~ao entre eles, al em de todas as questões relacionadas que foram encontradas e tratadas neste trabalho.