Search

Dissertação de mestrado integrado em Engenharia Informática, Com um crescimento exponencial tanto na área da Inteligência Artificial como dos vídeo jogos, a criação de plataformas que auxiliam os jogadores passou a ser fundamental. A criação de uma ferramenta analítica que estude detalhadamente o comportamento humano, abre portas a jogos mais dinâmicos, competitivos e justos. A análise do ecrã de um jogador permite identificar, detetar e rastrear movimentos de determinados objetos, em tempo real, podendo ter o intuito de o ajudar ou de o vigiar. Seja qual for o caso, é necessário, primeiro, identificar e detetar os objetos visualizados, através de algoritmos de Object Detection. Depois, já identificado o objeto, é possível prever a sua próxima localização, bem como rastrear o seu movimento, utilizando algoritmos de Object Tracking. Intercalando o rastreamento com a deteção de objetos, quer quando este desaparece de vista, quer para obter confirmação que se está a seguir o objeto correto, é possível assim analisar o ecrã do jogador para o poder ajudar. Esta dissertação tem como objetivo desenvolver um modelo capaz de identificar o movimento de um determinado objeto, em tempo real, no ambiente de um jogo, utilizando para isso técnicas de Machine Learning e Computer Vision, mais especificamente métodos de Object Detection e Object Tracking. O ambiente prático foi desenvolvido utilizando a biblioteca OpenCV para Python, que tem ao dispor um diverso leque de algoritmos de Computer Vision e ainda permite a utilização paralela de CPU e GPU para a otimização destes mesmos algoritmos., With exponential growth both in the area of Artificial Intelligence and videogames, the creation of platforms that help players has become fundamental. The creation of an analytical tool that analyzes human behavior, opens the door to more dynamic, competitive and fair games. The analysis of a player’s screen allows identifying, detecting and tracking movements of certain objects, in real time, and can help or monitor them. Whatever the case, it is first necessary to identify and detect the objects visualized, through Object Detection algorithms. Then, once the object has been identified, it is possible to predict its next location, as well as track its movement, using Object Tracking algorithms. It is possible to analyze the player’s screen by interleaving object tracking with object detection, either when it disappears from view, or to obtain confirmation that the correct object is being followed, thus helping the player. This dissertation aims to develop a model capable of identifying the movement of a given object, in real time, in a game environment, using Machine Learning and Computer Vision techniques, more specifically methods of Object Detection and Object Tracking. The practical environment was developed using the OpenCV python library, which has a diverse range of computer vision algorithms available and also allows the parallel use of CPU and GPU for the optimization of these same algorithms.

Submitted by Boris Flegr (boris@uerj.br) on 2021-01-06T19:17:20Z No. of bitstreams: 1 dissertacaoAlexandreRevisaoV4.pdf: 3414378 bytes, checksum: 4dace30bd2afac2bd16ac0cc8c9700f4 (MD5) Made available in DSpace on 2021-01-06T19:17:20Z (GMT). No. of bitstreams: 1 dissertacaoAlexandreRevisaoV4.pdf: 3414378 bytes, checksum: 4dace30bd2afac2bd16ac0cc8c9700f4 (MD5) Previous issue date: 2019-01-17 Image processing is an important tool to help in decision taking. Continuous observation of some environment, such as public areas and industrial plants, among others, allows defining the best action strategies and deciding the right moment to act, thus reducing risks and magnifying opportunities. The quality of the information resulting from such image processing must be precise enough so that it does not hinder scenario's evaluation for future action planning and goals achievement. The execution time to ob-tain this information and process it is fundamental for any successful activities. Hence, computational intelligence can help accelerating procedure executions related to planned actions. In general, slow search process always delays decision making in such a way that the recorded data becomes obsolete or insuficient at the decision moment. Tem-plate Matching is one of the most used techniques for finding then tracking patterns in images, wherein a small size image, termed the target, is looked for inside another that represents the environment as a whole. In this work, template matching is used via an existing co-design system. A co-processor is used to calculate the most computationally expensive task of template matching, which is the computation of the coeficient of the normalized cross correlation. The computation of this coeficient allows invariance in the case of global brightness changes in image, but it is computationally more expensive when using larger templates and yet more expensive in videos. We propose to investigate six different swarm intelligence based approaches, aiming at accelerating the process of target tracking. To evaluate the proposed project, the metrics regarding the overall processing time, number of iterations and target hit rate are used and compared. The results show that it is possible to obtain search approaches capable of processing videos at a rate of 30 frames per second while achieving an acceptable average hit rate for tracking the target. O processamento de imagens é uma importante ferramenta para auxiliar na tomada de decisão. O monitoramento contínuo de qualquer ambiente, tais como áreas públicas e parques industriais, entre outros, permite definir melhores estratégias de ação e decidir o momento correto para agir, dirimindo riscos e potencializando oportunidades. A qualidade da informação resultante do processamento de imagens deve ser boa o suficiente para evitar erros de avaliação de cenário durante o planejamento das ações futuras e a definição das metas a serem atingidas. O tempo para obter essa informação e processá-la é a base do sucesso de qualquer atividade. Assim, a inteligência computacional pode ajudar a acelerar a execução dos procedimentos relacionados às ações planejadas. Em geral, um processo de busca lento acaba sempre atrasando a tomada de decisão de modo que a informação obtida poderá se tornar obsoleta ou insuficiente no momento da tomada da decisão. A técnica Template Matching é um dos métodos mais aplicados para localizar padrões em imagens, no qual uma imagem de tamanho reduzido, chamada de alvo, é procurada dentro de outra imagem que representa o ambiente como um todo. Neste trabalho, utiliza-se Template Matching via um sistema co-design já existente. Faz-se presente um coprocessador para calcular a etapa computacionalmente mais custosa do Template Matching, que é o cálculo do coeficiente de Correlação Cruzada Normalizada. O cálculo deste coeficiente permite invariância às alterações globais de brilho nas imagens, porém é computacionalmente mais custosa ao se empregar imagens de dimensões maiores, ou mesmo conjuntos de imagens. Propôe-se investigar seis técnicas diferentes de inteligência de enxame visando acelerar o processo de busca do alvo. Para avaliar o projeto proposto, o tempo de processamento, o número de interações e a taxa de acerto são comparados. Os resultados mostram que é possível obter abordagens capazes de processar imagens de vídeos com 30 quadros por segundo com uma taxa de acerto média aceitável para detecção do alvo rastreado.

Made available in DSpace on 2015-03-05T14:01:20Z (GMT). No. of bitstreams: 0 Previous issue date: 13 Nenhuma O baixo custo dos sistemas de aquisição de imagens e o aumento no poder computacional das máquinas disponíveis têm causado uma demanda crescente pela análise automatizada de vídeo, em diversas aplicações, como segurança, interfaces homem-computador, análise de desempenho esportivo, etc. O rastreamento de objetos através de câmeras de vídeo é parte desta análise, e tem-se mostrado um problema desafiador na área de visão computacional. Este trabalho apresenta uma nova abordagem para o rastreamento de objetos baseada em fragmentos. Inicialmente, a região selecionada para o rastreamento é dividida em sub-regiões retangulares (fragmentos), e cada fragmento é rastreado independentemente. Além disso, o histórico de movimentação do objeto é utilizado para estimar sua posição no quadro seguinte. O deslocamento global do objeto é então obtido combinando os deslocamentos de cada fragmento e o deslocamento previsto, de modo a priorizar fragmentos com deslocamento coerente. Um esquema de atualização é aplicado no modelo The low cost of image acquisition systems and increase the computational power of available machines have caused a growing demand for automated video analysis in several applications, such as surveillance, human-computer interfaces, analysis of sports performance, etc. Object tracking through the video sequence is part of this analysis, and it has been a challenging problem in the computer vision area. This work presents a new approach for object tracking based on fragments. Initially, the region selected for tracking is divided into rectangular subregions (patches, or fragments), and each patch is tracked independently. Moreover, the motion history of the object is used to estimate its position in the subsequent frames. The overall displacement of the object is then obtained combining the displacements of each patch and the predicted displacement vector in order to priorize fragments presenting consistent displacement. An update scheme is also applied to the model, to deal with illumination and appearance c

A localização de objetos em uma imagem e acompanhamento de seu deslocamento numa sequência de imagens são tarefas de interesse teórico e prático. Aplicações de reconhecimento e rastreamento de padrões e objetos tem se difundido ultimamente, principalmente no ramo de controle, automação e vigilância. Esta dissertação apresenta um método eficaz para localizar e rastrear automaticamente objetos em vídeos. Para tanto, foi utilizado o caso do rastreamento da bola em vídeos esportivos, especificamente o jogo de futebol. O algoritmo primeiramente localiza a bola utilizando segmentação, eliminação e ponderação de candidatos, seguido do algoritmo de Viterbi, que decide qual desses candidatos representa efetivamente a bola. Depois de encontrada, a bola é rastreada utilizando o Filtro de Partículas auxiliado pelo método de semelhança de histogramas. Não é necessária inicialização da bola ou intervenção humana durante o algoritmo. Por fim, é feita uma comparação do Filtro de Kalman com o Filtro de Partículas no escopo do rastreamento da bola em vídeos de futebol. E, adicionalmente, é feita a comparação entre as funções de semelhança para serem utilizadas no Filtro de Partículas para o rastreamento da bola. Dificuldades, como a presença de ruído e de oclusão, tanto parcial como total, tiveram de ser contornadas. The location of objects in an image and tracking its movement in a sequence of images is a task of theoretical and practical interest. Applications for recognition and tracking of patterns and objects have been spread lately, especially in the field of control, automation and vigilance. This dissertation presents an effective method to automatically locate and track objects in videos. Thereto, we used the case of tracking the ball in sports videos, specifically the game of football. The algorithm first locates the ball using segmentation, elimination and the weighting of candidates, followed by a Viterbi algorithm, which decides which of these candidates is actually the ball. Once found, the ball is tracked using the Particle Filter aided by the method of similarity of histograms. It is not necessary to initialize the ball or any human intervention during the algorithm. Next, a comparison of the Kalman Filter to Particle Filter in the scope of tracking the ball in soccer videos is made. And in addition, a comparison is made between the functions of similarity to be used in the Particle Filter for tracking the ball. Difficulties, such as the presence of noise and occlusion, in part or in total, had to be circumvented.

O rastreamento de objetos em vídeos representa um importante problema na área de processamento de imagens, quer seja pelo grande número de aplicações envolvidas, ou pelo grau de complexidade que pode ser apresentado. Como exemplo de aplicações, podemos citar sua utilização em áreas como robótica móvel, interface homem-máquina, medicina, automação de processo industriais até aplicações mais tracionais como vigilância e monitoramento de trafego. O aumento na complexidade do rastreamento se deve principalmente a interação do objeto rastreado com outros elementos da cena do vídeo, especialmente nos casos de oclusões parciais ou totais. Quando uma oclusão ocorre a informação sobre a localização do objeto durante o rastreamento é perdida parcial ou totalmente. Métodos de filtragem estocástica, utilizados para o rastreamento de objetos, como os Filtros de Partículas não apresentam resultados satisfatórios na presença de oclusões totais, onde temos uma descontinuidade na trajetória do objeto. Portanto torna-se necessário o desenvolvimento de métodos específicos para tratar o problema de oclusão total. Nesse trabalho, nós desenvolvemos uma abordagem para tratar o problema de oclusão total no rastreamento de objetos utilizando Filtro de Partículas baseados em Monte Carlo via Cadeia de Markov (MCCM) com função geradora de partículas adaptativa. Durante o rastreamento do objeto, em situações onde não há oclusões, nós utilizamos uma função de probabilidade geradora simétrica. Entretanto, quando uma oclusão total, ou seja, uma descontinuidade na trajetória é detectada, a função geradora torna-se assimétrica, criando um termo de “inércia” ou “arraste” na direção do deslocamento do objeto. Ao sair da oclusão, o objeto é novamente encontrado e a função geradora volta a ser simétrica novamente. The object tracking on video is an important task in image processing area either for the great number of involved applications, or for the degree of complexity that can be presented. How example of application, we can cite its use from robotic area, machine-man interface, medicine, automation of industry process to vigilance and traffic control applications. The increase of complexity of tracking is occasioned principally by interaction of tracking object with other objects on video, specially when total or partial occlusions occurs. When a occlusion occur the information about the localization of tracking object is lost partially or totally. Stochastic filtering methods, like Particle Filter do not have satisfactory results in the presence of total occlusions. Total occlusion can be understood like discontinuity in the object trajectory. Therefore is necessary to develop specific method to handle the total occlusion task. In this work, we develop an approach to handle the total occlusion task using MCMC-Particle Filter with adaptive sampling probability function. When there is not occlusions we use a symmetric probability function to sample the particles. However, when there is a total occlusion, a discontinuity in the trajectory is detected, and the probability sampling function becomes asymmetric. This break of symmetry creates a “drift” or “inertial” term in object shift direction. When the tracking object becomes visible (after the occlusion) it is found again and the sampling function come back to be symmetric.

Made available in DSpace on 2015-03-05T13:56:58Z (GMT). No. of bitstreams: 0 Previous issue date: 20 Hewlett-Packard Brasil Ltda Este trabalho apresenta um modelo para extrair informações do mundo real, capturadas com a utilização de técnicas de visão computacional, no que tange acompanhamento de indivíduos, com o fim de simular e validar comportamentos de multidões de humanos virtuais. Uma grande dificuldade ao se tentar reproduzir de forma realista (por meio de simulação) o comportamento de uma multidão em um determinado espaço é informar para o modelo de simulação todos os atributos necessários para descrever o movimento das pessoas virtuais. Além das características individuais e coletivas das pessoas poderem produzir uma grande variedade de comportamentos, tornando sua modelagem complexa, o espaço também contém restrições que podem interferir no comportamento das pessoas. Neste trabalho é proposto um modelo onde pessoas do mundo real têm suas trajetórias capturadas de forma automática. Numa etapa de pós-processamento, as trajetórias capturadas são utilizadas para gerar campos de vetores velocidade que serão utilizados para aux This study presents a model to extract information from the real world using computer vision techniques. In particular, we use tracking algorithms to extract the trajectories of filmed people, aiming to simulate and validate the behavior of virtual human crowds.A great challenge when trying to reproduce in a realistic manner (by means of simulation) the behavior of a crowd in a determined space is to inform to the simulation model all necessary attributes to describe the movement of virtual people. Individual and general features of people can produce a great variety of behaviors, making its modeling complex. Furthermore, the space also contains restrictions that can interfere on people behavior. In this study it is proposed a model in which people from the real world have their trajectories captured in an automatic manner. In a post-processing step, captured trajectories are used to generate velocity fields that will be used to help in the calculation of virtual human movement, providing more realistic s

Dissertação de mestrado em Informática., A detecção e seguimento de objectos tem uma grande variedade de aplicações em visão por computador. Embora tenha sido alvo de anos de investigação, continua a ser um tópico em aberto. Continua a ser ainda hoje um grande desafio a obtenção de uma abordagem que inclua simultaneamente flexibilidade e precisão, principalmente quando se trata de ambiente aberto. O objectivo desta dissertação é o desenvolvimento de uma metodologia que permita a localização de objectos genéricos e uma outra de localização de objectos conhecidos (sinais de trânsito), em sequências de imagens em ambiente aberto, sendo, nesta última, efectuado também o seu reconhecimento. No caso da primeira metodologia o objectivo proposto é concretizado com a indicação do objecto de interesse, através da sua selecção, numa primeira imagem, sendo o seu seguimento efectuado, numa primeira fase, recorrendo a uma aproximação grosseira à posição do objecto, utilizando informação de cor (característica interna), seguida de uma aproximação refinada, utilizando informação de forma (característica externa). No caso da segunda metodologia, a localização (detecção e seguimento) do objecto é realizada com base na informação de cor, através da segmentação de cor (azul e vermelha) no espaço cor HSI, e na forma, através das assinaturas de contorno. Finalmente é utilizada uma base de dados constituída pelas imagens dos objectos que se pretende reconhecer para identificar o objecto. Para determinar a viabilidade das metodologias propostas, foram efectuados vários testes dos quais se obtiveram, para a metodologia de localização de um objecto genérico, resultados aceitáveis, tendo em conta, por um lado, a não utilização de informação específica sobre o objecto, e por outro lado a complexidade contida nas sequências de imagens testadas, obtidas de ambiente aberto. A segunda metodologia, que corresponde à localização automática de objectos, obteve bons resultados, apesar dos testes terem sido direccionados para a sinalização rodoviária e restringida à localização de quatro formas e duas cores em concreto. A metodologia foi submetida, tal como no caso anterior, a cenas em ambiente aberto, mais concretamente 172 imagens, das quais se observaram 238 sinais de trânsito em condições de serem localizados, e dos quais resultaram 90,3% detectados correctamente por cor e forma e destes 82,8% foram reconhecidos correctamente, apesar do algoritmo utilizado nesta fase de reconhecimento ter sido aplicado apenas como abordagem inicial. Os resultados obtidos das metodologias desenvolvidas são encorajadores e um forte incentivo para continuar a apostar no seu melhoramento., Object detection and tracking has a wide range of applications in computer vision. Although it as been studied for many years, it remains an open research problem. A flexible and accurate approach is still a great challenge today, specially in outdoor environments. The objective of this thesis is the development of a methodology able to track generic objects and another able to localize known objects (traffic signs) and their recognition, in outdoor environment image sequences. The proposed objective concerning the first methodology is achieved by selecting the object of interest in a first frame, and the tracking performed, in a first step, by a coarse approach to the object position, using color information (internal feature), followed by a refined approach, using shape information (external feature). In the second methodology, the object localization (detection and tracking) is based on color information, through color segmentation (blue and red) in HSI color space, and shape, through contour signatures. Object identification is performed using a database filled with the objects images to recognize. Several tests were performed to determine the proposed methodologies effectiveness, obtaining acceptable results in the generic object localization methodology, taking into account, on one hand, the non utilization of any specific information about the object, and the other hand, the tested outdoor environment image sequences complexity. The second methodology, corresponding to the automatic object localization, obtained good results, although the tests were directed to traffic signs and restricted to four shapes and two colors. The methodology was submitted, as in the previous case, to outdoor environment scenes, more specifically 172 images, from which 238 localizable traffic signs were spotted. In this test 90.3% color and shape were correctly detected and from these 82.8% were correctly recognized, although the algorithm used in this recognition phase is only an initial approach. The developed methodologies results are encouraging and a strong incentive for future improvements.