Search

In the current worldwide situation, pedestrian detection has reemerged as a pivotal tool for intelligent video-based systems aiming to solve tasks such as pedestrian tracking, social distancing monitoring or pedestrian mass counting. Pedestrian detection methods, even the top performing ones, are highly sensitive to occlusions among pedestrians, which dramatically degrades their performance in crowded scenarios. The generalization of multi-camera setups permits to better confront occlusions by combining information from different viewpoints. In this paper, we present a multi-camera approach to globally combine pedestrian detections leveraging automatically extracted scene context. Contrarily to the majority of the methods of the state-of-the-art, the proposed approach is scene-agnostic, not requiring a tailored adaptation to the target scenario–e.g., via fine-tuning. This noteworthy attribute does not require ad hoc training with labeled data, expediting the deployment of the proposed method in real-world situations. Context information, obtained via semantic segmentation, is used (1) to automatically generate a common area of interest for the scene and all the cameras, avoiding the usual need of manually defining it, and (2) to obtain detections for each camera by solving a global optimization problem that maximizes coherence of detections both in each 2D image and in the 3D scene. This process yields tightly fitted bounding boxes that circumvent occlusions or miss detections. The experimental results on five publicly available datasets show that the proposed approach outperforms state-of-the-art multi-camera pedestrian detectors, even some specifically trained on the target scenario, signifying the versatility and robustness of the proposed method without requiring ad hoc annotations nor human-guided configuration, This study has been partially supported by the Spanish Government through its TEC2017- 88169-R MobiNetVideo project

Este proyecto describe un sistema para realizar detección de personas y segmentación semántica en un escenario multicámara. La fusión de estas dos disciplinas tendrá como resultado detecciones de personas contextualmente filtradas. Se ha usado un entorno multicámara para reproyectar detecciones de una cámara a otra. Como ejemplo de uso, datos estadísticos de áreas semánticas concretas en la escena han sido igualmente extraídos. Para lograr una interacción completa con el usuario se ha diseñado una Interfaz de Usuario Gráfica a partir de una aplicación multihilo qué permitirá al usuario definir el entorno de detección de personas, así como mostrar resultados en tiempo real de ejecución. Para poder llevar a cabo estos objetivos un estudio del estado del arte ha sido realizado. Se han analizado los diferentes detectores de personas, haciendo énfasis en aquellos que utilizan propuestas de objetos. Además, se han estudiado nuevos métodos en el entorno de la detección de personas tales como las redes neuronales. Se ha revisado el estado del arte actual sobre la extracción de información contextual, y en concreto, en el uso de la segmentación semántica. Finalmente, las ventajas y desventajas de los escenarios con configuración multicámara se han descrito. Para lograr los objetivos mencionados, se ha propuesto un nuevo sistema que realiza detección de personas bajo diferentes condiciones de filtrado. Se han integrado en el sistema detectores como HOG, DPM, ACF, Fast-RCNN o PSP-Net y además se ha realizado segmentación semántica. Ambas fuentes de información han sido combinadas en un entorno común representado mediante un plano cenital de la escena. Finalmente, el rendimiento del sistema ha sido probado en un data-set generado y manualmente anotado para generar gráficas de rendimiento y estadísticos de uso., This project describes a system to perform pedestrian detection and semantic segmentation in a multi-camera recorded scenario. The fusion of both disciplines leads to contextually filtered pedestrian detection. The multi camera system is used to reproject detections from one camera to the others. As an use example, statistical data usage of specific semantic areas in the scene is also extracted. For user interaction a Graphical User Interface (GUI) based on a multithread application has been designed. The GUI allows the user to define the method setup as well as display results in execution time. In order to carry these tasks out a study of the state of the art has been done. Pedestrian detection approaches are reviewed emphasizing in those that rely on object proposals. Also, recent trends in the task of Pedestrian Detection are analyzed. In addition, current state of the art in the extraction of contextual information and −specifically− on the use of, semantic segmentation is studied. Finally, multi-camera scenarios are also described. A new system has been proposed in order to achieve the objectives and perform pedestrian detections under different filtering and fusion conditions. Detectors such as HOG, DPM, ACF, Fast-RCNN or PSP-Net have been integrated and a complete semantic segmentation has been performed. Both information has been combined in a common developed frame. Finally, system performance has been tested in a generated dataset with manually annotated ground truth.

Este proyecto desarrollado tiene como objetivos principales tanto el diseño y captura de una base de datos de imágenes como el diseño de un sistema capaz de entrenar un modelo y clasificar imágenes previamente capturadas. La finalidad de este proceso es conseguir desarrollar un prototipo que realice una aproximación a la identificación automática de materiales mediante el sensor Kinect. Para lograr estos objetivos se ha realizado un estudio previo de las diferentes versiones actuales de Kinect, de los diferentes métodos de caracterización de materiales como aproximaciones a la función Bidirectional Reflectance Distribution Function (BRDF) entre los que destacan las aproximaciones en dos dimensiones como Histogram of Oriented Gradients (HoG), así como los distintos métodos de generación de modelos de conocimiento como las Support Vector Machines (SVM). Adicionalmente se han estudiado las bases de datos de materiales actualmente disponibles. Se ha grabado una base de datos mediante Kinect capturando una selección de materiales desde diferentes ángulos de captura e incidencia de iluminaciones. Para añadir información adicional la base de datos contará ademas de con imágenes en color, con imágenes de infrarrojos y de profundidad. Cada imagen de material lleva un parche asociado cuya finalidad será aislar el material del entorno de grabación para su posterior análisis. Una vez capturada la base de datos se ha diseñado un sistema que extrae las características de los parches previamente definidos mediante los descriptores GDF-HOG y EigHess-HOG. Estos descriptores son extensiones de HoG invariantes a rotaciones. Mediante el uso de SVM se han generado modelos de conocimiento que nos permiten predecir y clasificar muestras de entrada de evaluación del sistema. Por último se ha evaluado la bondad del sistema desarrollado obteniendo buenos resultados en situaciones controladas y consiguiendo, en imágenes de situaciones reales, resultados prometedores., The following project has as main objetives to design and capture an image database and a system capable to train a model and classify a set of previously captured images. The aim of this process is to develop a prototype that performs an aproximation to automatic material recognition through the Kinect sensor. In order to achive these objetives several stages need to be first fulfilled. A study about recent versions of the Kinect sensor is first required. Then, existing methods for material characterization should be reviewed. These can be understood as versions of Bidirectional Reflectance Distribution Function (BRDF). In particular Histogram of Oriented Gradients (HoG) can be seen as a two-dimensional aproximation to BRDF. The generation of knwoledge models via Support Vector Machines (SVM) is also analysed. Finally datasets currently available for research have been also listed. A new dataset has been recorded using Microsoft Kinect capturing material selection from diferent capture and ilumination incidence angles. In order to include aditional information to colour images, depth and infrared images would be also included in the dataset. Each material image has an associated patch which aim is to isolate the material from its background. Once the dataset has been recorded a system using GDF-HOG and EigHess- HOG descriptors in order to extract patch characterization has been design. These descriptors are rotation invariant HoG extensions. Through SVM knowledge models have been generated. These models allow to predict and clasify untrained input instances. Finally system performance has been evaluated achieving good results in supervised situations and promising results in real scenes.