Search

El acceso a nuestros datos personales desde el teléfono móvil se ha convertido en una acción casi diaria. Para obtener acceso de manera segura a nuestras redes sociales, datos bancarios, etc. es habitual el uso de contraseñas, patrones de desbloqueo, así como sistemas de reconocimiento biométrico. Uno de los sistemas que destacan por la familiarización de los usuarios con la cámara de los dispositivos, son los basados en reconocimiento facial. Sin embargo, dados los recursos multimedia disponibles en internet (e.g fotografías en facebook, videos en youtube, etc), es sencillo obtener material audiovisual del usuario a suplantar, que permita la creación de instrumentos para perpetrar los ataques de presentacion (PAI, Presentation Attack Instrument). Para combatir estos ataques, existen numerosos sistemas de detección de ataques (PAD, Presentation Attack Detection). Estos sistemas, se pueden clasificar en dos bloques: los basados en colaboración del usuario, y los métodos automáticos. Los métodos colaborativos implican estrategias de respuesta a un desafío (e.g asentir con la cabeza, ladear el rostro, sonreír, etc…). Por otra parte, los método automáticos van desde los basados en secuencias de vídeo (flujo óptico, detección de movimientos involuntarios, etc..) a los basados en el análisis de textura de las imágenes. El reto de estos sistemas está en poder funcionar en entornos reales, donde las condiciones son mucho menos controladas y donde los ataques no están acotados como en las bases de datos públicas disponibles para la comunidad investigadora. Los principales problemas que presentan los métodos actuales residen en la dificultad de generalización y la consecuente pérdida de prestaciones ante accesos con unas condiciones diferentes a las de entrenamiento. En la actualidad no se dispone de ningún dataset para evaluación justa de los métodos estado del arte, basados en la colaboración del usuario. Por el contrario, para los métodos automáticos, existen numerosas bases de datos capturadas en el entorno móvil, utilizando diferentes dispositivos, iluminaciones, sujeción del dispositivo móvil ( sujetados por el usuarios, en un atril), así como diferentes calidades de materiales y pantallas para generar los ataques. Muchas de los métodos publicados comparan diferentes aproximaciones y métodos, sin tener estos parámetros en cuenta, por lo que la comparación deja de ser justa, pudiendo determinar que un método funciona mejor que otro, cuando el agravio comparativo es evidente. Las limitaciones actuales de los PAD, tanto a nivel algorítmico, como a nivel de análisis de prestaciones, suponen una motivación para nuestra tesis. Los objetivos planteados en el proyecto, van desde la implementación de sistemas PAD que permitan la generalización en entornos reales, hasta el estudio de la fusión con diferentes fuentes de información, cómo pueden ser diferentes modalidades biométricas, que unidos a las capacidades actuales de los dispositivos pueden proporcionar un factor de riesgo asociado a la operación protegida por el sistema de reconocimiento facial. Para tal fin se consideran como recurso metodológico la medición de las prestaciones a partir de la creación de un framework de evaluación justa de sistemas PAD. Para ello se tomarán como referencia las unidades de media presentes en el estándar ISO/IEC 30107-3, así como las recomendaciones de la ISO 29197 (Evaluation methodology for environmental influence in biometric system performance). O acceso a os nosos datos persoais dende o telefono móbil estase a converter en unha acción case diaria.. Para obter acceso de maneira segura as nosas redes sociais, datos bancarios, etc, é habitual o uso de contrasinais, patróns de desbloqueo, así como sistemas de recoñecemento biométrico. Un dos sistemas que destacan pola familiarización dos usuarios coa cámara do dispositivo, son os baseados no recoñecemento facial. Con todo, e dado os recursos multimedia dispoñibles no internet (e.g fotografías en facebook, vídeos en youtube, etc.), e sinxelo obter material audiovisual do usuario a suplantar, permitindo a creación de instrumentos para perpetrar os ataques de presentación (PAI, Presentation Attack Instrument). Para combater estes ataques, hoxe en día existen numerosos sistemas de detección de ataques por presentación (PAD, Presentation Attack Detection). Estes sistemas poden clasificarse en dous bloques: os baseados en colaboración co usuario, e os métodos automáticos. Os métodos colaborativos implica estratexias de resposta a un desafío (e.g asentir coa cabeza, ladear o rostro, sorrir, etc.). Por outra parte, os métodos automáticos van dende os baseados en secuencias de vídeo (fluxo óptico, detección de movementos involuntarios, etc.) a os baseados en análises de textura das imaxes. O reto de estes sistemas, esta en poder funcionar en entornos reais, onde as condicións son moito menos controladas que nas bases de datos públicas dispoñibles para a comunidade investigadora. Os principais problemas que presentan os métodos actuais residen la dificultade de xeneralización e a consecuente perdida de prestacións ante acesos con condicións diferentes as de adestramento. Na actualidade non hai ningún dataset dispoñible que permita a avaliación razoable dos métodos do estado do arte, baseados na colaboración co usuario. Polo contrario, para os métodos automáticos, existen numerosas bases de datos capturadas no entorno móbil, utilizando diferentes dispositivos, iluminacións, suxeición do dispositivo móbil (suxeitos polos usuarios, por un atril), así como diferentes calidades dos material e pantallas para xerar os ataques. Moitos de os métodos publicados comparan diferentes aproximacións e métodos, sen ter estes parámetros en conta, polo que a comparación deixa de ser xusta, pudendo determinar que un método funciona mellor que outro, cando o agravio comparativo é evidente. As limitacións actuais dos PAD, tanto a nivel algorítmico, como a nivel de anélese de prestacións, supoñen unha motivación para a nosa tese. Os obxectivos plantados no proxecto, van dende a implementación de sistemas PAD que permitan a xeneralización en entronos reais, ata o estudio de a fusión con diferentes fontes de información, como poden ser diferentes modalidades biométricas, que unidos as capacidades actuais dos dispositivos poden proporcionar un factor de risco asociado a operación protexida polo recoñecemento facial. Para tal fin considéranse como recurso metodolóxico a medición das prestacións a partires da creación de un framework de avaliación xusto dos sistemas PAD. Para isto, tomaranse como referencia as unidades de medida presentes no estándar ISO/IEC 30107-3, así como as recomendacións da ISO 29197 (Evaluation methodology for environmental influence in biometric system performance). Access to personal data using our smartphones has become a part of normal everyday life. Is quite common to use passwords, unlock patterns, as well as biometric recognition systems for accessing securely to our social networks, bank apps, etc. Facial recognition is one of the most widespread biometric features on nowadays applications. However, given a huge multimedia resources available the internet (e.g Facebook pictures, youtube videos, etc.), is easy to obtain audiovisual material in order to manufacture presentation attack instruments (PAI) with low-cost equipment. Nowadays there are a large number of presentation attack detection (PAD) systems. This anti-spoofing systems can be classified as in two blocks: ones based on user collaboration, and automatic methods. Collaborative methods implies challenge-response strategies (eye blinking, smiling, looking in different directions. On the other hand, some of the automatic methods are based on exploiting motion features of the scene. Some others are based on texture features. The challenge of these systems is to work on real scenarios, where the condition are not controlled and the attack is not enclosed as in publicly available databases. One of the main problems of current systems lies in the difficulty of generalizing, losing performance when the system faces images with different conditions than trained ones. For collaborative based methods do not exist an available datasets for comparing systems. Conversely, for automatic methods, there are a large number of databases which videos captured with smartphones and tablets. However, current state-of-art system could generalize correctly when those are trained on one database and evaluated on another. The disparity between database scenarios and conditions (type of capture sensor, illumination, devices are held or not, user movement, different materials and screens for creating the attack). Most of published methods compare different approaches and methods, without taking into account these parameters. so that comparison is not fair. Current PAD limitations, both in algorithmic terms and on performance analysis, are a motivation for our thesis. The goals of the project range from the implementation of PAD systems that allow the generalization in real environments, to the study of fusion based system (alternative biometric modalities, location, etc.) , which uses several sources of information, in order to give a risk factor in regards to access control. Finally, it will be considered as a methodological resource, the measurement of performance based on the creation of a fair evaluation framework for PAD systems. For this purpose, measurement recommendations on ISO / IEC 30107-3 standard, as well as ISO 29197 (Evaluation methodology for environmental influence in biometric system performance) will be taken as reference.

Developing robust and universal methods for unsupervised segmentation of moving objects in video sequences has proved to be a hard and challenging task. State-of-the-art methods show good performance in a wide range of situations but none has been able to fully deal with complex and challenging scenarios that include poor lighting conditions, sudden illumination changes, shadows and parasitic background motion. There are several approaches for segmenting foreground from background. Recent research has shown that methods appear to be complementary in nature, with the best-performing methods being beaten by combining several of them. In this PhD work we want to further explore some of the most efficient and widely used approaches (such as GMM), alone or in combination with new techniques, to propose more robust algorithms. The experiments for this research will be conducted on the complete set of videos provided in the CDnet 2014 Dataset, consisting of 53 videos depicting indoor and outdoor scenes captured in different scenarios and with different cameras, containing a wide range of different challenges. Testing and evaluation will be performed using the ground truth segmentation provided along with the videos. This approach aims at producing repeatable experiments that may contribute to the consistent development of the state-of-the-art in this domain. El desarrollo de métodos robustos y universales para la segmentación no supervisado de objetos en movimiento en secuencias de vídeo ha demostrado ser una tarea difícil y desafiante. El estado actual de la técnica en estos métodos muestra un buen rendimiento en una amplia gama de situaciones, pero ninguno ha sido capaz de hacer frente plenamente con escenarios complejos y desafiantes que incluyen malas condiciones de iluminación, cambios bruscos de iluminación, sombras y movimiento aparente por ruido de fondo. Existen varios enfoques para la segmentación de primer plano respecto al fondo. Investigaciones recientes han demostrado que los métodos parecen ser de naturaleza complementaria, siendo los métodos de mejor desempeño superados por la combinación de varios de ellos. En este trabajo de doctorado queremos explorar más a fondo algunos de los enfoques más eficientes y ampliamente utilizados (como GMM), solo o en combinación con las nuevas técnicas, y proponer algoritmos más robustos. Los experimentos de esta investigación se llevarán a cabo en el conjunto completo de vídeos puestos a disposición pública bajo el nombre CDNet 2014, que consta de 53 vídeos con escenas interiores y exteriores capturados en diferentes escenarios y con diferentes cámaras, que contiene una amplia gama de desafíos diferentes. Las pruebas y la evaluación se realizarán mediante la segmentación “ground truth” suministrada junto con los videos. Este enfoque tiene como objetivo la producción de experimentos repetibles que pueden contribuir al desarrollo coherente del estado de la técnica en este campo. O desenvolvemento de métodos robustos e universais á segmentación non supervisada de obxectos en movemento en secuencias de vídeo demostrou ser unha tarefa difícil e un reto. Los métodos estado-da-arte mostran bo rendemento nunha ampla gama de situacións, pero ningún foi capaz de xestionar plenamente os escenarios complexos e desafiantes que inclúen malas condicións de iluminación, cambios bruscos de iluminación, sombras e movemento aparecnte por ruido de fondo. Existen varias propostas para a segmentación do primeiro plano respecto ao fondo. Investigacións recentes mostran que os métodos parecen ser de natureza complementaria, csendo os métodos de mellor rendemento aillados superados pola combinación de varios deles. Neste traballo de doutoramento queremos explorar algunhas das propostas máis eficientes e amplamente utilizadas (como GMM), só ou en combinación coas novas técnicas, e propoñer algoritmos máis robustos. Os experimentos para esta investigación serán contrastados no conxunto completo de vídeos postos a disposición pública co nome CDnet 2014, composta por 53 vídeos con escenas interiores e exteriores capturados en diferentes escenarios e con diferentes cámaras, que contén unha gran variedade de diferentes retos. O exame e avaliación realizarase mediante a segmentación “ground truth” proporcionada xunto cos vídeos. Esta visión ten como obxectivo producir experimentos repetíveis que poden contribuír ao desenvolvemento coherente do estado-da-arte neste ámbito.

We will study the bases of visual perception associated to temporal factors, specifically stimulus duration and interstimulus intervals. We will use psychophysical and electrophysiological techniques to determine the effect of stimulus duration in the subjective perception of brightness and contrast, and also the neuronal basis of the phenomenon known as flicker fusion, in which a series of images presented in quick sequence are perceived as a single presentation. We will also study, using neuroimaging techniques, the brain blood flow changes evoked by this neuronal activity. Since epilepsy patients have their quality of life significantly impacted by temporal factors of visual stimulation, we will also study how blood flow alterations contribute to neural cell death in epilepsy. En este proyecto estudiaremos las bases de la percepción visual ligada a factores temporales, específicamente la duración del estímulo y el intervalo entre estímulos. Usando técnicas psicofísicas y electrofisiológicas, determinaremos el efecto de la duración de un estímulo en la percepción subjetivo de la luminosidad, y las bases neuronales del fenómeno conocido como fusión del parpadeo, en el que sucesivos estímulos presentados en rápida secuencia se perciben como una única presentación. También estudiaremos, empleando técnicas de neuroimagen, como la actividad neuronal generada puede provocar cambios en el flujo sanguíneo cerebral, y como estas alteraciones vasculares contribuyen a la muerte celular en epilepsia, una enfermedad en la que la calidad de vida de los pacientes se ve significativamente afectada por los factores temporales de la estimulación visual. Neste proxecto estudaremo-las bases da percepción visual ligada a factores temporais, específicamente a duración dos estímulo e o intervalo entre diferentes repeticións deste. Usando técnicas psicofísicas e electrofixiolóxicas, determinaremo-lo efecto da duración dun estímulo na percepción subxectiva da luminosidade e as bases neuronais do fenómeno conocido como fusión do parpadeo, no que sucesivos estímulos presentados en rápida sucesión son perceibidos coma unha única presentación. Tamén estudaremos, empregando técnicas de neuroimaxe, como a actividade neuronal xerada pode provocar cambios no fluxo sanguíneo cerebral, e como estas alteracións vasculares contribúen á morte celular en epilepsia, una enfermedade na que a calidade de vida dos pacientes vése significativamente afectada polos factores temporales da estimulación visual.

No campo do procesado facial, o modelado facial recibiu unha especial atención nos últimos anos debido á popularización dalgúns algoritmos estatísticos de modelado facial, como por exemplo Active Shape Models e Active Appearance Models en 2D e 3 D Morphable Models. Os algoritmos estatísticos de modelado facial constan de dúas etapas, etapa de análise e etapa de síntese. Na etapa de análise, créase un modelo mediante a extracción das "principais" variacións dun conxunto de imaxes de exemplo. Na fase de síntese, tratamos de rexistrar unha nova imaxe no modelo. Este proceso de rexistro permítenos recuperar información descoñecida da imaxe. Por exemplo, se o modelo coñece como a localización de puntos significativos (comisuras da boca, pupilas...) varia nas imaxes de adestramento, o proceso de rexistro permitiranos recuperar a posición destes puntos significativos na nova imaxe. Tamén, o modo de seleccionar as "principais" variacións pódenos axudar a caracterizar unha nova imaxe. Por exemplo, se coñecemos como o modelo representa as variacións de pose, tales como rotacións en profundidade, o ángulo de rotación dunha nova imaxe pódese calcular coñecendo a representación da cara no modelo. Nesta tese, imos centrarnos no estudo de modelos estatísticos en 2D. Trataremos de mellorar a robustez destes algoritmos frente a cambios en pose e expresión. En el campo del procesado facial, el modelado facial ha recibido una especial atención en los últimos años debido a la popularización de algunos algoritmos estadísticos de modelado facial, como por ejemplo Active Shape Models y Active Appearance Models en 2D y 3D Morphable Models. Los algoritmos estadísticos de modelado facial constan de dos etapas, etapa de análisis y etapa de síntesis. En la etapa de análisis, se crea un modelo mediante la extracción de las "principales" variaciones de un conjunto de imágenes de ejemplo. En la fase de síntesis, tratamos de registrar una nueva imagen en el modelo. Este proceso de registro nos permite recuperar información desconocida de la imagen. Por ejemplo, si el modelo conoce como la localización de puntos significativos (comisuras de la boca, pupilas,...) varia en las imágenes de entrenamiento, el proceso de registro nos permitirá recuperar la posición de estos puntos significativos en la nueva imagen. También, el modo de seleccionar las "principales" variaciones nos puede ayudar a caracterizar una nueva imagen. Por ejemplo, si conocemos como el modelo representa las variaciones de pose, tales como rotaciones en profundidad, el ángulo de rotación de una nueva imagen se puede calcular conociendo la representación de la cara en el modelo. En esta tesis, vamos a centrarnos en el estudio de modelos estadísticos en 2D. Trataremos de mejorar la robustez de estos algoritmos frente a cambios en pose y expresión. Un algoritmo de modelado facial robusto a pose y expresión nos ayudará a mejorar el funcionamiento de sistemas de reconocimiento facial y detección de expresiones. In the field of face processing, face modelling has recently received significant attention due to the popularization of 2D statistical models like Active Shape Models, Active Appearance Models,... and 3D statistical models like 3D Morphable Moldels. Face modelling algorithms consist of two stages analysis and synthesis. On the analysis stage, the model is created by extracting the main variations of a collection of example images. On the synthesis stage, new images are registered to the model. This registration process let us recover unknown information of the new image. For instance, if the model knows how the location of the relevant features (mouth corners, pupils centres,...) varies in the example images, the exact location of this features on the new image, can be recovered by registering the new image to the model. Also, the way of selecting the model main variations can help us to characterize the new image. For instance, if we know how the model represents pose variations like yaw rotation, the rotation angle of the new image can be learnt by knowing the representation of the face in the model. In this thesis, we are going to focus on the study 2D statistical models. We will try to increase the robustness of these models against changes in pose and expression. A face modelling algorithm robust to pose and expression will improve the performance of facial recognition and expression understanding systems.

Boosting algorithms have been widely used to tackle a plethora of problems. Among them, cost-sensitive classification stands out as one of the scenarios in which Boosting is most frequently applied in practice. In the last few years, a lot of approaches have been proposed in the literature to provide standard AdaBoost with asymmetric capabilities, each with a different focus. However, for the researcher, these algorithms shape a confusing heap with diffuse differences and properties, lacking a unified framework to jointly compare, classify, analyze and discuss the approaches on a common basis. Motivated by the preeminent role of AdaBoost in the Viola-Jones framework for object detection in images, a markedly asymmetric learning problem, in this thesis we try to untangle the different Cost-Sensitive AdaBoost alternatives presented in the literature, demystifying some preconceptions and making novel proposals (Cost- Generalized AdaBoost and AdaBoostDB) with a full theoretical derivation. We try to classify, analyze, compare and discuss this family of algorithms in order to build a general framework unifying them. Our final goal is, thus, being able to find a definitive scheme to translate any cost-sensitive learning problem to the AdaBoost framework while shedding light on which algorithm ensures the best performance and formal guarantees.