Search

El sistema visual humà és capaç de reconéixe l'objecte que hi ha en una imatge encara que l'objecte estigui parcialment oclòs, des de diferents punts de vista, en diferents colors i amb independència de la distància a la que es troba l'objecte de la càmera. Per poder realitzar això, l'ull obté l'imatge i extreu unes caracterítiques que són enviades al cervell i és allà on es classifica l'objecte per poder identificar-lo. En el reconeixement d'objectes, la visió per computador intenta imitar el sistema humà. Així, s'utilitza un algoritme per detectar característiques representatives de l'escena (detector), un altre algoritme per descriure les característiques extretes (descriptor) i finalment la informació es enviada a un tercer algoritme per fer la classificació (aprenentatge). Escollir aquests algoritmes és molt complicat i tant mateix una àrea d'investigació molt activa. En aquesta tesis ens hem enfocat en la selecció/aprenentatge del millor descriptor per a cada imatge. A l'actualitat hi ha molts descriptors a l'estat de l'art però no sabem quin es el millor, ja que no depèn sols d'ell mateix sinó també depen de les característiques de les imatges (base de dades) i dels algoritmes de classificació. Nosaltres proposem un marc de treball basat en l'aprenentatge per reforç i la bossa de característiques per poder escollir el millor descriptor per a cada imatge. El sistema permet analitzar el comportament de diferents classiicadors i conjunts de descriptors. A més el sistema que proposem per a la millora del reconeixement/classificació pot ser utilizat en altres àmbits de la visió per computador, com per exemple el video retrieval, The human visual system is able to recognize the object in an image even if the object is partially occluded, from various points of view, in different colors, or with independence of the distance to the object. To do this, the eye obtains an image and extracts features that are sent to the brain, and then, in the brain the object is recognized. In computer vision, the object recognition branch tries to learns from the human visual system behaviour to achieve its goal. Hence, an algorithm is used to identify representative features of the scene (detection), then another algorithm is used to describe these points (descriptor) and finally the extracted information is used for classifying the object in the scene. The selection of this set of algorithms is a very complicated task and thus, a very active research field. In this thesis we are focused on the selection/learning of the best descriptor for a given image. In the state of the art there are several descriptors but we do not know how to choose the best descriptor because depends on scenes that we will use (dataset) and the algorithm chosen to do the classification. We propose a framework based on reinforcement learning and bag of features to choose the best descriptor according to the given image. The system can analyse the behaviour of different learning algorithms and descriptor sets. Further- more the proposed framework for improving the classification/recognition ratio can be used with minor changes in other computer vision fields, such as video retrieval.

El moviment és un atribut perceptiu del cervell humà molt important. La percepció visual que fa el cervell del moviment és el procés d’inferir la velocitat i direcció dels elements d’un escenari mitjançant entrades visuals. Anàlogament, la visió per computador s’assisteix mitjançant informació del moviment de l’escena. En visió per computador, la detecció de moviment és útil per a resoldre problemes com per exemple segmentació, estimació de la profunditat, estimació de l’estructura a partir del moviment, compressió de dades o navegació entre d’altres. Aquests problemes són comuns a diferents aplicacions, com ara vídeo vigilància, navegació de robots i sistemes avançats d’assistència a la conducció (Advanced Driver Assistance Systems, ADAS). Una de les tècniques més utilitzades per a detectar moviment, és el càlcul d’optical flow. El treball tractat en aquesta tesi pretén que les formulacions d’optical flow siguin més apropiades als requeriments i condicions dels escenaris de conducció. En aquest context, es proposa una nova representació de l’espai-variant anomenada representació reverse log-polar, i es demostra que, quan s’utilitza per a ADAS, té un rendiment millor que la tradicional representació log-polar. La representació espai-variant redueix la quantitat de dades necessàries que han de ser processades. Una altra contribució important està relacionada amb l’anàlisi de la influència de les característiques específiques d’escenaris de conducció per a la precisió de l’optical flow. S’han considerat característiques tals com la velocitat del vehicle i la textura de la carretera. D’aquest estudi s’infereix que, el pes del terme de regularització s’ha d’adaptar segons una mesura d’error i per a diferents velocitats i textures de la carretera. També es mostra que la representació polar d’optical flow funciona molt millor per a escenaris de conducció on el moviment principal són translacions. Degut als requeriments d’aquest estudi, i per la manca de bases de dades es presenta una nova base de dades sintètica que conté: i) seqüències amb diferents velocitats i textures en un escenari urbà; ii) seqüències amb moviments complexos de la càmera col·locada al vehicle; i iii) seqüències amb altres vehicles en moviment dintre la mateixa escena. L’optical flow corresponent a cada seqüència s’obté mitjançant la tècnica de ray-tracing. A més a més, es presenten algunes aplicacions per a optical flow en escenaris ADAS. Per començar, proposem una tècnica robusta basada en RANSAC per estimar la línia de l’horitzó. Després, presentem una estimació de l’egomotion per a comparar la representació espai-variant proposada amb les representacions clàssiques. Com a contribució final, es proposa una modificació del terme de regularització que millora notablement els resultats per a aplicacions d’ADAS. Aquesta adaptació s’avalua mitjançant tècniques d’optical flow d’última generació. Els experiments realitzats amb una base de dades pública (KITTI) validen els avantatges d’utilitzar la modificació proposada., La percepción del movimiento es uno de los más importantes atributos del cerebro humano. La percepción visual del movimiento consiste en inferir velocidad y dirección de los elementos móviles que interactúan en una escena, mediante la interpretación de diferentes entradas visuales. Análogamente, la visión por computador hace uso de la información del movimiento en la escena. La detección de movimiento en visión por computador es útil para resolver problemas tales como: segmentación, estimación de profundidad, compresión, navegación, entre otros. Estos problemas son comunes en distintas aplicaciones, por ejemplo: video vigilancia, navegación de robots y sistemas avanzados de asistencia a la conducción (ADAS). Una de las técnicas más utilizadas para detectar movimiento es la estimación del flujo óptico. El trabajo abordado en esta tesis busca formulaciones del flujo óptico más adecuadas a las necesidades y condiciones de los escenarios de conducción. En este contexto, se propuso una novedosa representación del espacio, llamada representación inversa log-polar, la cual se demuestra que tiene un desempeño mejor que la tradicional representación logpolar para aplicaciones ADAS. Las representaciones de espacio-variante reducen la cantidad de datos a ser procesados. Otra contribución importante está relacionada con el análisis de la influencia de las características específicas de los escenarios de conducción en la precisión del flujo óptico estimado. Características tales como la velocidad del vehículo y la textura de la carretera son consideradas en el estudio. De este estudio, se infiere que el peso del término de regularización tiene que ser adaptado de acuerdo con la medida de error requerida y para diferentes velocidades y texturas de la carretera. También se concluye que la representación polar del flujo óptico es la más apropiada en escenarios de conducción, donde el movimiento predominante es la translación. Debido a las exigencias de tal estudio, y por falta de las bases de datos necesarias, se presenta un nuevo conjunto de datos sintéticos el cual contiene: i) secuencias de diferentes velocidades y texturas en un escenario urbano; ii) secuencias con movimientos complejos de la cámara dispuesta en el vehículo; y iii) secuencias con otros vehículos en movimiento en la escena. El flujo óptico correspondiente a cada secuencia es obtenido mediante una técnica de ray-tracing. Adicionalmente, se presentan algunas aplicaciones de flujo óptico en ADAS. Primeramente se propone una técnica robusta basada en RANSAC para estimar la línea de horizonte. Seguidamente se presenta una estimación del egomotion para comparar la representación de espacio-variante propuesta con los esquemas clásicos. Como contribución final, se propone una modificación en el término de regularización que mejora notablemente los resultados en las aplicaciones ADAS. Los resultados experimentales en una base de datos pública (KITTI) validan las ventajas de la utilización de la modificación propuesta., Motion perception is one of the most important attributes of the human brain. Visual motion perception consists in inferring speed and direction of elements in a scene based on visual inputs. Analogously, computer vision is assisted by motion cues in the scene. Motion detection in computer vision is useful in solving problems such as segmentation, depth from motion, structure from motion, compression, navigation and many others. These problems are common in several applications, for instance, video surveillance, robot navigation and advanced driver assistance systems (ADAS). One of the most widely used techniques for motion detection is the optical flow estimation. The work in this thesis attempts to make optical flow suitable for the requirements and conditions of driving scenarios. In this context, a novel space-variant representation called reverse log-polar representation is proposed that is shown to be better than the traditional log-polar space-variant representation for ADAS. The space-variant representations reduce the amount of data to be processed. Another major contribution in this research is related to the analysis of the influence of specific characteristics from driving scenarios on the optical flow accuracy. Characteristics such as vehicle speed and road texture are considered in the aforementioned analysis. From this study, it is inferred that the regularization weight has to be adapted according to the required error measure and for different speeds and road textures. It is also shown that polar represented optical flow suits driving scenarios where predominant motion is translation. Due to the requirements of such a study and by the lack of needed datasets a new synthetic dataset is presented; it contains: i) sequences of different speeds and road textures in an urban scenario; ii) sequences with complex motion of an on-board camera; and iii) sequences with additional moving vehicles in the scene. The ground-truth optical flow is generated by the ray-tracing technique. Further, few applications of optical flow in ADAS are shown. Firstly, a robust RANSAC based technique to estimate horizon line is proposed. Then, an egomotion estimation is presented to compare the proposed space-variant representation with the classical one. As a final contribution, a modification in the regularization term is proposed that notably improves the results in the ADAS applications. This adaptation is evaluated using a state of the art optical flow technique. The experiments on a public dataset (KITTI) validate the advantages of using the proposed modification.

Les representacions de forma i registre són dos problemes importants tant en la visió per computador com en els gràfics. La representació d'un núvol de punts a través d'una funció implícita proporciona major nivell d'informació alhora de descriure les dades. Aquesta representació pot ser més compacta, més robusta al soroll i als \textit{outlier}, pel que pot ser explotada diferents aplicacions de visió per computador. La primera part d'aquesta tesi aborda representacions de forma implícites que inclouen tant la representació mitjançant \textit{B-splines} i polinomials. Primer es proposa una aproximació per mesurar la distancia geomètrica entre un núvol de punts i una superfície implícita. L'anàlisi de la distancia proposada mostra una estimació acurada amb un comportament suau. Aquesta distància és usada en un algorisme d'ajustament quadràtic basat en RANSAC. A més a més, atès que la informació de gradient de la distància respecte els paràmetres de la superfície pot ser calculat analíticament, els paràmetres de la superfície poden ser refinats utilitzant l'algorisme de Levenberg-Marquadt. Seguint un enfocament diferent, un algorisme d'ajustament algebraic es pot utilitzar per representar un objecte a través de \textit{B-splines} implícites. El resultat és una superfície suau i flexible que pot ser representada en diferents nivells de detall. Aquesta propietat ha estat explotada per solucionar el problema de registració a la segona part de la tesi. En el mètode de registració proposat, el model és substituït amb la representació implícita proposada en la primera part, i desprès la registració punt a punt és converteix en una registració punt a model en un nivell superior d'abstracció. Aquesta representació es pot beneficiar de diferents distancies per accelerar el proces de registració sense haver de cercar correspondències. Finalment, el problema de registre de models no rígids és abordat mitjançant d'una aproximació de la distància quadràtica que està basada en la informació de la curvatura del conjunt de models. Aquesta aproximació s'utilitza en un model \textit{Free Form Deformation} (FFD) per actualitzar la seva xarxa de control. Després és mostra com una aproximació acurada de la distància pot beneficiar el problema de registració no-rígida., Shape representation and registration are two important problems in computer vision and graphics. Representing the given cloud of points through an implicit function provides a higher level information describing the data. This representation can be more compact more robust to noise and outliers, hence it can be exploited in different computer vision application. In the first part of this thesis implicit shape representations, including both implicit B-spline and polynomial, are tackled. First, an approximation of a geometric distance is proposed to measure the closeness of the given cloud of points and the implicit surface. The analysis of the proposed distance shows an accurate distance with smooth behavior. The distance by itself is used in a RANSAC based quadratic fitting method. Moreover, since the gradient information of the distance with respect to the surface parameter can be analytically computed, it is used in Levenberg-Marquadt algorithm to refine the surface parameters. In a different approach, an algebraic fitting method is used to represent an object through implicit B-splines. The outcome is a smooth flexible surface and can be represented in different level from coarse to fine. This property has been exploited to solve the registration problem in the second part of the thesis. In the proposed registration technique the model set is replaced with an implicit representation provided in the first part; then, the point-to-point registration is converted to a point-to-model one in a higher level. This registration error can benefit from different distance estimations to speed up the registration process even without need of correspondence search. Finally, the non-rigid registration problem is tackled through a quadratic distance approximation that is based on the curvature information of the model set. This approximation is used in a free form deformation model to update its control lattice. Then it is shown how an accurate distance approximation can benefit non-rigid registration problem.

Recientes avances en im agenes t ermicas (LWIR) han permitido su uso en aplicaciones m as all a del ambito militar. Actualmente, esta nueva familia de sensor esta siendo incluida en diversas aplicaciones tanto t ecnicas como cient cas. Este tipo de sensores facilitan tareas tales como: detecci on de peatones, puntos calientes, detecci on de cambios de temperatura, entre otros. Caracter sticas que pueden mejorar signi cativamente el desempeo de un sistema, especialmente cuando hay interacci on con humanos. Por ejemplo, aplicaciones de v deo vigilancia, detecci on de peatones, an alisis de postura. En esta tesis se plantea entre otras la siguiente pregunta de investigaci on: Podr a un par de sensores operando en diferentes bandas del espectro electromagn etico, como el visible e infrarrojo t ermico, proporciona informaci on de profundidad? Si bien es una cuesti on compleja, nosotros demostramos que un sistema de estas caracter sticas es posible. Adem as, de discutir sus posibles ventajas, desventajas y oportunidades potenciales. La fusi on y correspondencia de los datos procedentes de diferentes sensores, como las emisiones registradas en la banda visible e infrarroja, representa un reto atractivo, ya que se ha demostrado que aquellas se~nales est an d ebilmente correlacionadas. Por lo tanto, muchas t ecnicas tradicionales de procesamiento de im agenes y visi on por computadora son inadecuadas, requiriendo ajustes para su correcto funcionamiento. En esta investigaci on se realizo un estudio experimental comparando diferentes funciones de costos multimodal, y t ecnicas de correspondencia, a n de construir un sistema est ereo multimodal. Tambi en, se identi c o el problema com un entre est ereo visible/ visible y infrarrojo/visible, particularmente en ambientes al aire libre. Entre las contribuciones de esta tesis se encuentra; el aislamiento de las diferentes etapas que componen un sistema est ereo multimodal. Esta arquitectura es gen erica a diferentes niveles, tanto computacional, funcional y estructural, permitiendo su extensi on a esquemas mas complejos tales como fusi on de alto nivel (sem antica) y de orden superior (supuestos). El enfoque propuesto est a destinado a explorar nuevos m etodos de correspondencia est ereo, pasando de una soluci on escasa a una densas (tanto en disparidad como en mapas de profundidad). Adem as, se ha incluido informaci on de contexto en forma de asunciones y restricciones. Finalmente, esta disertaci on muestra un promisorio camino hacia la integraci on de m ultiples sensores., Recent advances in thermal infrared imaging (LWIR) has allowed its use in applications beyond of military domain. Nowadays, this new sensor family is included in diverse technical and scienti c applications. They o er features that facilitate tasks, such as detection of pedestrians, hot spots, di erences in temperature, among others, which can signi cantly improve the performance of a system where the persons are expected to play the principal role. For instance, video surveillance applications, monitoring, and pedestrian detection. During this dissertation is stated the next question: Could a couple of sensors measuring di erent bands of the electromagnetic spectrum, as the visible and thermal infrared, provides depth information? Although is a complex question, we shows that a system of those characteristics is possible as well as their advantages, drawbacks, and potential opportunities. The fusion and matching of data coming from di erent sensors, as the emissions registered at visible and infrared band, represents a special challenge, because it has been showed that theses signals are weak correlated. Indeed, they are uncorrelated. Therefore, many traditional techniques of image processing and computer vision are not helpful, requiring adjustments for their correct performs in every modality. In this research is performed a experimental study that compares di erent cost functions and matching approaches, in order to build a multimodal stereo system. Furthermore, are identi ed the common problem between visible/visible and infrared/visible stereo, special in the outdoor scenes. A contribution of this dissertation is the isolation achieved, between the di erent stage that compose a multimodal stereo system. Our framework summarizes the architecture of a generic stereo algorithm, at di erent levels: computational, functional, and structural, which is successful because this can be extended toward high-level fusion (semantic) and high-order (prior). The proposed framework is intended to explore novel multimodal stereo matching approaches, going from sparse to dense representation (both disparity and depth maps). Moreover, context information is added in form of priors and assumptions. Finally, this dissertation shows a promissory way toward the integration of multiple sensors for recovering three-dimensional information.

Aquest treball es centra en la factorització de matrius per obtenir l'Estructura a partir del Moviment (SFM). La idea és descomposar la matriu de trajectòries en la matriu de moviment, que conté la posició relativa càmera-objecte a cada frame, i la matriu de forma, que conté les coordenades 3D dels punts característics. Aquesta factorització es pot obtenir utilitzant que la matriu de trajectòries té un rang reduït. En particular, si les trajectòries pertanyen a un únic objecte rígid, la matriu té com a molt rang 4. Tot i que s'han proposat diverses tècniques per tractar el problema de les matrius amb forats, aquestes poden no donar resultats correctes quan el percentatge de forats a la matriu és molt gran. Proposem un esquema multiresolució iteratiu per poder tractar aquests casos amb molts elements buits a la matriu de trajectòries. L'esquema proposat consisteix en considerar submatrius amb un percentatge de forats reduït. Seguidament, els forats d'aquestes matrius són emplenats aplicant un mètode de factorització. L'objectiu final és obtenir millors resultats aplicant un mètode de factorització a la matriu emplenada amb l'esquema proposat, enlloc d'aplicar-lo a la matriu inicial, que presenta un elevat percentatge de forats. En el cas de matrius de trajectòries corresponents a punts característics que pertanyen a diversos objectes, les tècniques de factorització no es poden aplicar directament perobtenir el moviment i la forma de cada objecte, ja que les trajectòries no estan ordenades per objectes. A més a més, s'ha de tenir en compte un altre problema: l'estimació del rang de la matriu de trajectòries. El problema és que amb forats, el rang de la matriu no pot ser calculat directament. Per altra banda, com que hi ha múltiples objectes, és difícil d'estimar-lo, sense utilitzar informació com ara nombre d'objectes o tipus de moviment d'aquests. Presentem una tècnica per estimar el rang d'una matriu de trajectòries amb forats. La idea és que, si les trajectòries pertanyen a objectes rígids, la freqüència espectral de la matriu de trajectòries inicial no hauria de variar un cop la matriu ha estat emplenada. Els forats de la matriu són emplenats amb un mètode de factorització, considerant diferents valors per al rang de la matriu. Al mateix temps, el rang de la matriu de trajectòries és estimat fent servir una mesura que compara la freqüència espectral de cada matriu emplenada amb la de la matriu inicial. El proper pas consisteix en segmentar les trajectòries segons el seu moviment. Finalment, qualsevol tècnica d'Estructura a partir de Moviment per a un únic objecte pot ser aplicada per trobar el moviment i la forma de cada objecte.Intentem aplicar la metodologia proposada per al problema de l'Estructura a partir de Moviment a d'altres aplicacions, no només dins el camp de la visió per computador. En particular, l'objectiu és adaptar els mètodes Alternats per poder aplicar-los a diferents problemes de dimensionalitat reduïda. Una de les possibles aplicacions és la fotometria: la idea és recuperar la reflectància i les normals a la superfície i la direcció de la llum en cada imatge, a partir d'imatges obtingudes sota diferents condicions de llum. En una segona aplicació, l'objectiu és adaptar els mètodes Alternats per poder omplir els forats en una matriu de dades provinents d'expressions de gens. Aquestes matrius són generades amb la informació que proporcionen els DNA microarrays. Finalment, els mètodes Alternats són aplicats a matrius de dades de sistemes de recomanació, molt usats en E-commerce. Aquestes matrius contenen puntuacions que els usuaris han donat a certs productes. La idea és predir les puntuacions que un usuari concret donaria a altres productes, utilitzant la informació emmagatzemada en el sistema., This work is focused on the missing data matrix factorization addressing the Structure from Motion (SFM) problem. The aim is to decompose a matrix of feature point trajectories into the motion and shape matrices, which contain the relative camera-object motion and the 3D positions of tracked feature points, respectively. This decomposition can be found by using the fact that the matrix of trajectories has a reduced rank. Although several techniques have been proposed to tackle this problem, they may give undesirable results when the percentage of missing data is high. An iterative multiresolution scheme is presented to deal with matrices with high percentages of missing data. Experimental results show the viability of the proposed approach.In the multiple objects case, factorization techniques can not be directly applied to obtain the SFM of every object, since trajectories are not sorted into different objects. Furthermore, another problem should be faced out: the estimation of the rank of the matrix of trajectories. The problem is that, in this case, the rank of the matrix of trajectories is not bounded, since any prior knowledge about the number of objects nor about their motion is used. This problem becomes more difficult with missing data, since singular values can not be computed to estimate the rank. A technique to estimate the rank of a missing data matrix of trajectories is presented. The good performance of the proposed technique is empirically shown considering sequences with both, synthetic and real data. Once the rank is estimated and the matrix of trajectories is full, the motion segmentation of trajectories is computed. Finally, any factorization technique for the single object case gives the shape and motion of every object.In addition to the SFM problem, this thesis also shows other applications that can be addressed by means of factorization techniques. Concretely, the Alternation technique, which is used through the thesis, is adapted to address each particular problem. The first proposed application is the photometric stereo: the goal is to recover the reflectance and surface normals and the light source direction at each frame, from a set of images taken under different lighting conditions. In a second application, the aim is to fill in missing data in gene expression matrices by using the Alternation technique. Finally, the Alternation technique is adapted to be applied in recommender systems, widely considered in E-commerce. For each application, experimental results are given in order to show the good performance of the proposed Alternation-based strategy.