Implementation of real-time functionalities in in the hardware of ultra-light intelligent camera specialized for the aerial imaging

In the recent years, the civilian UAVs (Unmanned Aerial Vehicles) have become an interesting tool in aerial photography and in photogrammetry. This led the LOEMI (Laboratoire d'Opto-électronique, de Métrologie et d'Instrumentation) team of IGN (Institut National de l'Information Géographique) to design an light-weight digital camera better adapted for exploiting photogrammetry and metrology applications than consumer cameras. This camera consists essentially of a CMOS ``global shutter'' sensor, an inertial measurement unit IMU, and a system on chip (FPGA + 2 CPUs) used originally to acquire image data from the sensor. This SoC/FPGA-based camera opens the door to implement in hardware some real-time image processing algorithms. Night-time surveys and narrow spectral band with imagery are one of the next applications targeted by IGN, this type of applications needs a long-exposure time imagery that usually exhibits a motion blur due to erratic movements of the UAV. This thesis consists in the implementation on the light-weight IGN camera of an alogirithm which makes it possible to remedy this problem of motion blur. The first part of this work was devoted to the development of the method which consists in acquiring several images with a short exposure time and then using an image processing algorithm in order to generate a stacked image with the equivalent of a long-exposure time. To obtain the correct parameters for the resampling of images, the presented method accurately estimates the geometrical relation between the first and the nth image, taking into account the internal parameters and thedistortion of the camera. Features are detected in the first image by the FAST detector, than homologous points on other images are obtained by template matching aided by the IMU sensors. In order to speed up the processing of our algorithm, some phases are accelerated by implementing them in the hardware (SoC / FPGA).The results obtained on real surveys show that the final stacked image does not present a motion blur. The time results of the different phases of the algorithm also show that the execution of the algorithm has a quasi-zero time. One of the interesting byproducts of this work is the recalibration of the IMU sensors
Au cours des dernières années, les drones civils sont devenus un outil intéressant dans la photographie aérienne et dans les travaux de photogrammétrie. Cela a poussé le LOEMI (Laboratoire d’Opto-Electronique, Métrologie et Instrumentation) de l'IGN (Institut National de l'Information Géographique et Forestière) de mettre au point une nouvelle caméra aérienne mieux adaptée pour l'exploitation photogrammétrique et métrologiques des images que les caméras grand public. Cette caméra est composée essentiellement d'un capteur CMOS ``global-shutter'', d'une centrale inertielle IMU, et d'un système sur puce (FPGA + 2 CPUs) pour la gestion de l'acquisition des images. Ce SoC/FPGA ouvre la porte à l'implémentation temps-réel des algorithmes de traitement d'image. Parmi les travaux futurs de l'IGN, on peut distinguer certaines applications qui nécessitent l'acquisition des images aériennes avec un temps d'exposition long, comme par exemple les prises de vue aériennes en bande spectrale étroite et les prises de vue aériennes de nuit. Ce type de prises de vue manifeste un flou de bougé dans les images dû aux mouvements erratiques du drone. Cette thèse consiste en l'implémentation dans la caméra légère de l'IGN d'un algorithme qui permet de remédier ce problème de flou de bougé. La première partie de ce travail a été consacrée au développement de la méthode qui consiste à acquérir plusieurs images avec un temps de pose court, puis utiliser un algorithme de traitement d'image afin de générer une image empilée finale avec l'équivalent d'un temps de pose long. Les paramètres des orientations correctes pour le ré-échantillonnage des images sont obtenus par l'estimation de la transformation géométrique entre la première image et la nième image à partir des points d'intérêts détectés par FAST dans la première image et les points homologues obtenus par corrélation dans les autres images accélérées par les capteurs inertiels intégrés à la caméra. Afin d'accélérer le traitement de calcul de notre algorithme, certaines phases sont accélérées en les implémentant dans le matériel (SoC/FPGA).Les résultats obtenus sur des jeux de tests acquis avec un drone type Copter 1B UAV et la caméra ultra-légère de l'IGN montrent que l'image finale empilée ne présente pas un flou de bougé. Les résultats de temps des différentes phases de l'algorithme montrent aussi que l'exécution de notre algorithme a un temps quasi-nulle. Un des sous-produits intéressants de ces travaux est la ré-étalonnage des capteurs IMU