Search

Embedded Computer vision, as many real application scenarios of artificial intelligence, is facing hardware and power constraints with the rising of edge computing applications. For instance, the object detection problem, consisting in finding different objects of specific classes (types) in an image, turns out to be quite complicated to embed near the image sensor as two complex tasks are required: multi-scale localization and multi-class classification (i.e. identifying bounding boxes that perfectly enclose each object, whatever its size, and labeling the type of the detected object). Today these tasks are mainly often performed on general-purpose desktop machines. Nevertheless, attractive applications like autonomous-driving, augmented reality or video surveillance are urging the need for low-power, low-latency and compact low power devices.The state of the art has approached this challenge by optimizing specific sections of the complete processing-pipeline for a comparable object detection performance. A typical example in the last decade corresponds to minimizing the computing precision, hence the power, to a minimal value. Diminishing the bit-depth or image size has then been studied while implementing pre-processing steps that increase robustness against the loss in bit and image resolution. An algorithm that doesn’t require that kind of pre-processing stage to be programmable is obviously desirable in order to simplify its implementation (e.g. no memory access to learned weights). Another strategy has been to reduce power due to I/O communications amongst different chips or devices thanks to a more exhaustive integration of specialized circuitry and thanks to more efficient memory accesses and mathematical operations.In that context of near-sensor computing, this work points towards a more energy efficient detection pipeline. We target several specific key aspects:1.We try to assess if a dedicated-class-agnostic region proposal algorithm, based on pre-processed low-level features, could replace the typical sliding window approach for object localization in integrated smart imaging systems, allowing to target more efficiently objects in the image. Then, we propose a pipeline that takes into account near image sensor features extraction for Region Proposals with an algorithm called EdgeBoxes.2.We try to assess an optimal type of pre-processing (based on an efficient architecture) that would allow extracting low level features (oriented gradients), and give the best trade-off between power consumption, hardware complexity and object detection performance. Specifically, this architecture is fully compatible with region proposal algorithms beyond the sliding window.3.Finally, we try to assess if non-standard, or neuromorphic, image acquisition techniques can be exploited in order to further increase the detection efficiency in real case scenarios.Our methodology relies on behavioral simulations carried out thanks to a custom framework written in Python and C++ code. We propose a hierarchical model (and code architecture) of different image acquisition and processing techniques, and we study their performance through specific metrics related to runtime, memory usage, hardware complexity, I/O data-rate, localization performance and classification performance. We provide comparison with the state of the art and several benchmarks giving guidance to choose one or another architecture depending on the specific needs, and we conclude by stating which one would give, from our perspective, the best trade-offs.; Avec la croissance de l’utilisation d’objets connectés, les systèmes de vision embarqués, comme d’autres sujets de l’intelligence artificielle, font face à l’augmentation des contraintes en puissance et en complexité matérielle. Par exemple, la détection des objets définit le problème de localisation et de classification des différents objets présents dans une scène. Cependant, cette détection/classification devient très complexe lorsque ces objets sont de plusieurs types différents et présents à différentes échelles. Actuellement, cette détection des objets est faite en général à l’aide d’ordinateurs assez puissants. Néanmoins, plusieurs applications récentes, comme la conduite autonome, la réalité augmentée, et la surveillance par vidéo, nécessitent des systèmes fortement embarqués, donc compacts et à basse consommation tout en étant suffisamment rapides et performants en terme de détection.Ainsi, l’état de l’art donne des exemples d’optimisation de systèmes embarqués et intégrés pour la détection des objets. Par exemple, des travaux sur le sujet ont cherché à diminuer la précision des calculs, et ainsi la consommation, vers une valeur aussi minimale que possible. D’autres ont diminué la résolution d’image (et/ou la taille) par une codification par pixel en moins de bits. De plus, cette stratégie a bénéficié d’étapes du prétraitement pour augmenter la robustesse lors de la compression et minimiser la perte d’information. Parmi les types de prétraitement, nous pouvons trouver ceux qui n’ont pas besoin d’être programmables, qui ont aussi l’avantage potentiel d’être plus simples que, par exemple, des algorithmes qui ont besoin d’accès aux « poids » d’un réseau de neurones à convolution. Une autre stratégie a été de réduire la quantité de données transitant entre différents circuits, grâce à une intégration plus poussée d’algorithmes spécifiques de traitement d’image dans une même puce.Dans ce contexte de calcul proche capteur, cette thèse a comme objectif l’étude d’un type de prétraitement d’image et d’une architecture dédiée pour minimiser la consommation d’énergie pour des performances de localisation et de classification similaires à l’état de l’art. Nos objectifs principaux sont :1.Etudier l’intégration d’un algorithme d’extraction des gradients orientés pour la génération de régions proposées (inspiré par l’algorithme « EdgeBoxes ») qui ne dépend pas du type d’objet à détecter.2.Concevoir, au niveau système, une architecture de circuit mixte pour l’extraction des gradients orientés compressés. Cette architecture sera dédiée à la minimisation de la consommation, avec une complexité acceptable, tout en étant optimisée pour les étapes suivantes de génération des régions proposées.3.Finalement, étudier la viabilité d’application de systèmes d’imagerie non classiques (dit neuro-morphiques) pour augmenter l’efficacité de génération des régions proposés à basse puissance.La méthodologie proposée se base sur des simulations comportementales avec un environnement développé en Python et C++. Un modèle hiérarchique permettant de simuler différents systèmes de vision (classiques ou non) a été développé, avec ou sans prétraitement intégré proche capteur. Nous utilisons cet environnement pour obtenir des métriques liées à l’architecture de prétraitement, ou au performance des étapes de détection suivantes, tels que le temps d’exécution, l’utilisation de la mémoire, la complexité matérielle, la quantité des données générées, la performance de localisation et la performance de classification. Finalement, les résultats en performance ainsi que des comparaisons entre l’état de l’art et différentes versions de notre architecture sont présentés et discutés.

International audience; Capabilities of rad-hard electronics are often degraded by post-irradiation annealing, whose effects need to be considered in designing complex systems, such as CMOS image sensors (CISs). In particular, the commonly accepted behavior of annealing cannot be systematically assumed, because reverse annealing does not necessarily come from the degradation of the defects, but could be the result of defects annealing non-uniformities. This article provides an extensive study of the dark current and pixel readout electronic behavior of CISs during irradiation and annealing, in order to provide some insights on these annealing non-uniformities. The isochronal annealing performed up to 300 °C demonstrates that, up until a certain temperature, reverse annealing is almost always present, but the 300 °C annealing always heals the system very efficiently. When performed on specially designed gated pixels for ultrahigh dose applications, adding a N+ drain further mitigates the radiation effects along with the reverse annealing. This proves the efficiency of these rad-hard designs and calls for further research in this radiation-hardening direction.

International audience; We present an innovative optical particulate matter sensor. This optical sensor ‘on-a-chip’ combines a visible fibered light source and a custom-made CMOS image sensor chip. By illuminating a single particle in an air channel, we can record the light scattering signature on the photodiode matrix. A piece realized in 3D printing achieves fiber alignment and an efficient stray light protection.A specific scattering pattern occurs from the interaction of light with a single particle. Unlike traditional optical PM sensors based on a single photodiode detection, we measure a lens-free projection of the scattering signature on the nearby image sensor (1.5mm projection distance). This allows us to count particles and determine their size and refractive index. These parameters are retrieved through image processing and by comparison with a radiometric model that calculates the projection of a Lorenz-Mie’s scattering pattern.We describe the sensing technique, the architecture and fabrication of this sensor as well as the characterization results, which are in good agreement with our theory-based predictions. In particular, we show that it is possible to differentiate calibrated particulates of different sizes (monodisperse polystyrene-latex spheres). The sensor is sensitive enough to detect single particle and smallest than 1$\mu$m.

International audience; We present our latest advances in the field of miniature optical particulate matter sensors. By illuminating a single particle in an air channel, one can record the light scattering signature with a CMOS image sensor and then classify particles. This signature is optically pre-processed with an advanced, millimeter-sized, monolithic, refracto-reflective optical system. It performs notably a Fourier transform with very wide field of view of scattering angles, and includes as well integrated fluidics and alignment. Functional prototypes were fabricated using laser micro machining on glass, selective polishing, and were replicated with epoxy resin using a molding process.

Recent advances in the field of CMOS Image Sensors (CIS) tend to revisit the canonical image acquisition and processing pipeline to enable on-chip advanced image processing applications such as decision making. Despite the tremendous achievements made possible thanks to technology node scaling and 3D integration, designing a CIS architecture with on-chip decision making capabilities still a challenging task due to the amount of data to sense and process, as well as the hardware cost to implement state-of-the-art decision making algorithms. In this context, Compressive Sensing (CS) has emerged as an alternative signal acquisition approach to sense the data in a compressed representation. When based on randomly generated sensing models, CS enables drastic hardware saving through the reduction of Analog to Digital conversions and data off-chip throughput while providing a meaningful information for either signal recovery or signal processing. Traditionally, CS has been exploited in CIS applications for compression tasks coupled with a remote signal recovery algorithm involving high algorithmic complexity. To alleviate this complexity, signal processing on CS provides solid theoretical guarantees to perform signal processing directly on CS measurements without significant performance loss opening as a consequence new ways towards the design of low-power smart sensor nodes.Built on algorithm and hardware research axes, this thesis illustrates how Compressive Sensing can be exploited to design low-power sensor nodes with efficient on-chip decision making algorithms. After an overview of the fields of Compressive Sensing and Machine Learning with a particular focus on hardware implementations, this thesis presents four main contributions to study efficient sensing schemes and decision making approaches for the design of compact CMOS Image Sensor architectures. First, an analytical study explores the interest of solving basic inference tasks on CS measurements for highly constrained hardware. It aims at finding the most beneficial setting to perform decision making on Compressive Sensing based measurements. Next, a novel sensing scheme for CIS applications is presented. Designed to meet both theoretical and hardware requirements, the proposed sensing model is shown to be suitable for CIS applications addressing both image rendering and on-chip decision making tasks. On the other hand, to deal with on-chip computational complexity involved by standard decision making algorithms, new methods to construct a hierarchical inference tree are explored to reduce MAC operations related to an on-chip multi-class inference task. This leads to a joint acquisition-processing optimization when combining hierarchical inference with Compressive Sensing. Finally, all the aforementioned contributions are brought together to propose a compact CMOS Image Sensor architecture enabling on-chip object recognition facilitated by the proposed CS sensing scheme, reducing as a consequence on-chip memory needs. The only additional hardware compared to a standard CIS architecture using first order incremental Sigma-Delta Analog to Digital Converter (ADC) are a pseudo-random data mixing circuit, an +/-1 in-Sigma-Delta modulator and a small Digital Signal Processor (DSP). Several hardware optimization are presented to fit requirements of future ultra-low power (≈µW) CIS design., Les progrès récents dans le domaine des capteurs d’image CMOS reposent sur la remise en question du schéma classique d’acquisition et de traitement d’images, cela, afin de permettre des traitements avancés sur puce telles que la prise de décision. Malgré les réalisations rendues possibles grâce à l’utilisation des nœuds technologiques avancés et à l’intégration 3D, la conception de capteurs avec des capacités de prise de décision reste une tâche ardue en raison de la quantité de données acquise et à traiter, ainsi que du coût matériel que représente l’implémentation des algorithmes de prise de décisions classiques. Dans ce contexte, l’Acquisition Compressive (AC) est apparue comme une approche alternative pour détecter les données dans une représentation compressive. Dans le cas où le AC exploite des motifs générés aléatoirement, il permet une réduction considérable du matériel en réduisant les conversions analogique-numérique et le débit des données, tout en fournissant des informations pertinentes pour la reconstruction ou le traitement du signal. Traditionnellement, l’AC a été exploité dans des applications de capteurs d’image pour des tâches de compression couplées à des algorithmes de reconstructions distants impliquant une complexité algorithmique élevée. Pour relâcher cette complexité, le traitement du signal sur des mesures compressées fournit des garanties théoriques solides pour effectuer le traitement du signal directement sur les mesures compressées sans perte de performance significative, ce qui constitue donc une nouvelle piste pour concevoir des nœuds de capteurs intelligents à basse consommation énergétique.Basée sur des axes de recherche traitant de l’algorithmique et du matériel, cette thèse étudie des voix de développement exploitant l’acquisition compressive pour concevoir des nœuds de capteurs doté de capacité de prise de décision sur puce à basse consommation énergétique. Après une présentation du contexte matériel et algorithmique lié à l’acquisition compressive et les techniques d’apprentissage machine, la thèse présente quatre contributions principales pour optimiser les schémas d’acquisition du signal et des traitements associés dans le contexte des capteurs d’image CMOS. Dans un premier temps, une étude analytique explore l’intérêt de résoudre des tâches d’inférence à partir de mesures compressées pour des applications à forte contraintes matériels. L’objectif est de trouver le schéma le plus avantageux pour prendre des décisions à partir de mesures compressées. Ensuite, un nouveau schéma d’acquisition compressive pour les capteurs d’image est présenté. Conçu pour répondre à la fois aux exigences théoriques et matérielles, le modèle s’avère être approprié pour les capteurs qui traitent à la fois des tâches de rendu d’image et de prise de décision sur puce. D’autre part, pour réduire la complexité de calcul sur puce impliquée par les algorithmes de prise de décision standard, de nouvelles méthodes de construction d’arbres d’inférence hiérarchique sont explorées afin de réduire les opérations MAC liées à une tâche d’inférence multi-classe sur puce. Cela conduit à une optimisation conjointe traitement-acquisition lors de la combinaison de l’inférence hiérarchique avec l’acquisition compressive. Enfin, les contributions susmentionnées sont mises en œuvre dans une architecture compacte d’un capteur d’image CMOS permettant la reconnaissance d’objets sur puce, grâce au schéma d’acquisition AC proposé, réduisant ainsi les besoins en mémoire sur puce. Le seul matériel supplémentaire par rapport à une architecture standard utilisant un convertisseur analogique-numérique Sigma-Delta incrémental de premier ordre est un circuit de mélange de données pseudo-aléatoire, un modulateur +/-1 in-Sigma-Delta et un petit processeur de signal numérique (DSP). Plusieurs optimisations matérielles sont présentées pour répondre aux exigences de la conception des futures capteurs CMOS dits ultra-basse consommation (≈µW).

Thanks to the growing smartphones and tablets consumer markets, CMOS image sensors have benefited from major technology developments and are able to rival with and even outperform CCD sensors. In parallel, for spatial and medical imaging applications, CMOS sensors have been developed using technologies recognized for their robustness in harsh ionizing environment. This Ph.D. thesis work aims at combining in one single pixel architecture the latest technology developments driven by consumer applications with a novel solution for radiation hardening recently developed at STMicroelectronics. For the first time, this innovative back-side illuminated pixel architecture integrates within a 1.4µm pitch a vertical pinned photodiode based on hole-collection, a PMOS readout chain and deep trench isolation with either passive or active interface passivation. This pixel has been developed using 3D-TCAD simulations allowing fast and efficient optimization of its fabrication process. Through a series of electro-optical characterizations, we have compared its performances to its N-type equivalent before and after irradiation with gamma rays. The pixel developed during this thesis exhibits intrinsically lower level of dark current than its N-type counterpart and improved radiation hardness. Active passivation of deep trench isolation greatly decreases the impact of degradations usually observed at Si/SiO2 interfaces and therefore shows very promising results in ionizing environment. Evidence of intrinsically different mechanisms of white pixel formation under irradiation for N-type and P-type pixels have been presented. Finally, back-side illumination technology and the vertical photodiode both contribute to the pixel’s high full well capacity and good quantum efficiency, Grâce à l'explosion du marché grand public des smartphones et tablettes, les capteurs d'image CMOS ont bénéficiés de développements technologiques majeurs leur permettant de rivaliser voir même de devancer les performances des capteurs CCD. En parallèle, dans les domaines de l'aérospatial ou de l'imagerie médicale, des capteurs CMOS ont également été développés pour des applications à fortes valeurs ajoutées avec des technologies reconnues pour leur robustesse en environnement ionisant. Le travail de cette thèse a pour but de réunir dans une même architecture de pixel les dernières avancées technologiques développées pour les capteurs grands publics avec une solution novatrice de durcissement aux rayonnements ionisants récemment développée chez STMicroelectronics. Pour la première fois, cette nouvelle architecture de pixel de 1,4µm de côté et éclairée par la face arrière intègre une photodiode pincée verticale à collection de trous, une chaine de lecture composée de transistors PMOS et des tranchées d'isolation profondes à passivation passive ou active. Ce type de pixel a été conçu à l'aide de simulations TCAD en trois dimensions qui ont permis d'optimiser l'intégration de procédés pour sa fabrication. Il a été caractérisé et comparé à un pixel équivalent de type N avant et après irradiation par rayonnement gamma. Le pixel développé au cours de cette thèse présente intrinsèquement un plus faible courant d'obscurité que son homologue de type N et une meilleure résistance aux radiations. La passivation active des tranchées d'isolation profondes permet d'atténuer fortement l'impact des dégradations habituellement observées au niveau des interfaces Si/SiO2 et s'avère donc prometteuse en environnement ionisant. Des mécanismes intrinsèquement différents de formation de pixels blancs sous irradiation ont été mis en évidence pour les pixels de type P et de type N. Enfin, les technologies de l'éclairement par la face arrière et de la photodiode verticale contribuent chacune à la bonne efficacité quantique du pixel ainsi qu'à sa capacité de stockage importante

International audience; This paper proposes a readout design for CMOS image sensors. It has been squeezed into a 7.5um pitch under a 0.28um 1P3M technology. The ADC performs one 14-bit conversion in only 1.5us and targets a theoretical DNL feature about +1.3/-1 at 14-bit accuracy. Correlated Double Sampling (CDS) is performed both in the analog and digital domains to preserve the image quality.

International audience; In this paper, a 10-bitdigitalCorrelated DoubleSampling (CDS)high-speed CMOS Image Sensordesignedin 65nm BSI technologyfor a 1.1μm pixelis proposed.Thereadoutarchitecture has been developed to read a 13Mpixsensor (4248 x 3216) at 55frames/s,requiringa row time of5.5μs.Thereadout is based on a Piece-Wise Linear (PWL)ramp generatorimplementing anI/C structure.Twoinnovativecalibrationtechniquesfor output datalinearization are investigated

International audience; A novel reading architecture for CMOS image sensor for low data rate has been investigated in this paper. The proposed architecture is designed using asynchronous logic and is intended to control and manage the flow of event-driven pixels. This architecture overcomes the standard difficulties encountered when managing simultaneous pixel requests without degrading the image sensor fill factor and resolution. Moreover, this reading architecture does not need an analog-to-digital converter and is capable of suppressing the spatial redundancies. This leads to a reduced image data flow.

L’amélioration de la résolution de ces capteurs implique la nécessité pour les concepteurs de réaliser des séries de simulation de plus en plus longue dans le but de caractériser leurs performances, et ces simulations qui génèrent des résultats difficiles à analyser requièrent de très grandes ressources de calcul ainsi qu’une grande quantité de mémoire. Cette thèse intitulée "Méthode de simulation rapide de capteur d'image CMOS prenant en compte les paramètres d'extensibilité et de variabilité" explore une nouvelle méthodologie de simulation pour améliorer les capacités de traitement actuelles. La méthode qui a été développée est utilisée pour étudier et comparer les performances d’un capteur d’images avec les paramètres de bas niveau de conception de tels circuits ; par exemple la taille des transistors ainsi que la variabilité. La méthodologie obtient l'erreur de sortie moins de 0,4% sur le capteur d’image de style APS-3T. La méthode a été testée avec diverses architectures de pixel, et elle a permis de simuler un capteur d'image de 15 millions de pixels. La vitesse de simulation est améliorée 64 fois, passant de plusieurs jours à plusieurs minutes. La simulation des circuits présentant une structure en matrice comme les mémoires est une autre application potentielle de ce type de méthodologie., The resolution of CMOS image sensor is becoming higher and higher, while for identifying its performance, designers need to do a series of simulations, and this work consumes large CPU time in classical design environment. This thesis titled "Fast Scalable and Variability Aware CMOS Image Sensor Simulation Methodology" is dedicated to explore a new simulation methodology for improving the simulation capability. This simulation methodology is used to study the image sensor performance versus low level design parameter, such as transistor size and process variability. The simulation methodology achieves error less than 0.4% on 3T-APS architecture. The methodology is tested in various pixel architectures, and it is used in simulating image sensor with 15 million pixels, the simulation capability is improved 64 times and time consumption is reduced from days to minutes. The potential application includes simulating array-based circuit, such as memory circuit matrix simulation.

This research aims to develop a vision system with low energy consumption for Wireless Sensor Networks (WSNs). The imager in question must meet the specific requirements of multimedia applications for Wireless Vision Sensor Networks. Indeed, a multimedia application requires intensive computation at the node and a considerable number of packets to be exchanged through the transceiver, and therefore consumes a lot of energy. An obvious solution to reduce the amount of transmitted data is to compress the images before sending them over WSN nodes. However, the severe constraints of nodes make ineffective in practice the implementation of standard compression algorithms (JPEG, JPEG2000, MJPEG, MPEG, H264, etc.). Desired vision system must integrate image compression techniques that are both effective and with low-complexity. Particular attention should be taken into consideration in order to best satisfy the compromise "Energy Consumption - Quality of Service (QoS)"., Ce travail de recherche vise à concevoir un système de vision à faible consommation d'énergie pour les réseaux de capteurs sans fil. L'imageur en question doit respecter les contraintes spécifiques des applications multimédias pour les réseaux de capteurs de vision sans fil. En effet, de par sa nature, une application multimédia impose un traitement intensif au niveau du noeud et un nombre considérable de paquets à échanger à travers le lien radio, et par conséquent beaucoup d'énergie à consommer. Une solution évidente pour diminuer la quantité de données transmise, et donc la durée de vie du réseau, est de compresser les images avant de les transmettre. Néanmoins, les contraintes strictes des noeuds du réseau rendent inefficace en pratique l'exécution des algorithmes de compression standards (JPEG, JPEG2000, MJPEG, MPEG, H264, etc.). Le système de vision à concevoir doit donc intégrer des techniques de compression d'image à la fois efficaces et à faible complexité. Une attention particulière doit être prise en compte en vue de satisfaire au mieux le compromis "Consommation énergétique - Qualité de Service (QoS)".

Among the optical medical imaging techniques used in medicine, the main limitation is the low resolution at a penetration depth greater than a few mm. This limitation does not allows competing with the standard imaging techniques such as X rays or RMI based imaging. In that scope, the acousto-optical imaging features several advantages: it allows measuring an optical contrast useful to detect tumors, in conjunction with the spatial resolution of ultrasound. However, the state of the art detecting devices feature a lack of sensitivity, which prevent its transfer to medical practitioners.This leads us to study the intrinsic features of the acousto-optical signal in order to propose two CMOS pixel architectures. The first one, fully analog, is compliant with the correlation time of biological tissue (1 ms typ.) and features an analog processing of the relevant signal. The second one is based on a digital pixel which contains an analog to digital converter, allowing simplifying the optical setup and increasing the robustness of the processing.In addition, related to the recent progress in wavefront control, an opto-electronic device, coupled with the first pixel architecture, has been proposed. It allows performing an optical phase operation (e.g. phase conjugation) in parallel on a pixels array, within the correlation time of biological media. Thus, this monolithic device circumvents the speed limitations of state of the art setup by a physical stacking of a liquid crystals spatial light modulator over a CMOS image sensor., Parmi les techniques d'imagerie optiques utilisées en milieu clinique, la principale limitation est la faible résolution lorsque la profondeur d'examen dépasse quelques mm. Cette limite de résolution ne permet pas à l'heure actuelle de concurrencer les techniques d'imagerie médicales permettant de réaliser un examen du corps dans son intégralité (Rayons X, IRM, Scanner). Dans ce cadre, l'imagerie acousto-optique présente plusieurs avantages: elle permet de mesurer des propriétés optiques utiles pour la détection de tumeur, à la résolution spatiale des ultrasons. Cependant, les dispositifs de détection utilisés présentent un manque de sensibilité et de rapidité qui freinent le transfert de cette technique en milieu clinique.Ce constat nous a conduit à étudier les caractéristiques intrinsèques du signal acousto-optique afin de proposer deux architectures de pixels basées sur des technologies CMOS. La première architecture, totalement analogique, présente des caractéristiques de vitesse d'acquisition compatibles avec le temps de corrélation des milieux biologiques (

With the increase of systems complexity, integrating different technologies together has become a major challenge. Another challenge has traditionally been the limitation on the throughout between different part of the system coming from the interconnections. If traditional two dimensional integration solutions like System In a Package (SIP) bring heterogonous technologies together there is still limitations coming from the restricted number and lengths of interconnections between the different system components. Three Dimensional stacking (3D), by exploiting short vertical interconnections between different circuits of mixed technologies, has the potential to overcome these limitations. Still, despite strong interests for the 3D concepts, there is no advanced analysis of 3D integration benefits, especially in the field of imagers and smart image sensors. This thesis study the potential benefits of 3D integration, with local processing and short feedback loops, for the realisation of a High Dynamic Range (HDR) image sensor. The dense vertical interconnections are used to locally adapt the integration time by group of pixels, called macro-pixels, while keeping a classic pixel architecture and hence a high fill factor. Stacking the pixel section and circuit section enables a compact pixel and the integration of flexible and versatile functions. High Dynamic Range values producing an important quantity of data, the choice has been made to implement data compression to reduce the circuit throughout. A first level of compression is produced by coding the pixel value using a floating format with a common exponent shared among the macro-pixel. A second level of compression is proposed based on a simplified version of the Discrete Cosine Transform (DCT). Using this two level scheme, a compression of 93% can be obtained with a typical PSNR of 30 dB. A validation of the architecture was carried out by the development; fabrication and test of a prototype on a 2D, 180 nm, CMOS technology. A few pixels of each macro-pixel had to be sacrificed to implement the high dynamic range control signals and emulate the 3D integration. The test results are very promising proving the benefits that will bring the 3D integration in term of power consumption and image quality compared to a classic 2D integration. Future realisations of this architecture, done using a real 3D technology, separating sensing and processing on different circuits communicating by vertical interconnection will not need the sacrifice of any pixel to adjust the integration time, improving power consumption, image quality and latency, La poursuite de l'intégration de fonctions toujours plus complexes au sein d'un même circuit constitue un des principaux enjeux de la microélectronique. L'intégration tridimensionnelle par empilement de circuits (3D stacking) constitue une voie prometteuse pour y parvenir. Elle permet notamment de dépasser certaines limitations atteintes par les circuits actuels, plus particulièrement dans les circuits pour lesquelles les données sont distribuées et qui nécessitent des bandes passantes importantes. Néanmoins, à ce jour, très peu de travaux ont montré les avantages de l'intégration 3D, en particulier ceux s'appuyant sur des résultats expérimentaux et de circuits concrets notamment dans le domaine des imageurs. Le présent travail de thèse a eu pour objectif d'exploiter la technologie 3D dans le cadre des capteurs d'images et dépasser la preuve de concept présentée dans l'état de l'art afin d'apporter une analyse concrète des apports de cette technologie dans le domaine des imageurs visibles. Nous avons identifié, d'une part l'extension de dynamique qui requiert un traitement proche pixel, d'autre part la compression locale, destinée à adresser les problèmes d'intégrité du signal, bande passante et consommation qui deviennent critiques avec l'augmentation des formats des imageurs. Ce choix permet d'apporter une réponse à la limitation de la dynamique des capteurs d'images 2D actuels, tout en gardant une architecture classique des pixels et en adressant le problème de la réduction de la quantité de données à transmettre. Une nouvelle méthode de codage flottant par groupe de pixels a été proposée et implémentée. Le principe s'appuie sur l'adaptation du temps d'intégration par groupe de pixels via l'application d'un exposant commun au groupe. Le temps d'intégration est ajusté à l'image suivante. Un premier niveau de compression est ainsi réalisé par le codage mantisse-exposant proposé. L'implémentation de cette technique a été validée sur un démonstrateur 2D au détriment de pixels sacrifiés aveugles de chaque groupe de pixels, comportant l'électronique de génération des signaux de commande de la HDR. La technique d'extension de dynamique proposée est suivie d'une compression à base de DCT (Discrete Cosine Transform} permettant de réduire le flux de données en sortie de la puce imageur. Les deux niveaux de compression permettent d'atteindre des taux de compression élevés allant jusqu'à 93% en maintenant un PSNR de 30dB et une qualité d'image acceptable pour des post-traitements. Une étude théorique de l'apport de l'intégration 3D en termes de consommation a été élaborée. Enfin, un démonstrateur 2D a été réalisé en technologie CMOS 180 nm en vue de valider l'architecture grande dynamique proposée. L'utilisation de la technologie 3D, dans la suite des travaux, permet l'implémentation d'une boucle courte, devenue possible grâce aux interconnexions verticales sans sacrifier des pixels morts. Le traitement local proche du pixel et la réduction de la latence, du flux de données et de la consommation sont les apports majeurs de l'intégration 3D étudiés dans ce travail

ISBN : 978-1-4799-3569-7; International audience; In this paper we present a new mixed design of the tone mapping technique used to adjust high dynamic range (HDR) image sensor luminosities. The dynamic range extension along with the tone mapping technique implementation allows covering correctly more than six orders of luminosity magnitude. The architecture is inspired from the human vision system operation. The proposed function and its architecture design as well as MATLAB emulation applied to images extracted from a linear CMOS image sensor designed in 0.35um AMS technology are illustrated along the paragraphs of the paper.

This dissertation presents the design and implementation of a CMOS imager for use in integrated biosensors based on Surface Plasmon Resonance. First, the optimal conditions for plasmon resonance in a CMOS/Post-CMOS compatible interface are obtained by COMSOL modelling. Second, a 32x32-pixel CMOS-Active Column Sensor (CMOS-ACS) is implemented on 0.35 um CMOS technology. In a gold-water interface with prism excitation, it is found that for prisms showing refractive indexes of 1.55 and 1.46, optimal plasmon coupling is obtained for gold films with thicknesses of 50 and 45 nm respectively. Under these conditions, approximately 99.19% and 99.99% of the incident light's energy is transferred to the surface plasmon for both prism respectively, provided that the incident light, with a wavelength of 633 nm, arrives with incidence angles of 68.45° and 79.05° respectively. It is also obtained that a change of 10-4 RIU in the refractive index of the dielectric medium, produces a change of 0.01° in the plasmon resonance angle, which under a light intensity modulation scheme produces a change of 0.08% in the reflected light's energy reaching the photodetector. Concerning the CMOS imager, a n-well/p-substrate photodiode is selected as the photosensing element, due to its low junction capacitance, which results in high efficiency and high conversion gain compared to the n-diff/p-substrate photodiode. Computer simulations with Cadence and Silvaco produced a junction capacitance of 31 fF and 135 fF respectively. The imager's pixel is based on a three-transistor (3T) configuration and shows a fill factor of 61%. The readout circuitry employs an Active Column Sensor (ACS) technique to reduce the Fixed Pattern Noise (FPN) associated with traditional Active Pixel Sensors (APS). Additionally, Non-Correlated Double Sampling (NCDS) and Delta Double Sampling (DDS) are used as noise reduction techniques. An experimental optical setup is used to characterize the performance of the imager, obtaining a conversion gain of 7.3 uV/e-, a photodiode junction capacitance of 21.9 fF, a read noise of 324.5 uV, equivalent to ~45 e- and a dynamic range of 50.5 dB. The benefits of ACS and NCDS-DDS are observed in the low pixel and column FPN of 0.09% and 0.06% respectively. The work presented in this thesis is a first step towards the goal of developing a fully integrated SPR-biosensing platform incorporating light source, SPR interface, microfluidic channel, optical elements and CMOS imager., Cette thèse présente la conception et la mise en œuvre d'un imageur CMOS pour être utilisé dans biocapteurs intégrés basés sur Résonance Plasmonique de Surface (SPR). Tout d'abord, les conditions optimales pour la résonance plasmon dans une interface compatible CMOS / post-CMOS sont obtenus par modélisation avec COMSOL. Deuxièmement, un imageur CMOS de Colonne Actif (CMOS-ACS) du 32x32 pixels est mis en œuvre sur une technologie CMOS 0,35 um. Dans une interface d'or-eau avec une excitation de prisme, on constate que pour les prismes avec des indices de réfraction de 1,55 et 1,46, le couplage optimal avec le plasmon est obtenu pour des films d'or d'une épaisseur de 50 et 45 nm, respectivement. Dans ces conditions, environ 99,19% et 99,99% de l'énergie de la lumière incidente est transférée à le surface plasmon pour les deux prismes respectivement, à condition que la lumière incidente, avec une longueur d'onde de 633 nm, arrive avec un angle d'incidence de 68,45° et 79,05° respectivement. Il est également obtenu qu'un changement de RIU 10-4 de l'indice de réfraction du milieu diélectrique, produit un changement de 0,01 ° dans l'angle de résonance de plasmons qui, dans un schéma de modulation d'intensité de lumière produit une variation de 0,08% dans la lumière réfléchie au photodétecteur. En ce qui concerne le imageur CMOS, une photodiode n-well/p-substrate est choisi comme l'élément de photodétection, en raison de sa faible capacité de jonction, ce qui conduit à un rendement élevé et le gain de conversion élevé comparativement à une photodiode n-diff/p-substrate. Des simulations sur ordinateur avec Cadence et Silvaco produit une capacité de jonction de 31 FF et 135 fF respectivement. Le pixel de l'imageur est basé sur une configuration à trois transistors (3T) et présente un facteur de remplissage de 61%. Le circuit de lecture utilise une technique de capteur de colonne actif (ACS) pour réduire le bruit à motif fixe (Fixed Pattern Noise ou FPN en anglais) liée au le Capteur à Pixels Actif (APS) traditionnelle. En outre, Non-Corrélés Echantillonnage Double (Non-Correlated Double Sampling ou NCDS en anglais) et Delta double échantillonnage (DDS) sont utilisés comme techniques de réduction du bruit. Un montage optique expérimental est utilisé pour caractériser les performances de l'imageur, et nous avons obtenu un gain en conversion de 7,3 uV/e-, une capacité de jonction de la photodiode de 22 fF, un bruit de lecture de 324,5 uV, ce qui équivaut à 45 électrons, et une gamme dynamique de 50,5 dB. Les avantages de l'ACS et NCDS-DDS sont observées dans le niveau faible de FPN du pixel et de la colonne, avec une valeur de 0,09% et 0,06% respectivement. Le travail présenté dans cette thèse est une première étape vers l'objectif de développer une plateforme entièrement intégrée SPR pour biocapteurs, incorporant source de lumière, l'interface SPR, canal microfluidique, les éléments d'optique et imageur CMOS.

This dissertation presents the design and implementation of a CMOS imager for use in integrated biosensors based on Surface Plasmon Resonance. First, the optimal conditions for plasmon resonance in a CMOS/Post-CMOS compatible interface are obtained by COMSOL modelling. Second, a 32x32-pixel CMOS-Active Column Sensor (CMOS-ACS) is implemented on 0.35 um CMOS technology. In a gold-water interface with prism excitation, it is found that for prisms showing refractive indexes of 1.55 and 1.46, optimal plasmon coupling is obtained for gold films with thicknesses of 50 and 45 nm respectively. Under these conditions, approximately 99.19% and 99.99% of the incident light's energy is transferred to the surface plasmon for both prism respectively, provided that the incident light, with a wavelength of 633 nm, arrives with incidence angles of 68.45° and 79.05° respectively. It is also obtained that a change of 10-4 RIU in the refractive index of the dielectric medium, produces a change of 0.01° in the plasmon resonance angle, which under a light intensity modulation scheme produces a change of 0.08% in the reflected light's energy reaching the photodetector. Concerning the CMOS imager, a n-well/p-substrate photodiode is selected as the photosensing element, due to its low junction capacitance, which results in high efficiency and high conversion gain compared to the n-diff/p-substrate photodiode. Computer simulations with Cadence and Silvaco produced a junction capacitance of 31 fF and 135 fF respectively. The imager's pixel is based on a three-transistor (3T) configuration and shows a fill factor of 61%. The readout circuitry employs an Active Column Sensor (ACS) technique to reduce the Fixed Pattern Noise (FPN) associated with traditional Active Pixel Sensors (APS). Additionally, Non-Correlated Double Sampling (NCDS) and Delta Double Sampling (DDS) are used as noise reduction techniques. An experimental optical setup is used to characterize the performance of the imager, obtaining a conversion gain of 7.3 uV/e-, a photodiode junction capacitance of 21.9 fF, a read noise of 324.5 uV, equivalent to ~45 e- and a dynamic range of 50.5 dB. The benefits of ACS and NCDS-DDS are observed in the low pixel and column FPN of 0.09% and 0.06% respectively. The work presented in this thesis is a first step towards the goal of developing a fully integrated SPR-biosensing platform incorporating light source, SPR interface, microfluidic channel, optical elements and CMOS imager.; Cette thèse présente la conception et la mise en œuvre d'un imageur CMOS pour être utilisé dans biocapteurs intégrés basés sur Résonance Plasmonique de Surface (SPR). Tout d'abord, les conditions optimales pour la résonance plasmon dans une interface compatible CMOS / post-CMOS sont obtenus par modélisation avec COMSOL. Deuxièmement, un imageur CMOS de Colonne Actif (CMOS-ACS) du 32x32 pixels est mis en œuvre sur une technologie CMOS 0,35 um. Dans une interface d'or-eau avec une excitation de prisme, on constate que pour les prismes avec des indices de réfraction de 1,55 et 1,46, le couplage optimal avec le plasmon est obtenu pour des films d'or d'une épaisseur de 50 et 45 nm, respectivement. Dans ces conditions, environ 99,19% et 99,99% de l'énergie de la lumière incidente est transférée à le surface plasmon pour les deux prismes respectivement, à condition que la lumière incidente, avec une longueur d'onde de 633 nm, arrive avec un angle d'incidence de 68,45° et 79,05° respectivement. Il est également obtenu qu'un changement de RIU 10-4 de l'indice de réfraction du milieu diélectrique, produit un changement de 0,01 ° dans l'angle de résonance de plasmons qui, dans un schéma de modulation d'intensité de lumière produit une variation de 0,08% dans la lumière réfléchie au photodétecteur. En ce qui concerne le imageur CMOS, une photodiode n-well/p-substrate est choisi comme l'élément de photodétection, en raison de sa faible capacité de jonction, ce qui conduit à un rendement élevé et le gain de conversion élevé comparativement à une photodiode n-diff/p-substrate. Des simulations sur ordinateur avec Cadence et Silvaco produit une capacité de jonction de 31 FF et 135 fF respectivement. Le pixel de l'imageur est basé sur une configuration à trois transistors (3T) et présente un facteur de remplissage de 61%. Le circuit de lecture utilise une technique de capteur de colonne actif (ACS) pour réduire le bruit à motif fixe (Fixed Pattern Noise ou FPN en anglais) liée au le Capteur à Pixels Actif (APS) traditionnelle. En outre, Non-Corrélés Echantillonnage Double (Non-Correlated Double Sampling ou NCDS en anglais) et Delta double échantillonnage (DDS) sont utilisés comme techniques de réduction du bruit. Un montage optique expérimental est utilisé pour caractériser les performances de l'imageur, et nous avons obtenu un gain en conversion de 7,3 uV/e-, une capacité de jonction de la photodiode de 22 fF, un bruit de lecture de 324,5 uV, ce qui équivaut à 45 électrons, et une gamme dynamique de 50,5 dB. Les avantages de l'ACS et NCDS-DDS sont observées dans le niveau faible de FPN du pixel et de la colonne, avec une valeur de 0,09% et 0,06% respectivement. Le travail présenté dans cette thèse est une première étape vers l'objectif de développer une plateforme entièrement intégrée SPR pour biocapteurs, incorporant source de lumière, l'interface SPR, canal microfluidique, les éléments d'optique et imageur CMOS.

ISBN : 978-1-4799-0039-8; International audience; Interconnection lines in the sensors of CMOS imagers are used for pixel bias, addressing and readout. Catastrophic faults in these lines can cause parts of the pixel matrix to operate incorrectly and produce image defects like residual stripes and bands in images. These kinds of image defects are often difficult to remove by the image processing correction algorithm, and they are clearly visible as a sort of noise pattern. Among the defects in the pixel array, these catastrophic faults have most important influence on yield. In addition, partially degraded metal lines cannot be detected on todays' standard industrial testers for image sensors. These defects can evolve into catastrophic faults and they are the main cause of customer returns for many products. This paper proposes two built-in self-test (BIST) solutions to catch these defects in the pixel array, taking into account the industrial test constraints, namely increase of fault coverage, decrease of test time and test cost minimization.

International audience; With a basic CMOS imager, it is impossible to encode the High Dynamic Range (HDR) of natural scenes due to several drawbacks: Mainly of them are the limited DR of the pixel and the output limitation due to the quantification of the analog to digital converter (ADC). Many solutions propose to enhanced the input DR or change integration time following the overall content of the scene in order to encode different dynamics in a single digital image [Spivak09]. These solutions imply in general high digital computational cost or loss in term of contrast or details......

International audience; In this paper, we present a novel technique developed in order to extend the dynamic range of a linear CMOS image sensor. This technique allows covering all the range of luminosities by auto-choosing the appropriate integration time. The proposed system is inspired form the human vision where we mimic the neural photoreceptor adaptation. The emulation results of the MATLAB model are shown to validate our approach.

CMOS image sensor based on Active pixel sensor has considerably contributed to the imaging market and research interest in the past decade. Furthermore technology advancement has provided the capability to integrate more and more functionality into a single chip in multiple layers leading to a new paradigm, 3D integration. CMOS image sensor is one such application which could utilize the capability of 3D stacked architecture to achieve dedicated technologies in different layers, wire length reduction, less area, improved performancesThis research work is focused mainly on the early stages of design space exploration using hierarchical approach and aims at reducing time to market. This work investigates the imager from the top-down design perspective. Methodical anal y sis of imager is performed to achieve high level of flexibility and modularity. Re-useable models are developed to explore early design choices throughout the hierarchy. Finally, pareto front (providing trade off solutions) methodology is applied to explore the operating range of individual block at system level to help the designer making his design choice. Furthermore the thermal issues which get aggravated in the 3D stacked chip on the performance of the imager are studied. Systeme based thermal model is built to investigate the behavior of imager pixel matrix and to simulate the pixel matrix at high speed with acceptable accuracy compared to electrical simulations. The modular nature of the model makes simulations with future matrix extension straightforward. Validation of the thermal model with respect to electrical simulations is discussed. Finally an integrated design flow is developed to perform 3D floorplanning and to perform thermal anal y sis of the imager pixel matrix., Pas de résumé

CMOS image sensors find widespread use in various industrial applications including military, surveillance, medical, etc. In these applications, CMOS image sensors are often exposed to large temperature variations. As analogue circuits, these CMOS image sensors are very sensitive to temperature variations, which limit their applications. Until now, no integrated solution for this problem has been proposed. To solve this problem, we study, in this thesis, the temperature effects on the two most known types of CMOS image sensors. Several compensation structures are proposed. They generally return to the three existing methods and never applied to image sensors. The first method uses an entrance at the pixel level to be adjusted according to changes in temperature. The second method uses the ZTC (Zero Temperature Coefficient) technique. The third method is based on the method of the bandgap voltage reference. In all cases, we reduce a very interesting way the temperature effect and we get a good temperature stability of the sensor from -30 to 125°C. All the solutions preserve the initial operation of the imager. They also affect a little or not the surface of the pixel., Les capteurs d'images CMOS sont de plus en plus utilisés dans le domaine industriel : la surveillance, la défense, le médical, etc. Dans ces domaines, les capteurs d'images CMOS sont exposés potentiellement à de grandes variations de température. Les capteurs d'images CMOS, comme tous les circuits analogiques, sont très sensibles aux variations de température, ce qui limite leurs applications. Jusqu'à présent, aucune solution intégrée pour contrer ce problème n'a été proposée. Afin de remédier à ce défaut, nous étudions, dans cette thèse, les effets de la température sur les deux types d'imageurs les plus connus. Plusieurs structures de compensation sont proposées. Elles reprennent globalement les trois méthodes existantes et jamais appliquées aux capteurs d'images. La première méthode utilise une entrée au niveau du pixel qui sera modulée en fonction de l'évolution de la température. La deuxième méthode utilise la technique ZTC (Zero Temperature Coefficient). La troisième méthode est inspirée de la méthode de la tension de référence bandgap. Dans tous les cas, nous réduisons de manière très intéressante l'effet de la température et nous obtenons une bonne stabilité en température de -30 à 125°C. Toutes les solutions proposées préservent le fonctionnement initial de l'imageur. Elles n'impactent également pas ou peu la surface du pixel.

International audience; Displacement damage effects due to proton and neutron irradiations of CMOS image sensors dedicated to imaging are presented through the analysis of the dark current behavior in pixel arrays and isolated photodiodes. The mean dark current increase and the dark current nonuniformity are investigated. Dark current histogram observations are compared to damage energy distributions based on GEANT 4 calculations. We also discuss, through annealing analysis, which defects could be responsible for the dark current in CMOS image sensors.

International audience; A high speed analog VLSI image acquisition and low-level image processing system is presented. The architecture of the chip is based on a dynamically reconfigurable SIMD processor array. The chip features a massively parallel architecture enabling the computation of programmable mask-based image processing in each pixel. Each pixel include a photodiode, an amplifier, two storage capacitors, and an analog arithmetic unit based on a four-quadrant multiplier architecture. A 64 × 64 pixel proof-of-concept chip was fabricated in a 0.35 μm standard CMOS process, with a pixel size of 35 μm × 35 μm. The chip can capture raw images up to 10,000 fps and runs low-level image processing at a framerate of 2,000–5,000 fps

A high-speed analog VLSI image acquisition and pre-processing system has been designed and fabricated in a 0.35 ?m standard CMOS process. The chip features a massively parallel architecture enabling the computation of programmable low-level image processing in each pixel. Extraction of spatial gradients and convolutions such as Sobel or Laplacian filters are implemented on the circuit. For this purpose, each 35 ?m × 35 ?m pixel includes a photodiode, an amplifier, two storage capacitors, and an analog arithmetic unit based on a four-quadrant multiplier architecture. The retina provides address-event coded output on three asynchronous buses: one output dedicated to the gradient and the other two to the pixel values. A 64 × 64 pixel proof-of-concept chip was fabricated. A dedicated embedded platform including FPGA and ADCs has also been designed to evaluate the vision chip. Measured results show that the proposed sensor successfully captures raw images up to 10 000 frames per second and runs low-level image processing at a frame rate of 2000 to 5000 frames per second.

International audience; This paper presents the architecture, algorithm and VLSI hardware of image acquisition, storage and compression on a single-chip CMOS image sensor. The image array is based on time domain digital pixel sensor technology equipped with non-destructive storage capability using 8-bit Static-RAM device embedded at the pixel level. An adaptive quantization scheme based on Fast Boundary Adaptation Rule (FBAR) and Differential Pulse Code Modulation (DPCM) procedure followed by an on-line Quadrant Tree Decomposition (QTD) processing is proposed enabling a robust and compact image compression processor. A prototype chip including 64x64 pixels, read-out and control circuitry as well as the compression processor was implemented in 0.35um CMOS technology with a silicon area of 3.2x3.0 mm2. Simulation results show compression figures corresponding to 0.6-0.8 Bit-per-Pixel (BPP), while maintaining reasonable PSNR levels.

International audience; We present a CMOS image sensor for speed determination of fast moving luminous objects. Our circuit furnishes a 16-gray level image that contains both spatial and temporal information on the fast moving object under observation. The spatial information is given by the coordinates of the illuminated pixels and the temporal information is coded in the gray level of the pixels. By applying simple image processing algorithms to the image, the trajectory, direction of motion and speed of the moving object can be determined. The circuit is designed and fabricated in standard CMOS 0.6 μm process from Austria MicroSystems (AMS). The core of the circuit is an array of 64 × 64 pixels based on an original Digital Pixel Sensor (DPS) architecture. Each pixel is composed of a photodiode as the light sensing element, a comparator, a pulse generator and a 4-bit static memory for storing the gray value of the pixel. The working principle of the circuit, its design and some quantitative experimental results are presented in the paper.

CMOS image sensors (or APS: Active pixel sensors) are now the technology of choice for most imaging applications, such as digital video cameras. Whereas their sensitivity doesn't reach the one of the best actual CCD's (whose fill factor is about 100%), they are now commonly used because of their multiple functionalities (windowing, on-chip signal processing) and their easy serial fabrication. In this paper, we present a study of different pixel photodiodes and architectures, in order to increase their sensitivity and reduce their spatial and temporal noise. These chips will be used in satellite star trackers, and should be hardened to radiation. Two different architectures are investigated. The first one uses the photodiode capacitance for signal integration, as it is usually done in literature [1–3]. This capacitance should be as lower as possible, to increase conversion factor (the gain of the pixel) and reduce reset noise, and that's why different standard CMOS photodiodes have been studied and quantified. The second architecture uses a low-value poly1/poly2 capacitor inside each pixel for signal integration, thus resulting in increasing the gain but degrading the fill factor.