Search

In this thesis we study two non-localstatistics in images from a probabilistic point of view: spatialredundancy and convolutional neural network features. Moreprecisely, we are interested in the estimation and detection ofspatial redundancy in naturalimages. We also aim at sampling images with neural network constraints.We start by giving a definition of spatial redundancy in naturalimages. This definition relies on two concepts: a Gestalt analysisof the notion of similarity in images, and a hypothesis testingframework (the a contrario method). We propose an algorithm toidentify this redundancy in natural images. Using this methodologywe can detect similar patches in images and, with this information,we propose new algorithms for diverse image processing tasks(denoising, periodicity analysis).The rest of this thesis deals with sampling images with non-localconstraints. The image models we consider are obtained via themaximum entropy principle. The target distribution is then obtainedby minimizing an energy functional. We use tools from stochasticoptimization to tackle thisproblem.More precisely, we propose and analyze a new algorithm: the SOUL(Stochastic Optimization with Unadjusted Langevin) algorithm. Inthis methodology, the gradient is estimated using Monte Carlo MarkovChains methods. In the case of the SOUL algorithm we use an unadjustedLangevin algorithm. The efficiency of the SOUL algorithm is relatedto the ergodic properties of the underlying Markov chains. Thereforewe are interested in the convergence properties of certain class offunctional autoregressive models. We characterize precisely thedependency of the convergence rates of these models with respect totheir parameters (dimension, smoothness,convexity).Finally, we apply the SOUL algorithm to the problem ofexamplar-based texture synthesis with a maximum entropy approach. Wedraw links between our model and other entropy maximizationprocedures (macrocanonical models, microcanonical models). Usingconvolutional neural network constraints we obtain state-of-the artvisual results., Dans cette thèse, on étudie d'un point de vueprobabiliste deux statistiques non locales dans les images : laredondance spatiale et les moments de certaines couches de réseauxde neurones convolutionnels. Plus particulièrement, on s'intéresse àl'estimation et à la détection de la redondance spatiale dans lesimages naturelles et à l'échantillonnage de modèles d'images souscontraintes de moments de sorties de réseaux deneurones.On commence par proposer une définition de la redondance spatialedans les images naturelles. Celle-ci repose sur une analyseGestaltiste de la notion de similarité ainsi que sur un cadrestatistique pour le test d'hypothèses via la méthode acontrario. On développe un algorithme pour identifier cetteredondance dans les images naturelles. Celui-ci permet d'identifierles patchs similaires dans une image. On utilise cette informationpour proposer de nouveaux algorithmes de traitement d'image(débruitage, analyse de périodicité).Le reste de cette thèse est consacré à la modélisation et àl'échantillonnage d'images sous contraintes non locales. Les modèlesd'images considérés sont obtenus via le principe de maximumd'entropie. On peut alors déterminer la distribution cible sur lesimages via une procédure de minimisation. On aborde ce problème enutilisant des outils issus de l'optimisationstochastique.Plus précisément, on propose et analyse un nouvel algorithme pourl'optimisation stochastique : l'algorithme SOUL (StochasticOptimization with Unadjusted Langevin). Dans cette méthodologie, legradient est estimé par une méthode de Monte Carlo par chaîne deMarkov (ici l'algorithme de Langevin non ajusté). Les performancesde cet algorithme repose sur les propriétés de convergenceergodiques des noyaux de Markov associés aux chaînes de Markovutilisées. On s'intéresse donc aux propriétés de convergencegéométrique de certaines classes de modèles fonctionnelsautorégressifs. On caractérise précisément la dépendance des taux deconvergence de ces modèles vis à vis des constantes du modèle(dimension, régularité,convexité...).Enfin, on applique l'algorithme SOUL au problème de synthèse detexture par maximum d'entropie. On étudie les liens qu'entretientcette approche avec d'autres modèles de maximisation d'entropie(modèles macrocanoniques, modèles microcanoniques). En utilisant desstatistiques de moments de sorties de réseaux de neuronesconvolutionnels on obtient des résultats visuels comparables à ceux del'état de l'art.

This work is concerned with the stochastic modeling and identification of the elastic properties in the so-called interphase region surrounding the inclusions in nanoreinforced composites. For the sake of illustration, a prototypical nanocomposite made up with a model polymer matrix filled by a silica nanoinclusion is considered. Molecular Dynamics (MD) simulations are first performed in order to get a physical insight about the local conformation of the polymer chains in the vicinity of the inclusion surface. In addition, a virtual mechanical testing procedure is proposed so as to estimate realizations of the apparent stiffness tensor associated with the MD simulation box. An information-theoretic probabilistic representation is then proposed as a surrogate model for mimicking the spatial fluctuations of the elasticity field within the interphase. The hyper parameters defining the aforementioned model are subsequently calibrated by solving, in a sequential manner, two inverse problems involving a computational homogenization scheme. The first problem, related to the mean model, is formulated in a deterministic framework, whereas the second one involves a statistical metric allowing the dispersion parameter and the spatial correlation lengths to be estimated. It is shown in particular that the spatial correlation length in the radial direction is roughly equal to the interphase thickness, hence showing that the scales under consideration are not well separated. The calibration results are finally refined by taking into account, by means of a random matrix model, the MD finite-sampling noise; Dans ce travail, nous nous intéressons à la modélisation stochastique continue et à l'identification des propriétés élastiques dans la zone d'interphase présente au voisinage des hétérogénéités dans un nano composite prototypique, composé d'une matrice polymère modèle renforcée par une nano inclusion de silice. Des simulations par dynamique moléculaire (DM) sont tout d'abord conduites afin d'extraire certaines caractéristiques de conformation des chaînes proches de la surface de l'inclusion, ainsi que pour estimer, par des essais mécaniques virtuels, des réalisations du tenseur apparent associé au domaine de simulation. Sur la base des résultats obtenus, un modèle informationnel de champ aléatoire est proposé afin de modéliser les fluctuations spatiales du tenseur des rigidités dans l'interphase. Les paramètres du modèle probabiliste sont alors identifiés par la résolution séquentielle de deux problèmes d'optimisation inverses (l'un déterministe et associé au modèle moyen, l'autre stochastique et lié aux paramètres de dispersion et de corrélation spatiale) impliquant une procédure d'homogénéisation numérique. On montre en particulier que la longueur de corrélation dans la direction radiale est du même ordre de grandeur que l'épaisseur de l'interphase, indiquant ainsi la non-séparation des échelles. Enfin, la prise en compte, par un modèle de matrices aléatoires, du bruit intrinsèque généré par les simulations de DM (dans la procédure de calibration) est discutée

International audience; Une modélisation multi-physique du procédé de soudage par friction rotative basée sur une approche Maximum Entropy (MaxEnt) est proposée. Cette approche permettra de résoudre des pro-blèmes thermo-mécaniques couplés. Les déformations étant très importantes localement au voisinage de la soudure, le temps de remaillage lors d'une simulation par éléments finis classique est important. L'uti-lisation de cette méthode sans maillage à ce jour peu exploitée devrait permettre de réduire les temps de simulation ainsi que le phénomène de diffusion numérique.

Materials displaying a pseudo-brittle behavior have been well studied over the past decade andthe characterization of the cracks network has become nowadays an important step for theunderstanding of their damaging behavior. The aim of this work is to characterize, in the finestavailable way, this crack space in 3D using X-ray computed microtomography. This wasachieved: 1) by designing an in-situ compressive device which maintains a sample in a crackedstate during microtomographic data acquisition and, 2) by processing the images with relevantimage filtering techniques for a better cracks network characterization. Two parameters ofchoice are then measured: the cracks network surface and volume. This work is the first step ofa global procedure which aims to numerically model the mechanical behavior of pseudo-brittlematerials by using real 3D crack geometry.; L'étude de l'endommagement des matériaux à comportement pseudo-fragile fait l'objet denombreuses études et la caractérisation du réseau de fissures constitue une étape nécessairepour une meilleure compréhension de leur comportement. L'objectif principal est ici d'identifierde manière la plus fine possible cet espace fissuré en trois dimensions grâce à la techniqued'imagerie nommée microtomographie X. Pour ce faire, une machine d'essai in-situ a étédéveloppée et une procédure d'analyse des images 3D a été validée. L'objectif du dispositif insituest de maintenir l'échantillon dans différents états fissurés pour rendre possible lesacquisitions microtomographiques. Une fois les images 3D reconstruites, la procédure detraitement est appliquée et l'espace fissuré est identifié. Des mesures sont alors réalisées surl'évolution du réseau de fissures au cours de l'endommagement. Ce travail constitue la premièreétape d'un traitement plus général qui a pour objectif de simuler numériquement lecomportement mécanique de ces matériaux en se basant sur leur géométrie réelle.

National audience; Left dislocations are an important distinguishing feature of spoken French. In this paper, we present a hybrid approach for detecting the coreferential link that holds between left-dislocated elements and the coreferential pronoun occurring further on in the sentence. The approach combines a symbolic graph rewrite step with a maximum entropy classifier and achieves around 40% F-score. We conjecture that developing such approaches could contribute to the general anaphora resolution task and help improve parsers trained on corpora enriched with left dislocation anaphoric links.; Ce travail prend place dans le cadre plus général du développement d'une plate-forme d'analyse syntaxique du français parlé. Nous décrivons la conception d'un modèle automatique pour résoudre le lien anaphorique présent dans les dislocations à gauche dans un corpus de français parlé radiophonique. La détection de ces structures devrait permettre à terme d'améliorer notre analyseur syntaxique en enrichissant les informations prises en compte dans nos modèles automatiques. La résolution du lien anaphorique est réalisée en deux étapes : un premier niveau à base de règles filtre les configurations candidates, et un second niveau s'appuie sur un modèle appris selon le critère du maximum d'entropie. Une évaluation expérimentale réalisée par validation croisée sur un corpus annoté manuellement donne une F-mesure de l'ordre de 40%.

The solution to inverse problems encountered in signal and image processing is often defined as the minimizer of a penalized criterion that accounts simultaneously for the data and the prior. This thesis deals with the minimization of differentiable criteria. We focus more specifically on algorithmic strategies for stepsize determination in iterative descent optimization methods. In Christian Labat's thesis [Labat06], a simple and efficient quadratic majorize-minimize line search method has been proposed (MMQ 1D). This method benefits from strong convergence results when the nonlinear conjugate gradient (NLCG) direction is used. In this thesis, we extend those properties to gradient related algorithms. Moreover, we prove that MMQ 1D generalizes into a multi-dimensional search MMQ rD that ensures the convergence of several subspace algorithms. We experimentally show that the super memory gradient algorithm SMG + MMQ 2D performs better than NLCG + MMQ 1D algorithms, for an image deconvolution test problem. MMQ strategies exclude the case of barrier criteria i.e., functions with unbounded gradient. In this thesis, we propose an original MM line search algorithm for barrier functions, based on a quadratic majorizing function augmented with a logarithmic term. This leads to a simple line search MMLQ 1D that ensures the convergence of several classical descent optimization strategies. We experimentally show that the proposal scheme improves the performances of primal interior point algorithm, for a set of quadratic programming test problems. Finally, we apply the MMLQ 1D approach to maximum entropy reconstruction of bi-dimensional NMR spectra.; La solution des problèmes inverses en traitement du signal et de l'image est souvent définie comme le minimiseur d'un critère pénalisé qui prend en compte conjointement les observations et les informations préalables. Ce travail de thèse s'intéresse à la minimisation des critères pénalisés différentiables. Nous discutons plus précisément de la mise en oeuvre algorithmique de l'étape de recherche de pas dans l'algorithme de descente itérative. Les travaux de thèse de Christian Labat [Labat06] ont mené à l'élaboration de la stratégie de pas par Majoration-Minoration quadratique (MMQ 1D). Cette stratégie se démarque des méthodes de pas standards par sa simplicité d'implémentation et ses propriétés de convergence lorsqu'elle est associée à l'algorithme du gradient conjugué non linéaire (GCNL). Nous étendons ces propriétés à la famille des algorithmes à gradient relié. Nous montrons de plus que l'approche MMQ 1D s'étend en une stratégie de pas multi-dimensionnelle MMQ rD assurant la convergence d'algorithmes de sous-espace. Nous illustrons expérimentalement en déconvolution d'image que l'algorithme de super mémoire de gradient SMG + MMQ 2D est préférable à l'algorithme de gradient conjugué non linéaire GCNL + MMQ 1D. Lorsque le critère pénalisé contient une barrière, c'est-à-dire une fonction dont le gradient est non borné, la procédure de pas MMQ est inapplicable. Nous développons une stratégie de pas tenant compte de la singularité de la barrière à travers des approximations majorantes quadratiques augmentées d'un terme logarithmique. La recherche de pas résultante, notée MMLQ 1D, est simple à mettre en \oe{}uvre et garantit la convergence des algorithmes standards de descente itérative. Nous montrons expérimentalement que la méthode MMLQ 1D accroît les performances de l'algorithme de point intérieur primal pour la programmation quadratique. Nous appliquons enfin cette approche à la reconstruction de spectres RMN bi-dimensionnels par maximum d'entropie.

Dans cet article, nous proposons une étude de cas de l'approche entropie maximale pour le découpage en phrases d'un texte en français. Au contraire de systèmes de découpage basés sur les règles prédéfinies comme le système INTEX, la procédure d'apprentissage de notre système ne requiert aucune règle prédéfinie manuellement, ni de lexique, ni d'informations spécifiques. Etant donné un corpus étiqueté avec les limites des phrases, le système apprend à classifier chaque occurrence de ponctuation comme étant une vraie ou fausse limite de phrase. La performance du système sur un corpus français est comparable aux résultats du système INTEX, 98, 5% pour la précision.

This Phd deals with Bootstrap methods for finite population sampling. The first chapter introduces some bases about sampling and gives an overview of the main variance estimation techniques. A remind on Bootstrap methods for simple random sampling is given in chapter 2, and two new methods are introduced. A Bootstrap algorithm for unequal probability sampling is proposed in chapter 3, and shown to be consistent for variance estimation of plug-in statistics in case of large entropy sampling designs. Balanced sampling is presented in chapter 4, and a fast algorithm is proposed. Former Bootstrap algorithm is shown to be consistent as well in case of variance estimation for a maximum entropy balanced sampling design. Cases of complex sampling designs or reweighting strategies are discussed in chapter 5. An application to the French Renovated Census is given in chapter 6; Cette thèse est consacrée aux méthodes de Bootstrap pour unepopulation ?nie. Le premier chapitre introduit quelques rappels sur l'échantillonnage et propose une présentation synthétique des principales méthodes d'estimation de précision. Le chapitre 2 rappelle les méthodes de Bootstrap proposées pour un sondage aléatoire simple et introduit deux nouvelles mé thodes. Le chapitre 3 donne un nouvel algorithme de Bootstrap, consistant pour l'estimation de variance d'un estimateur par substitution dans le cas d'un tirage à forte entropie. Dans le chapitre 4, nous introduisons la notion d'échantillonnage équilibré et proposons un algorithme rapide. Nous montrons que l'algorithme de Bootstrap proposé est également consistant pour l'estimation de variance d'un tirage équilibré à entropie maximale. Le cas d'un échantillonnage complexe et celui d'un redressement est traité au chapitre 5. Une application au Nouveau Recensement de la population est donnée dans le chapitre 6.

Développer une méthode de caractérisation théorique complète d'un spray sur base de la connaissance du mécanisme de formation des gouttes et pouvant être appliquée de façon similaire quel que soit le type de spray, constitue l'axe central de la présente recherche. La difficulté principale étant la connaissance de la physique de rupture de la nappe liquide en gouttelettes, l'étude entreprise s'est attachée à la description du spray ultrasonique, qui a l'avantage d'impliquer un mécanisme de formation d'ondes de surface (ondes de Faraday) largement étudié. Les moyens mis en oeuvre pour trouver la loi de distribution théorique qui décrit au mieux la pulvérisation ultrasonique sont, d'un côté, l'analyse de l'instabilité des ondes de surface, qui permet de déterminer les caractéristiques moyennes du spray, et de l'autre, une méthode stochastique, le formalisme de l'entropie maximale, qui fournit la distribution la plus probable basée sur les caractéristiques moyennes et sur les lois de conservation élémentaires applicables à tout type de pulvérisation (conservation de la masse et de l'énergie). La validation expérimentale de cette nouvelle approche théorique a permis en outre de développer de nouveaux designs de pulvérisateurs performants.// To develop a method of complete theoretical characterization of a spray based on the knowledge of the of droplet formation mechanism and being able to be applied in a similar way whatever the type of spray, constitute the central axis of this research. The main difficulty being the knowledge of the physics of liquid film break-up into droplets, the study undertaken was concerned with the description of the ultrasonic spray, which has the advantage of implying a mechanism of formation of surface waves (Faraday waves) largely studied. The means implemented to find the theoretical droplet size distribution which describes ultrasonic atomization as well as possible are, first, analysis of surface waves instability, which allows to determine the average characteristics of the spray, and then, a stochastic method, the maximum entropy formalism, which provides the most probable distribution based on the average characteristics and the elementary laws of conservation applicable to any type of atomization (mass and energy conservation). The experimental validation of this new theoretical approach made it possible moreover to develop new designs of powerful ultrasonic atomizers. (FSA 3)--UCL, 2003

Mathematical foundations of the F+D approach. This paper is a continuation of the paper entitled "Interprétation ou Description (I) : Proposition pour une théorie probabiliste des systèmes cognitifs sensori-moteurs". Its purpose is to introduce the mathematical basis of the F+D approach presented in the first paper. The two fundamental components needed in our approach are discussed. On the one hand, the formal rules to reason about uncertain and incomplete knowledge. On the other hand, the maximum entropy principle, which clarifies the link between "descriptions" and experiments and offers a clear and sound theoretical framework for learning., Cet article fait suite à l'article "Interprétation ou Description (I) : Proposition pour une théorie probabiliste des systèmes cognitifs sensori-moteurs". Son objectif est de présenter les fondements mathématiques de l'approche F+D présentés dans le premier article. Les deux composantes fondamentales dont nous avons besoin pour notre approche F+D sont présentées. D'une part, des règles formelles permettant de raisonner sur des données incertaines et incomplètes. D'autre part, le principe de maximum d'entropie, qui permet de clarifier le lien entre descriptions et expériences et donne un cadre théorique général pour l'apprentissage., Bessière Pierre, Dedieu Éric, Lebeltel Olivier, Mazeret Emmanuel, Mekhnacha Kamel. II. Fondements mathématiques de l'approche F+D. In: Intellectica. Revue de l'Association pour la Recherche Cognitive, n°26-27, 1998/1-2. Sciences sociales et cognition. pp. 313-336.

Une méthode de reconstruction défectométrique permettant de reconstituer une distribution tridimensionnelle représentative de défauts situés au sein d'un solide, à partir d'un ensemble incomplet et bruité de données, est présentée. Le problème direct est résolu numériquement par la méthode des éléments analytiques, en utilisant un schéma implicite à directions alternées. Un algorithme itératif d'optimisation avec contraintes, associe à une technique de régularisation basée sur le principe de l'entropie maximale est utilisé pour résoudre le problème inverse. Des résultats numériques et expérimentaux attestent la bonne performance de la méthode d'inversion proposée. A reconstruction technique of three-dimensional internal defect distribution, from incomplete and noisy data sets, is presented. The direct problem is solved numericaly by the finite analytic method, using an alternating direction implicit approach. A constrained optimisation algorithm associated to a maximum entropy regularisation technique is used to solve the inverse problem. Numerical and experimental results are presented and demonstrate the good general performance of the proposed inversion method.

En tomographie de diffraction, le théorème de Radon généralisé permet de relier la Transformée de Fourier (TF) du champ diffracté mesuré sur une ligne droite à la TF 2-D de l'objet sur un contour algébrique, qui est un demi-cercle dans le cas des approximations de Born ou de Rytov. Pour améliorer la résolution insuffisante des méthodes d'interpolation usuellement utilisées, nous proposons une méthode de synthèse de Fourier par Maximum d'Entropie (ME). Pour cela on définit l'entropie d'une image considérée comme une fonction de R 2 dans C. Une statistique du χ2 est ajoutée à l'entropie pour la prise en compte du bruit. Un algorithme de reconstruction utilisant les techniques du gradient conjugué est présenté et, finalement, une comparaison est faite entre des résultats obtenus par les méthodes classiques de reconstruction et notre méthode.