1. On Representer Theorems and Convex Regularization
- Author
-
Vincent Duval, Yohann De Castro, Antonin Chambolle, Claire Boyer, Pierre Weiss, Frédéric de Gournay, Département de Mathématiques et Applications - ENS Paris ( DMA ), École normale supérieure - Paris ( ENS Paris ) -Centre National de la Recherche Scientifique ( CNRS ), Laboratoire de Probabilités, Statistique et Modélisation ( LPSM UMR 8001 ), Université Paris Diderot - Paris 7 ( UPD7 ) -Sorbonne Université-Centre National de la Recherche Scientifique ( CNRS ), Centre de Mathématiques Appliquées - Ecole Polytechnique ( CMAP ), École polytechnique ( X ) -Centre National de la Recherche Scientifique ( CNRS ), Laboratoire de Mathématiques d'Orsay ( LMO ), Université Paris-Saclay-Centre National de la Recherche Scientifique ( CNRS ), Méthodes numériques pour le problème de Monge-Kantorovich et Applications en sciences sociales ( MOKAPLAN ), CEntre de REcherches en MAthématiques de la DEcision ( CEREMADE ), Université Paris-Dauphine-Centre National de la Recherche Scientifique ( CNRS ) -Université Paris-Dauphine-Centre National de la Recherche Scientifique ( CNRS ) -Inria de Paris, Institut National de Recherche en Informatique et en Automatique ( Inria ) -Institut National de Recherche en Informatique et en Automatique ( Inria ), Université Paris-Dauphine-Centre National de la Recherche Scientifique ( CNRS ), Institut de Mathématiques de Toulouse UMR5219 ( IMT ), Université Toulouse 1 Capitole ( UT1 ) -Université Toulouse - Jean Jaurès ( UT2J ) -Université Toulouse III - Paul Sabatier ( UPS ), Université Fédérale Toulouse Midi-Pyrénées-Université Fédérale Toulouse Midi-Pyrénées-PRES Université de Toulouse-Institut National des Sciences Appliquées - Toulouse ( INSA Toulouse ), Institut National des Sciences Appliquées ( INSA ) -Institut National des Sciences Appliquées ( INSA ) -Centre National de la Recherche Scientifique ( CNRS ), Institut des Technologies Avancées en sciences du Vivant ( ITAV ), Centre National de la Recherche Scientifique ( CNRS ), Département de Mathématiques et Applications - ENS Paris (DMA), École normale supérieure - Paris (ENS Paris)-Centre National de la Recherche Scientifique (CNRS), Laboratoire de Probabilités, Statistique et Modélisation (LPSM (UMR_8001)), Université Paris Diderot - Paris 7 (UPD7)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS), Centre de Mathématiques Appliquées - Ecole Polytechnique (CMAP), École polytechnique (X)-Centre National de la Recherche Scientifique (CNRS), Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS), Méthodes numériques pour le problème de Monge-Kantorovich et Applications en sciences sociales (MOKAPLAN), CEntre de REcherches en MAthématiques de la DEcision (CEREMADE), Université Paris Dauphine-PSL-Centre National de la Recherche Scientifique (CNRS)-Université Paris Dauphine-PSL-Centre National de la Recherche Scientifique (CNRS)-Inria de Paris, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université Paris Dauphine-PSL-Centre National de la Recherche Scientifique (CNRS), Institut de Mathématiques de Toulouse UMR5219 (IMT), Institut National des Sciences Appliquées - Toulouse (INSA Toulouse), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université Toulouse 1 Capitole (UT1)-Université Toulouse - Jean Jaurès (UT2J)-Université Toulouse III - Paul Sabatier (UT3), Université Fédérale Toulouse Midi-Pyrénées-Université Fédérale Toulouse Midi-Pyrénées-Centre National de la Recherche Scientifique (CNRS), Institut des Technologies Avancées en sciences du Vivant (ITAV), Université Toulouse III - Paul Sabatier (UT3), The work of Antonin Chambolle was partially supported by a grant of the Simons Foundation., Centre National de la Recherche Scientifique (CNRS)-École normale supérieure - Paris (ENS Paris), Université Paris sciences et lettres (PSL)-Université Paris sciences et lettres (PSL), Laboratoire de Probabilités, Statistiques et Modélisations (LPSM (UMR_8001)), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Inria de Paris, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-CEntre de REcherches en MAthématiques de la DEcision (CEREMADE), Centre National de la Recherche Scientifique (CNRS)-Université Paris Dauphine-PSL, Université Paris sciences et lettres (PSL)-Université Paris sciences et lettres (PSL)-Centre National de la Recherche Scientifique (CNRS)-Université Paris Dauphine-PSL, Centre d'Enseignement et de Recherche en Mathématiques et Calcul Scientifique (CERMICS), École des Ponts ParisTech (ENPC), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université Toulouse 1 Capitole (UT1), Université Fédérale Toulouse Midi-Pyrénées-Université Fédérale Toulouse Midi-Pyrénées-Université Toulouse - Jean Jaurès (UT2J)-Université Toulouse III - Paul Sabatier (UT3), Université Fédérale Toulouse Midi-Pyrénées-Centre National de la Recherche Scientifique (CNRS), Centre National de la Recherche Scientifique (CNRS)-Université Toulouse III - Paul Sabatier (UT3), Université Fédérale Toulouse Midi-Pyrénées-Université Fédérale Toulouse Midi-Pyrénées, École normale supérieure - Paris (ENS-PSL), Université Paris sciences et lettres (PSL)-Université Paris sciences et lettres (PSL)-Centre National de la Recherche Scientifique (CNRS), Université Paris Dauphine-PSL, Université Paris sciences et lettres (PSL)-Université Paris sciences et lettres (PSL)-Centre National de la Recherche Scientifique (CNRS)-Inria de Paris, Université Toulouse Capitole (UT Capitole), Université de Toulouse (UT)-Université de Toulouse (UT)-Institut National des Sciences Appliquées - Toulouse (INSA Toulouse), Institut National des Sciences Appliquées (INSA)-Université de Toulouse (UT)-Institut National des Sciences Appliquées (INSA)-Université Toulouse - Jean Jaurès (UT2J), Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT)-Centre National de la Recherche Scientifique (CNRS), Université de Toulouse (UT)-Université de Toulouse (UT)-Centre National de la Recherche Scientifique (CNRS), and École normale supérieure - Paris (ENS Paris)
- Subjects
FOS: Computer and information sciences ,Inverse problems ,[ MATH.MATH-OC ] Mathematics [math]/Optimization and Control [math.OC] ,Class (set theory) ,Computer Science - Information Theory ,0211 other engineering and technologies ,010103 numerical & computational mathematics ,02 engineering and technology ,[ MATH.MATH-IT ] Mathematics [math]/Information Theory [math.IT] ,01 natural sciences ,Theoretical Computer Science ,FOS: Mathematics ,Applied mathematics ,0101 mathematics ,Extreme point ,Mathematics - Optimization and Control ,Mathematics ,Representer theorem ,Total variation ,021103 operations research ,Vector space ,Information Theory (cs.IT) ,Regular polygon ,[MATH.MATH-IT]Mathematics [math]/Information Theory [math.IT] ,Extension (predicate logic) ,Inverse problem ,Optimization and Control (math.OC) ,Convex regularization ,[MATH.MATH-OC]Mathematics [math]/Optimization and Control [math.OC] ,Convex function ,Software - Abstract
International audience; We establish a general principle which states that regularizing an inverse problem with a convex function yields solutions which are convex combinations of a small number of atoms. These atoms are identified with the extreme points and elements of the extreme rays of the regularizer level sets. An extension to a broader class of quasi-convex regularizers is also discussed. As a side result, we characterize the minimizers of the total gradient variation, which was still an unresolved problem.
- Published
- 2018