Search

International audience; La communauté informatique commence doucement à se préoccuper des problèmes de reproductibilité de ses expériences. Le nombre de contributions sous le label "reproductibilité" est en croissance et des conférences demandent maintenant une évaluation des artéfacts par les pairs. Cependant, nous pensons que les problématiques qui y sont adressées ne sont que partiellement comprises ou utiles à la cause. La contribution principale de ce papier est l'exposition des imperfections en termes de reproductibilité des pratiques actuelles et des outils usuels pour la mise en place d'un environnement logiciel pour une expérience. Nous présentons ensuite une méthodologie se basant sur des gestionnaires de paquets fonctionnels pour favoriser une bonne reproductibilité de l'environnement logiciel.

L’étude de la production du photographe suisse Gaston de Jongh montre combien les années 1930 sont une période charnière de l'histoire de la photographie en couleurs. À cette époque, scientifiques, photographes et imprimeurs travaillent en étroite collaboration à la recherche d'un procédé accessible et de haute qualité, alors que ‒ entre l’ère de l’Autochrome et celle du Kodachrome ‒ aucune technique ne s’impose. Une attention particulière sera portée au rôle joué par la publicité comme moteur de cette recherche. The study of the Swiss professional photographer Gaston de Jongh’s production shows that the 1930s were a pivotal period in the history of colour photography. At that time, scientists, photographers and printers were working closely in the search for a high‑quality and accessible colour process, while ‒ between the Autochrome and the Kodachrome eras ‒ no process seemed to establish itself. Particular attention will be paid to the role of advertising as a driving force behind this technical advancement.

Distributed infrastructures for computation and analytics are now evolving towards an interconnected ecosystem allowing complex applications to be executed on the Edge-to-Cloud continuum. Understanding and optimizing end-to-end performance in such a complex continuum is challenging. One crucial challenge is accurately reproducing relevant behaviors of a given application workflow and representative settings of the physical infrastructure underlying this complex continuum. This thesis is a conceptual and practical contribution to the Edge-to-Cloud continuum, proposing and applying methodologies in novel environments. Our methodologies aim at overcoming the complexity of understanding and optimizing Edge-to-Cloud workflows. As such, they enable reproducible experiment design, application optimization, efficient workflow provenance capture, and cost-effective experiment reproducibility. We validated our proposal by first developing the E2Clab framework that supports the complete analysis cycle of an application on the Edge-to-Cloud Continuum and then using E2Clab to optimize Pl@ntNet, a global plant identification application. Large-scale experimental validation on Grid'5000 shows that our methodology has proven helpful for understanding and improving the performance of Pl@ntNet.; Les infrastructures distribuées pour le calcul et l'analyse évoluent désormais vers un écosystème interconnecté permettant l'exécution d'applications complexes dans le continuum Edge-to-Cloud. Comprendre et optimiser les performances de bout en bout dans ce contexte est un défi majeur. Un besoin crucial consiste à reproduire avec précision les comportements pertinents des workflows et les paramètres représentatifs de l'infrastructure physique sous-jascente.Cette thèse est une contribution conceptuelle et pratique au continuum Edge-to-Cloud, proposant des méthodologies et les appliquant dans des environnements novateurs. Nos méthodologies ont pour but de s'affranchir de la complexité de la compréhension et de l'optimisation des workflows dans le continuum Edge-to-Cloud. Ainsi, elles permettent la conception d'expériences reproductibles, l'optimisation des applications, la capture efficace des données de provenance des exécutions de workflows, et la reproductibilité des expériences. Nous avons validé notre proposition avec, d'abord, le développement du framework E2Clab qui supporte le cycle complet d’analyse d’une application dans le continuum Edge-to-Cloud, et ensuite, l'utilisation de E2Clab pour l'optimisation Pl@ntNet, une application mondiale d'identification des plantes. La validation expérimentale à grande échelle sur Grid'5000 montre que notre méthodologie s'est avérée utile pour comprendre et améliorer les performances de Pl@ntNet.

Les variations asymptomatiques (VA) osseuses et dentaires sont grandement utilisées en anthropologie biologique, notamment pour appréhender les affinités intra- et inter-populationnelles. Cette étude se concentre sur la première étape de toute étude : la répétabilité et la reproductibilité de la méthode mise en place. À partir de l’utilisation du coefficient de Kappa la fiabilité de 198 variables réparties en trois zones anatomiques (crâne, post-crâne et dents) a été analysée. L’échantillon utilisé a été sélectionné parmi les individus les mieux représentés et conservés de la collection ostéo-archéologique Notre-Dame-du-Bourg (Digne-les-Bains, périodes médiévale et moderne). Les analyses ont été réalisées, suite à quatre séries de cotations (trois observatrices), et lorsque plus de 20 observations sur des variables polymorphiques ont été obtenues. La qualité de l’accord a été établie selon l’échelle de Fleiss et al. (2003). Bien que les données manquantes aient été un frein dans cette étude, plusieurs propositions sont faites afin de palier ce phénomène. De plus, nous mettons en avant et discutons le fait que l’expérience a un impact sur l’observation des variables qualitatives. Au final, un protocole basé sur la sélection de VA répétables et reproductibles est proposé pour normaliser les comparaisons entre études dans un contexte aussi bien bioarchéologique que médico-légal. Asymptomatic variations (AV) in bones and teeth are widely used in biological anthropology, particularly to understand intra- and inter-population affinities. This study focuses on the first step of any study: the repeatability and reproducibility of the method implemented. Using the Kappa coefficient, the reliability of 198 variables divided into three anatomical areas (cranial, post-cranial and teeth) was analyzed. The sample used was selected among the best represented and best preserved individuals of the Notre-Dame-du-Bourg osteo-archaeological collection (Digne-les-Bains, medieval and modern period). The analyses were performed after four rounds of scoring (three observers), and when more than 20 observations of polymorphic variations were obtained. The quality of agreement was established according to the Fleiss et al. scale (2003). Although missing data were a hindrance in this study, several proposals were made to overcome the problem. We also highlight and discuss the fact that experience has an impact on the observation of qualitative variables. The outcome is a proposal for a protocol based on selecting repeatable and reproducible AVs to normalize comparisons between studies in both osteoarchaeological and forensic contexts.

International audience; Asymptomatic variations (AV) in bones and teeth are widely used in biological anthropology, particularly to understand intra- and inter-population affinities.This study focuses on the first step of any study: the repeatability and reproducibility of the method implemented. Using the Kappa coefficient, the reliability of 198 variables divided into three anatomical areas (cranial, post-cranial and teeth) was analyzed. The sample used was selected among the best represented and best preserved individuals of the Notre-Dame-du-Bourg osteo-archaeological collection (Digne-les-Bains, medieval and modern period). The analyses were performed after four rounds of scoring (three observers), and when more than 20 observations of polymorphic variations were obtained. The quality of agreement was established according to the Fleiss et al. scale (2003). Although missing data were a hindrance in this study, several proposals were made to overcome the problem. We also highlight and discuss the fact that experience has an impact on the observation of qualitative variables. The outcome is a proposal for a protocol based on selecting repeatable and reproducible AVs to normalize comparisons between studies in both osteoarchaeological and forensic contexts.; Les variations asymptomatiques (VA) osseuses et dentaires sont grandement utilisées en anthropologie biologique, notamment pour appréhender les affinités intra- et inter-populationnelles. Cette étude se concentre sur la première étape de toute étude : la répétabilité et la reproductibilité de la méthode mise en place. À partir de l’utilisation du coefficient de Kappa la fiabilité de 198 variables réparties en trois zones anatomiques (crâne, post-crâne et dents) a été analysée. L’échantillon utilisé a été sélectionné parmi les individus les mieux représentés et conservés de la collection ostéo-archéologique Notre-Dame-du-Bourg (Digne-les-Bains, périodes médiévale et moderne). Les analyses ont été réalisées, suite à quatre séries de cotations (trois observatrices), et lorsque plus de 20 observations sur des variables polymorphiques ont été obtenues. La qualité de l’accord a été établie selon l’échelle de Fleiss et al. (2003). Bien que les données manquantes aient été un frein dans cette étude, plusieurs propositions sont faites afin de palier ce phénomène. De plus, nous mettons en avant et discutons le fait que l’expérience a un impact sur l’observation des variables qualitatives. Au final, un protocole basé sur la sélection de VA répétables et reproductibles est proposé pour normaliser les comparaisons entre études dans un contexte aussi bien bioarchéologique que médico-légal.

In the aeronautical industry, aeroacoustics is used to model the propagation of acoustic waves in air flows enveloping an aircraft in flight. One can thus simulate the noise produced at ground level by an aircraft during the takeoff and landing phases, in order to validate that the regulatory environmental standards are met and support the design of future planes. Unlike most other complex physics simulations, the method resorts to solving coupled sparse/dense systems. In order to produce a result that is physically realistic, the number of unknowns in the system to solve can be extremely important, which makes its treatment a computational challenge. In this work, we focus on the design and evaluation of algorithms for solving large linear systems of this kind. On the one hand, we propose algorithms using the existing Application Program Interface (API) of fully-featured and well-optimized sparse and dense direct solvers. Thanks to these algorithms, we can get around major shortcomings of a straightforward usage the solvers and fully benefit from their advanced features such as numerical compression, out-of-core computation and distributed memory parallelism. On the other hand, we investigate an alternative solver API relying on the coupling of task-based direct solvers built on top of the same runtime. A custom API allows for a better composability and an easier data exchange between the solvers leading to a more efficient usage of computing resources. While introducing such substantial changes into fully-featured community-driven solvers can only be a long-time work due to their complex codebase (several hundred thousands lines of code), we were able to implement a proof-of-concept of this approach within a non fully-featured prototype. Beyond the main contribution, we put a strong emphasis on the reproducibility of our work. To this end, we explore the principles of literate programming and software tools for ensuring the reproducibility of both experimental environments and numerical experiments themselves across different machines and extended periods of time.; Dans l’industrie aéronautique, l’aéroacoustique est utilisée pour modéliser la propagation d’ondes sonores dans les flux d’air enveloppant un avion en vol. Il est alors possible de simuler le bruit produit par un avion au niveau du sol lors du décollage et de l’atterrissage afin d’assurer le respect des normes environnementales et de permettre la conception de futurs modèles d’avion. Contrairement à la plupart des autres simulations complexes en physique, la méthode consiste en la résolution de systèmes linéaires couplés creux/denses. Pour produire un résultat réaliste, le nombre d’inconnues dans le système peut être extrêmement important ce qui fait de sa résolution un défi de taille. Dans ce travail, nous nous focalisons sur la conception et l’évaluation d’algorithmes pour résoudre de grands systèmes linéaires de ce genre. D’un côté, nous proposons des algorithmes utilisant l’interface de programmation (API) existante de solveurs directs creux et denses riches en fonctionnalités et optimisés. Grâce à ces algorithmes, nous arrivons à contourner les défauts majeurs d’un usage basique de ces solveurs et profiter pleinement de leurs fonctionnalités avancées telles que la compression numérique, le calcul out-of-core et le parallélisme en mémoire distribuée. D’un autre côté, nous évaluons une API de solveur alternative qui s’appuie sur un couplage de solveurs directs à base de tâches utilisant le même moteur d’exécution. Une API personnalisée permet d’améliorer la composabilité et de simplifier l’échange de données entre les solveurs pour une utilisation plus efficace de ressources de calcul. Tandis que l’introduction de ces changements substantiels dans des solveurs aux fonctionnalités avancés et maintenus par la communauté ne peut se faire qu’à long terme à cause de la complexité de leur code source (quelques centaines de milliers de ligne de code), nous avons pu implémenter une preuve de concept de cette approche dans un prototype réduit. Outre la contribution principale, nous avons consacré un important effort à la reproductibilité de notre travail. À cette fin, nous avons exploré les principes de la programmation lettrée ainsi que les outils logiciels associés pour garantir la reproductibilité des environnements expérimentaux et des expériences numériques elles-mêmes sur différentes machines et sur des périodes de temps étendues.

Background: Worldwide coffee production, especially Arabica coffee, is threatened by climatic change, plants diseases and vulnerability of smallholders. Meanwhile, consumers' demand for socially and environmentally sustainable products is steadily increasing, driving the engagement of stakeholders in agro-ecological and social initiatives. Here we present a new organizational model, the “Coffee agroforestry business-driven cluster” (CaFC), which aims at preserving ecosystems while offering producers a fair income. Based on an original local micro value-chain dedicated to sustainable production of high-quality Arabica coffee under agroforestry systems, the CaFC model stands out by addressing the issues around plantation renovation, a crucial process that requires considerable investments from producers. Methods: Based on a pilot project in Nicaragua, we illustrate how the operational principles of CaFC can be applied in a real setting. Using data shared by key stakeholders involved in the project, we assess the profitability of the CaFC model by comparing different scenarios and applying sensitivity analysis. We then reflect on the reproducibility of the model in other contexts, building on lessons learned from ongoing implementations in Vietnam and Cameroon. Results: For producers renovating their plantations, the CaFC model consistently outperforms other scenarios, offering high quality premiums coupled with capacity building, access to highly productive varieties that perform well under agroforestry systems and adapted credit with favourable repayment schemes. Implementation in Vietnam and Cameroon show that the model can be successfully replicated with some adaptation to local contexts. These cases also highlight the importance of mutual interests, trust and communication in enabling collaboration between stakeholders. Conclusions: The CaFC model has great potential for positive environmental and economic impact and offers strong incentives for stakeholders involved in its resulting micro value-chain. The concept was initially developed in Nicaragua for coffee but could also be adapted in other countries or even to other commodities such as cocoa.

This thesis explores several facets necessary for the reproducibility of therapeutic research, by focusing on the initiatives of openness and data sharing put in place to stem the "crisis of reproducibility" experienced by research in general and more particularly biomedical research. We looked at the data sharing policies of funders, and the impact of these policies on the availability, sharing and reuse of data from clinical trials. The studied availability indicators show that current policies are ineffective in ensuring effective data sharing. Funders should adopt a stronger policy on data sharing, including evaluation methods, to ensure that the objectives of sharing are met, all supported by concerted and joint actions with stakeholders such as researchers and the scientific editorial system. We also explored reproducibility in therapeutic research. Data from a random sample of 62 clinical trials were requested via data sharing platforms and then re-analysed. Here we present the first results. The preliminary results relate to 21 randomized clinical trials whose inferential reproducibility has been assessed. The primary outcomes of the reanalysed trials were reproduced at 85.7%. The conclusions of this thesis aim to enlighten research actors and contribute to the improvement of data policies as well as practices, which seek to advance therapeutic research towards more transparency and better reproducibility.; Cette thèse explore plusieurs facettes de la reproductibilité de la recherche thérapeutique, en s’intéressant aux initiatives d’ouverture et de partage de données mis en place pour endiguer la « crise de la reproductibilité » que connait la recherche en général et plus particulièrement la recherche biomédicale. Nous nous sommes intéressés aux politiques de partage de données des financeurs, et à l’impact de ces politiques sur la disponibilité, le partage et la réutilisation des données issues d’essais cliniques. Les indicateurs de disponibilité étudiés relèvent que les politiques actuelles sont inefficaces pour garantir un partage effectif des données. Les financeurs devraient adopter une politique plus forte sur le partage de données, incluant des méthodes d’évaluation, pour s’assurer que les objectifs du partage sont atteints, le tout appuyé par des actions concertées et conjointes avec les acteurs de l’écosystème scientifique tels que les chercheurs et le système éditorial scientifique.Nous avons également exploré la reproductibilité en recherche thérapeutique. Les données d’un échantillon aléatoire de 62 essais cliniques ont été demandées via des plateformes de partage puis réanalysées. Nous présentons ici les premiers résultats. Les résultats préliminaires portent sur 21 essais cliniques randomisés, dont la reproductibilité inférentielle a été évaluée. Les critères de jugements ont été reproduit à 85.7%. Les conclusions de cette thèse visent à informer les acteurs de la recherche et à contribuer à l’amélioration des politiques de données ainsi que des pratiques, qui cherchent à faire progresser la recherche thérapeutique vers plus de transparence et une meilleure reproductibilité.

Chercheurs, enseignants-chercheurs, hâtons-nous de ralentir ! Libérons-nous du syndrome de la Reine Rouge ! Cessons de vouloir courir toujours plus vite pour, finalement, faire du surplace, quand ce n’est pas de la marche arrière ! À l’instar des mouvements slow food, slow city ou slow travel, nous appelons à créer le mouvement slow science. Chercher, réfléchir, lire, écrire, enseigner demande du temps. Ce temps, nous ne l’avons plus, ou de moins en moins. Nos institutions et, bien au-delà, l...

La récente révolution de l'apprentissage automatique s'est fortement appuyée sur l'utilisation de bancs de test standardisés. Ces derniers sont au centre de la méthodologie scientifique en apprentissage automatique, fournissant des cibles et mesures indéniables des améliorations des algorithmes d'apprentissage. Ils ne garantissent cependant pas la validité des résultats ce qui implique que certaines conclusions scientifiques sur les avancées en intelligence artificielle peuvent s'avérer erronées. Nous abordons cette question dans cette thèse en soulevant d'abord la problématique (Chapitre 5), que nous étudions ensuite plus en profondeur pour apporter des solutions (Chapitre 6) et finalement developpons un nouvel outil afin d'amélioration la méthodologie des chercheurs (Chapitre 7). Dans le premier article, chapitre 5, nous démontrons la problématique de la reproductibilité pour des bancs de test stables et consensuels, impliquant que ces problèmes sont endémiques aussi à de grands ensembles d'applications en apprentissage automatique possiblement moins stable et moins consensuels. Dans cet article, nous mettons en évidence l'impact important de la stochasticité des bancs de test, et ce même pour les plus stables tels que la classification d'images. Nous soutenons d'après ces résultats que les solutions doivent tenir compte de cette stochasticité pour améliorer la reproductibilité des bancs de test. Dans le deuxième article, chapitre 6, nous étudions les différentes sources de variation typiques aux bancs de test en apprentissage automatique, mesurons l'effet de ces variations sur les méthodes de comparaison d'algorithmes et fournissons des recommandations sur la base de nos résultats. Une contribution importante de ce travail est la mesure de la fiabilité d'estimateurs peu coûteux à calculer mais biaisés servant à estimer la performance moyenne des algorithmes. Tel qu'expliqué dans l'article, un estimateur idéal implique plusieurs exécution d'optimisation d'hyperparamètres ce qui le rend trop coûteux à calculer. La plupart des chercheurs doivent donc recourir à l'alternative biaisée, mais nous ne savions pas jusqu'à présent la magnitude de la dégradation de cet estimateur. Sur la base de nos résultats, nous fournissons des recommandations pour la comparison d'algorithmes sur des bancs de test avec des budgets de calculs limités. Premièrement, les sources de variations devraient être randomisé autant que possible. Deuxièmement, la randomization devrait inclure le partitionnement aléatoire des données pour les ensembles d'entraînement, de validation et de test, qui s'avère être la plus importante des sources de variance. Troisièmement, des tests statistiques tel que la version du Mann-Withney U-test présenté dans notre article devrait être utilisé plutôt que des comparisons sur la simple base de moyennes afin de prendre en considération l'incertitude des mesures de performance. Dans le chapitre 7, nous présentons un cadriciel d'optimisation d'hyperparamètres développé avec principal objectif de favoriser les bonnes pratiques d'optimisation des hyperparamètres. Le cadriciel est conçu de façon à privilégier une interface simple et intuitive adaptée aux habitudes de travail des chercheurs en apprentissage automatique. Il inclut un nouveau système de versionnage d'expériences afin d'aider les chercheurs à organiser leurs itérations expérimentales et tirer profit des résultats antérieurs pour augmenter l'efficacité de l'optimisation des hyperparamètres. L'optimisation des hyperparamètres joue un rôle important dans les bancs de test, les hyperparamètres étant un facteur confondant significatif. Fournir aux chercheurs un instrument afin de bien contrôler ces facteurs confondants est complémentaire aux recommandations pour tenir compte des sources de variation dans le chapitre 6. Nos recommendations et l'outil pour l'optimisation d'hyperparametre offre une base solide pour une méthodologie robuste et fiable., The recent revolution in machine learning has been strongly based on the use of standardized benchmarks. Providing clear target metrics and undeniable measures of improvements of learning algorithms, they are at the center of the scientific methodology in machine learning. They do not ensure validity of results however, therefore some scientific conclusions based on flawed methodology may prove to be wrong. In this thesis we address this question by first raising the issue (Chapter 5), then we study it to find solutions and recommendations (Chapter 6) and build tools to help improve the methodology of researchers (Chapter 7). In first article, Chapter 5, we demonstrate the issue of reproducibility in stable and consensual benchmarks, implying that these issues are endemic to a large ensemble of machine learning applications that are possibly less stable or less consensual. We raise awareness of the important impact of stochasticity even in stable image classification tasks and contend that solutions for reproducible benchmarks should account for this stochasticity. In second article, Chapter 6, we study the different sources of variation that are typical in machine learning benchmarks, measure their effect on comparison methods to benchmark algorithms and provide recommendations based on our results. One important contribution of this work is that we measure the reliability of a cheaper but biased estimator for the average performance of algorithms. As explained in the article, an ideal estimator involving multiple rounds of hyperparameter optimization is too computationally expensive. Most researchers must resort to use the biased alternative, but it has been unknown until now how serious a degradation of the quality of estimation this leads to. Our investigations provides guidelines for benchmarks on practical budgets. First, as many sources of variations as possible should be randomized. Second, the partitioning of data in training, validation and test sets should be randomized as well, since this is the most important source of variation. Finally, statistical tests should be used instead of ad-hoc average comparisons so that the uncertainty of performance estimation can be accounted for when comparing machine learning algorithms. In Chapter 7, we present a framework for hyperparameter optimization that has been developed with the main goal of encouraging best practices for hyperparameter optimization. The framework is designed to favor a simple and intuitive interface adapted to the workflow of machine learning researchers. It includes a new version control system for experiments to help researchers organize their rounds of experimentations and leverage prior results for more efficient hyperparameter optimization. Hyperparameter optimization plays an important role in benchmarking, with the effect of hyperparameters being a serious confounding factor. Providing an instrument for researchers to properly control this confounding factor is complementary to our guidelines to account for sources of variation in Chapter 7. Our recommendations together with our tool for hyperparameter optimization provides a solid basis for a reliable methodology in machine learning benchmarks.

International audience; La mise au point des environnements logiciels pour l'expérimentation des systèmes distribuées est un processus itératif et souvent laborieux. Pouvoir tester simplement les environnements sur la machine de l'utilisateur ou sur la plateforme cible rend les cycles de développement plus rapides et fluides. Le caractère reproductible de ces environnements est également primordial pour une contribution scientifique rigoureuse. Nous introduisons dans ce papier NixOS Compose, un outil basé sur la distribution NixOS pour la génération reproductible d'environnements distribués. Il permet d'effectuer des déploiements virtualisés (docker, qemu) ou physiques (Grid'5000) avec une description unique. Nos expériences montrent une amélioration en temps de construction des images de l'ordre de 5 et reconstruction d'un facteur 7 par rapport à Kameleon, la solution usuelle pour construire des images sur la plateforme Grid'5000.

In recent years, the lack of reproducibility of research findings has become an important source of concern in many scientific fields, including functional Magnetic Resonance Imaging (fMRI). The low statistical power induced by low sample sizes was identified as one of the leading causes of irreproducibility in fMRI studies. The development of data sharing in the field of neuroimaging opens up new opportunities to perform studies with larger sample sizes by reusing existing data, possibly coming from different datasets. However, doing so may require combining data which have been processed differently. In this thesis, we investigated the impact of analytical variability -- the variability induced by different processing pipelines – on the validity of new analyses when combining subject data processed with different subject-level pipelines. Analyses were performed using pipelines that differed from each other on a set of given parameters. We found that the analytical variability induced by the parameter differences between pipelines was acceptable for some of these analyses and redhibitory for others. We concluded that differences in processing applied on subject data have to be taken into account before combining these data. Finally, a first steps toward the correction of the effect of analytical variability for these between-group analyses is proposed.; Au cours des dernières années, le manque de reproductibilité des résultats de recherche est devenu un sujet majeur dans de nombreux domaines scientifiques, y compris l’Imagerie par Résonance Magnétique Fonctionnelle (IRMf). La faible puissance statistique liée aux petites tailles d’échantillons a été identifiée comme l’un des principaux facteurs de non-reproductibilité dans les études d’IRMf. Le développement du partage de données en neuroimagerie ouvre de nouvelles opportunités, permettant d’effectuer des études avec des tailles d’échantillons plus grandes en réutilisant des données existantes, provenant éventuellement d’ensembles de données différents. Cependant, cela peut conduire à combiner des données traitées différemment. Dans cette thèse, nous avons étudié l’impact de la variabilité causée par les différences entre les chaînes de traitement, appelée variabilité analytique, sur la validité de nouvelles analyses lorsque l’on combine des données de sujet traitées avec différentes chaînes de traitement au niveau individuel. Les analyses ont été effectuées avec des chaînes de traitement qui différaient les unes des autres sur un ensemble de paramètres définis. Nous avons observé que la variabilité induite par les différences de valeurs pour ces paramètres entre les chaînes de traitement était acceptable dans certains cas et rédhibitoire dans d’autres cas. Nous avons conclu que les différences en terme de traitement appliqué sur les données de sujet doivent être prises en compte avant de combiner ces données. Enfin, nous avons proposé une méthode de correction de l’effet de la variabilité analytique pour ces analyses de groupe.

Les cartes postales constituent la base d’archives parallèles individuelles. Beaucoup d’artistes s’emparent de ces images et de leur verso et les insèrent telles quelles, ou presque, dans leur travail plastique. Il s’agit ici d’observer la façon dont ils interrogent le statut de cet objet banal et singulier, commercial et populaire et, plus avant, la manière dont ils problématisent, à travers lui, la reproductibilité des images, leur accumulation et leur conservation. Postcards form the basis of parallel individual archives. Many artists appropriate these images and their reverse side, inserting them in their work almost as they stand. We will try to observe the way in which they interrogate the status of this banal and singular object, both commercial and popular, and then how they analyse the reproduction of the images, their accumulation and their conservation.

Several researchers in biomedicine have described a reproducibility crisis. Various open science practices may maximize reproducibility. This thesis focuses on data sharing and its extent in the biomedical sciences. In the first part, we wanted to explore the implementation of the data sharing policy of the International Committee of Medical Journal Editors (ICMJE), which came into effect in July 2018. Implementation of the data sharing requirements in journal policies was suboptimal for ICMJE member journals and poor for ICMJE affiliated journals. In a second step, we conducted a scoping review to explore the impact of data-sharing initiatives on the intent to share data, actual data sharing, use of shared data, and research output and impact of shared data. We concluded that there is currently a gap in the evidence base regarding the impact of sharing individual patient data, resulting in uncertainties in implementing current data sharing policies. Researchers have high intentions to share data but rarely do so. In the third part of the thesis, the emphasis was on transparency regarding clinical trials in drug regulatory frameworks. We tried to reanalyze 62 studies marked as main trials in marketing authorization applications. Our results showed that individual patient data was available for only 10 of 62 trials (16.1%). The clear message from this research is that clinical trial data for licensed drugs remains inaccessible to the public and the research community. Importantly, re-analyzes of the few trials with available data showed good reproducibility. In the final part, we suggest ideas on advancing open science methods in drug regulatory contexts. In summary, we concluded that sharing data in the biomedical literature is substandard. The main factors are the absence of mandatory data sharing policies on journals, publishers, and regulatory agencies. Adequate policies need to be implemented.; Plusieurs chercheurs ont décrit l’existence potentielle de difficulté de reproductibilité des travaux scientifiques. Diverses pratiques de science ouverte pourraient néanmoins maximiser la reproductibilité. Cette thèse porte sur l'une de ces pratiques, le partage de données, dans les sciences biomédicales. Dans la première partie, nous voulions explorer la mise en oeuvre de la politique de partage de données du Comité international des éditeurs de revues médicales (ICMJE), qui est entrée en vigueur en juillet 2018. La mise en oeuvre des exigences de partage de données n'était pas optimale pour les revues membres de l'ICMJE et médiocre pour les revues affiliées à l'ICMJE. Dans une deuxième étape, nous avons mené une « scoping review » pour explorer l'impact des initiatives de partage de données sur l'intention de partager des données, sur le partage réel des données, sur l'utilisation des données partagées et sur les résultats de la recherche et l'impact des données partagées. Nous avons conclu qu'il existe actuellement un manque de connaissance important concernant la pratique du partage des données issues des essais cliniques, en particulier en ce qui concerne l’impact de cette pratique. Il y a de grandes incertitudes sur l’impact potentiel des politiques actuelles de partage des données. En outre, des preuves de bonne qualité sont nécessaires pour évaluer si la valeur de la recherche médicale augmente avec les pratiques de partage de données. Dans la troisième partie de la thèse, l'accent a été mis sur la transparence concernant les essais cliniques utilisés dans le cadre réglementaire de l’évaluation des thérapeutiques. Nous avons essayé de ré-analyser 62 études considérées comme des essais principaux par l'Agence Européenne du médicament dans les demandes d'autorisation de mise sur le marché. Nos résultats ont montré que les données individuelles des patients n'étaient disponibles que pour 10 des 62 essais (16,1 %). Le message clair de cette recherche est que les données d'essais cliniques pour les médicaments mis sur le marché restent inaccessibles au public et à la communauté des chercheurs. Il est important de noter que les ré-analyses des quelques essais avec des données disponibles ont montré une bonne reproductibilité. Dans la dernière partie, nous proposons d’aller un peu au-delà de la notion de partage des données et de réfléchir dans quelle mesure la science ouverte pourrait améliorer les pratiques des autorités sanitaires. En résumé, le partage des données dans la recherche thérapeutique est sous-optimal. Les politiques de partage, quand elles existent, sont laxistes et mal implémentées. Nous proposons plusieurs pistes pour aller vers un changement.

Several researchers in biomedicine have described a reproducibility crisis. Various open science practices may maximize reproducibility. This thesis focuses on data sharing and its extent in the biomedical sciences. In the first part, we wanted to explore the implementation of the data sharing policy of the International Committee of Medical Journal Editors (ICMJE), which came into effect in July 2018. Implementation of the data sharing requirements in journal policies was suboptimal for ICMJE member journals and poor for ICMJE affiliated journals. In a second step, we conducted a scoping review to explore the impact of data-sharing initiatives on the intent to share data, actual data sharing, use of shared data, and research output and impact of shared data. We concluded that there is currently a gap in the evidence base regarding the impact of sharing individual patient data, resulting in uncertainties in implementing current data sharing policies. Researchers have high intentions to share data but rarely do so. In the third part of the thesis, the emphasis was on transparency regarding clinical trials in drug regulatory frameworks. We tried to reanalyze 62 studies marked as main trials in marketing authorization applications. Our results showed that individual patient data was available for only 10 of 62 trials (16.1%). The clear message from this research is that clinical trial data for licensed drugs remains inaccessible to the public and the research community. Importantly, re-analyzes of the few trials with available data showed good reproducibility. In the final part, we suggest ideas on advancing open science methods in drug regulatory contexts. In summary, we concluded that sharing data in the biomedical literature is substandard. The main factors are the absence of mandatory data sharing policies on journals, publishers, and regulatory agencies. Adequate policies need to be implemented., Plusieurs chercheurs ont décrit l’existence potentielle de difficulté de reproductibilité des travaux scientifiques. Diverses pratiques de science ouverte pourraient néanmoins maximiser la reproductibilité. Cette thèse porte sur l'une de ces pratiques, le partage de données, dans les sciences biomédicales. Dans la première partie, nous voulions explorer la mise en oeuvre de la politique de partage de données du Comité international des éditeurs de revues médicales (ICMJE), qui est entrée en vigueur en juillet 2018. La mise en oeuvre des exigences de partage de données n'était pas optimale pour les revues membres de l'ICMJE et médiocre pour les revues affiliées à l'ICMJE. Dans une deuxième étape, nous avons mené une « scoping review » pour explorer l'impact des initiatives de partage de données sur l'intention de partager des données, sur le partage réel des données, sur l'utilisation des données partagées et sur les résultats de la recherche et l'impact des données partagées. Nous avons conclu qu'il existe actuellement un manque de connaissance important concernant la pratique du partage des données issues des essais cliniques, en particulier en ce qui concerne l’impact de cette pratique. Il y a de grandes incertitudes sur l’impact potentiel des politiques actuelles de partage des données. En outre, des preuves de bonne qualité sont nécessaires pour évaluer si la valeur de la recherche médicale augmente avec les pratiques de partage de données. Dans la troisième partie de la thèse, l'accent a été mis sur la transparence concernant les essais cliniques utilisés dans le cadre réglementaire de l’évaluation des thérapeutiques. Nous avons essayé de ré-analyser 62 études considérées comme des essais principaux par l'Agence Européenne du médicament dans les demandes d'autorisation de mise sur le marché. Nos résultats ont montré que les données individuelles des patients n'étaient disponibles que pour 10 des 62 essais (16,1 %). Le message clair de cette recherche est que les données d'essais cliniques pour les médicaments mis sur le marché restent inaccessibles au public et à la communauté des chercheurs. Il est important de noter que les ré-analyses des quelques essais avec des données disponibles ont montré une bonne reproductibilité. Dans la dernière partie, nous proposons d’aller un peu au-delà de la notion de partage des données et de réfléchir dans quelle mesure la science ouverte pourrait améliorer les pratiques des autorités sanitaires. En résumé, le partage des données dans la recherche thérapeutique est sous-optimal. Les politiques de partage, quand elles existent, sont laxistes et mal implémentées. Nous proposons plusieurs pistes pour aller vers un changement.

The growing interest of the population in psychological, physical, and social well-being has gradually led it on the path of aesthetic demands, guarantee of personal and societal success by the confidence it brings. Implantology has therefore not escaped this evolution and although, at one time, only functionality presided, nowadays the aesthetics of implants are as important. Thereby, for several years, we have witnessed a flowering of objective indices, with the common ambition of quantifying a domain submitted to an immense subjective influence. The aim of this work was therefore to list all the aesthetic scores known to date to determine the most relevant ones. Then, determine the influence of dental specialties on the obtained results, as well as the correlation between these indices and the subjective perception of patients about the final result of their treatments.; L’intérêt grandissant de la population à l’égard du bien être psychologique, physique et social a mené peu à peu celle-ci sur le chemin des exigences esthétiques, gage de réussite personnel et sociétal du fait de la confiance qu’elle apporte. L’implantologie n’a donc pas échappé à cette évolution et bien que, fut un temps, seule la fonctionnalité présidait, de nos jours l’esthétisme est tout aussi capital. Ainsi, depuis plusieurs années, on a pu assister à une floraison d’indices objectifs ayant pour ambition commune de quantifier un domaine soumis à une influence subjective immense. L’objectif de ce travail a donc été de répertorier l’ensemble des scores esthétiques connus à ce jour afin d’en déterminer les plus pertinents. Puis par la suite, de déterminer l’influence des spécialités dentaires sur les résultats obtenus ainsi que la corrélation entre ces indices et la perception subjective des patients à l’égard du résultat final de leur traitement.

Depuis plusieurs années, la recherche menée dans les différentes branches des sciences archéologiques – au même titre que le reste des sciences humaines – tend à produire des volumes de données de plus en plus importants. Au-delà des problèmes, non moins cruciaux, d'accès et d'archivage des données, se pose la question de la reproductibilité des résultats dès lors qu'il est fait appel à des méthodes statistiques. À quelques exceptions près, nombre de solutions logicielles sont propriétaires, ne garantissent pas un accès au code source ou une documentation exhaustive et ne permettent pas le développement aisé d'outils dédiés.Nous présentons ici le projet tesselle (https://www.tesselle.org) : un ensemble cohérent de packages R destinés à l'analyse et la visualisation de données en archéologie. Ces packages permettent, dans leur état actuel, l'exploration et la visualisation de données, la sériation de matrices, la modélisation chronologique à partir de données de comptage ainsi que le traitement des données géochimiques. La documentation des différents packages peut être consultée en ligne : https://packages.tesselle.org.Ces packages sont développés en R S4 sous licence GPL-3. Les versions stables sont publiés sur les serveurs du CRAN, l'ensemble du code source en cours de développement est disponible sur GitHub (https://github.com/tesselle/) et ouvert à toute contribution.

In high performance computing, nearly all the implementations and published experiments use foating-point arithmetic. However, since foating-point numbers are finite approximations of real numbers, it may result in hazards because of the accumulated errors.These round-off errors may cause damages whose gravity varies depending on the critical level of the application. Parallelism introduces new numerical accuracy problems due to the order of operations in this kind of systems. The proposed thesis subject concerns this last point: improving the precision of massively parallel scientific computing codes such as those found in the field of HPC (High Performance Computing)., Les nombres flottants sont utilisés à la place des nombres réels pour les calculs sur ordinateurs. L'utilisation de ces nombres introduit des erreurs d'arrondi qui sont en général acceptables dans la mesure où le résultat produit par la machine est proche de celui que l'on aurait obtenu en utilisant des nombres réels. Cependant, elles peuvent aussi être amplifiées par propagation, dénuant de sens le résultat d'un calcul, ce qui peut avoir des conséquences catastrophiques dans de nombreux domaines d'application comme par exemple l'aéronautique ou la finance. La précision des calculs en nombres flottants dépend de nombreux facteurs: types d'opérations effectuées, valeurs et types de données employés, ordinateurs utilisés. En outre, la précision des calculs dépend fortement de l'ordre dans lequel sont effectuées les opérations et le parallélisme démultiplie les ordonnancements possibles. Le sujet de thèse proposé concerne ce dernier point : améliorer la précision de codes de calcul scientifique massivement parallèles tels que ce que l'on trouve dans le domaine du HPC (High Performance Computing) Ces dernières années, des techniques automatiques ont été mises au point afin de valider et réécrire les codes de calcul scientifique afin de les rendre plus précis. Ces techniques rencontrent un vif intérêt tant scientifique qu'industriel. Cependant les techniques existantes acceptent uniquement des programmes séquentiels ce qui exclut les nombreux codes de calcul intensif développés dans le domaine du HPC. Or ces codes parallèles, utilisés pour réaliser des simulations numériques complexes dans de nombreux domaines scientifiques et techniques, sont particulièrement sujets aux erreurs introduites par les nombres flottants car le parallélisme modifie l'ordre dans lequel sont effectués les calculs, voire rend cet ordre aléatoire. Les résultats obtenus peuvent alors être altérés ou non reproductibles (plusieurs si mulations identiques donnant des résultats différents).

There are a myriad of models for simulating outbreaks. We have tried to test about 20 CoVid models and find that we can rarely replay the simulations. Without expecting perfect repeatability and portability, access to the model and the ability to reproduce similar results with the same scientific conclusions is essential for the advancement of Science. In this article, we give an overview of the state of the art concerning Covid modeling, then we recall what are the concepts of repeatability and reproducibility in the scientific framework, and finally we outline the choices made to have a multi-agent simulation model with an available code, a quick handling without neglecting the consideration of the main sanitary measures for decision support and understanding of this type of pandemic., Il existe une myriade de modèles pour simuler les épidémies. Nous avons essayé de tester une vingtaine de modèles CoVid et nous constatons qu'il est bien rare que nous puissions rejouer les simulations. Sans aller jusqu'à espérer une répétabilité et une portabilité parfaite, l'accès au modèle, la capacité à reproduire des résultats similaires avec les mêmes conclusions scientifiques est essentielle pour l'avancement de la Science. Dans cet article, nous dressons un aperçu de l'état de l'art concernant la modélisation Covid, puis nous rappelons ce que sont les concepts de répétabilité et de reproductibilité dans le cadre scientifique, et enfin nous esquissons les choix faits pour disposer d'un modèle de simulation multi-agents avec un code disponible, une prise en main rapide sans négliger la prise en compte des principales mesures sanitaires pour l'aide à la décision et à la compréhension de ce type de pandémie.

The goal of this PhD was the validation of the existence and the discovery of new subtypes of Alzheimer’s disease, the first cause of dementia worldwide. Indeed, despite its discovery more than a century ago, this disease is still not well defined and existing treatments are only weakly effective, possibly because several phenotypes exist within the disease. In order to explore its heterogeneity, we employed deep learning methods applied to a neuroimaging modality, structural magnetic resonance imaging.However, the discovery of important methodological biases in many studies in our field, as well as the lack of consensus regarding deep learning interpretability, partly changed the main objective of the PhD to focus more on issues of validation, robustness and interpretability of deep learning. Then, to correctly assess the ability of deep learning to detect Alzheimer’s disease, three experimental studies were conducted. The first one is a study of deep learning methods for Alzheimer’s classification and allowed a fair comparison of the methods. The second study found a lack of robustness of classification with deep learning in terms of atrophy patterns discovered using interpretability methods. Finally, the last study proposed a subtype discovery method aided by data augmentation. Although it works on synthetic data, it does not generalize to real data.Experimental results of this PhD were obtained thanks to ClinicaDL, one major contribution of this PhD. It is an open source Python library that was used to improve the reproducibility of deep learning experiments., L’objectif de cette thèse était la validation de l’existence ainsi que la découverte de nouveaux sous-types au sein de la maladie d’Alzheimer, première cause de démence au monde. Afin d’explorer son hétérogénéité, nous avons employé des méthodes d’apprentissage profond appliquées à une modalité de neuroimagerie, l’imagerie par résonance magnétique structurelle.Cependant, la découverte de biais méthodologiques importants dans de nombreuses études de notre domaine, ainsi que l’absence de consensus de la communauté sur la manière d’interpréter les résultats des méthodes d’apprentissage profond a fait en partie dévier la thèse de son objectif principal pour s’orienter d’avantage vers des problématiques de validation, de robustesse et d’interprétabilité de l’apprentissage profond. Ainsi, trois études expérimentales ont été menées pour s’assurer de la capacité des réseaux profonds de correctement détecter la maladie. La première est une étude expérimentale de méthodes d’apprentissage profond pour la classification de la maladie d’Alzheimer et a permis d’établir une juste comparaison des méthodes. La seconde étude a permis de constater un manque de robustesse de la classification avec l’apprentissage profond en termes de motifs d’atrophie découverts à l’aide de méthodes d’interprétabilité. Enfin, la dernière étude propose une méthode de découverte de sous-types aidée par l’augmentation de données. Bien que fonctionnant sur des données synthétiques, celle-ci ne généralise pas aux données réelles.Une contribution majeure de la thèse est la librairie ClinicaDL, grâce à laquelle les résultats expérimentaux de la thèse ont été produits de manière à être reproductibles.

International audience; O. Leclerc, Jalons prospectifs sur l'exigence de reproductibilité dans la recherche juridique, in Mélanges en l'honneur de Pascal Ancel, Larcier, LexisNexis, 2021, p. 177

Contexte : les autoquestionnaires d’évaluation sont couramment utilisés dans les troubles musculosquelettiques, mais leur utilisation est chronophage. L’utilisation d’appareils électroniques pour le recueil de données pourrait être utile en pratique, même si la reproductibilité de cette méthode n’est encore que peu étudiée.Objectif : le but de cette étude est d’évaluer la reproductibilité et les avantages d’une batterie de questionnaires en format tablette comparés à leur format papier chez des patients atteints de lombalgie chronique.Design : ces résultats sont extraits de l’étude de cohorte bicentrique prospective COPPAIN réalisés dans le sud de la France.Population : patients âgés de 18 à 75 ans atteints de lombalgie chronique non spécifique évoluant depuis plus de 3 mois, avec échec des thérapies habituelles et au moins un facteur de chromisation. Les critères exclusion étaient les suivants : troubles psychiatriques sous-jacents, grossesse polyarthrite rhumatoïde ou spondylarthropathie, insuffisance respiratoire, cancer ou antécédent de chirurgie lombaire.Critères d’évaluation : reproductibilité et facilité d’utilisation (acceptabilité, temps de remplissage, taux de remplissage) des versions électroniques et papiers des questionnaires ODI, BBQ, FABQ, HADS, CSQ-F, AAQ-II et SF-12.Méthode : les questionnaires papier et leur version électronique étaient remplis respectivement 7 jours avant et le jour du début du programme de rééducation. La reproductibilité entre les deux mesures était estimée par le coefficient de corrélation intraclasse (ICC) et l’erreur systématique entre deux mesures était calculée par la méthode graphique de Bland et Altman.Résultats : les données de 98 patients ont été analysées. Le temps de remplissage était plus rapide pour la version électronique des questionnaires avec une médiane de 11 [2 ; 24] minutes, p < 0.0001. L’acceptabilité des deux formats était bonne pour les deux méthodes la médiane des items auxquels les patients ont totalement répondu était de 100 %. La reproductibilité entre les deux méthodes était bonne pour HADS, faible pour ODI, AAQ-II, SF-12 physical component, FABQ Work part, CSQ-F Ignoring, Catastrophizing et Praying dimensions, et inexistante pour les autres dimensions du CSF-F, BBQ, FABQ Physical part et SF-12 mental component. La reproductibilité item par item était globalement bonne ou acceptable, mais certains items sont considérés comme faiblement reproductibles (5 pour le SF -12, 3 pour le FABQ, 6 pour le BBQ et 1 pour le AAQ-II).Conclusion : les versions électroniques des autoquestionnaires d’évaluations semblent être des moyens efficients et rapides et plutôt fiables, pour récolter les données chez les patients atteints de lombalgie chronique.

The current environmental context results in increasingly important risks concerning crops, whatever their type. From hydric constraints, leading to more frequent and more important periods of drought, to the management of pests that take advantage of global warming to proliferate. The importance of having varieties that are both resistant and guarantee a good yield is becoming essential. The registration of new varieties in the catalog is the last step of a long process in which varietal selection plays a central role. However, this process is still slow, especially with the phenotyping phase, which is still mostly done by hand. Improving phenotyping would mean improving varietal selection and through it, better meeting the challenges already mentioned. It is in this context that Limagrain, an agricultural cooperative and seed company, and INRAE, a research organization, have undertaken the creation of a hyperspectral image acquisition module in order to make the transition to so-called high-throughput phenotyping.; Le contexte environnemental actuel se traduit par des risques plus importants concernant les cultures allant des contraintes hydriques, aboutissant à des périodes de sécheresse à la fois plus fréquentes et plus importantes, jusqu’à la gestion des ravageurs qui profitent du réchauffement climatique pour proliférer. L’importance de disposer de variétés à la fois résistantes et garantes d’un bon rendement devient indispensable. L’inscription de nouvelles variétés au catalogue est la dernière étape d’un long processus dans lequel la sélection variétale tient un rôle central. Cependant, celle-ci se révèle encore lente notamment avec la phase de phénotypage qui est encore faite en majorité « à la main ». Améliorer le phénotypage reviendrait à améliorer la sélection variétale et à travers elle, à mieux répondre aux enjeux déjà évoqués. C’est dans ce contexte que Limagrain, coopérative agricole et entreprise semencière, et l’INRAE, organisme de recherche, ont entrepris la création d’un module d’acquisition d’images hyperspectrales pour effectuer une transition vers un phénotypage dit haut-débit.

International audience; La connaissance précise de la géométrie d’un réseau vasculaire est cruciale dans de nombreuses applications cliniques parmi lesquelles le diagnostique de maladies cardiovasculaires et la planification chirurgicale. Les algorithmes de rehaussement sont la plupart du temps une étape clef de la segmentation des vaisseaux. Il existe un grand nombre de ces filtres dans la littérature, mais il est souvent difficile de les comparer car les applications et les bases de données varient d’un article à l’autre et les codes sources sont rarement disponibles. Dans cet article, nous proposons de comparer sept filtres de rehaussement de vaisseaux dans un framework commun. Notre analyse porte sur des images du réseau vasculaire hépatique qui est une cible sous-représentée dans la littérature. En particulier, nous nous intéressons à trois zones d’intérêts : lefoie entier, le voisinage des vaisseaux et les bifurcations.L’étude est conduite sur deux bases de données publiques : la base de l’Ircad (TDM) et la base VascuSynth modifiée pour émuler l’imagerie IRM. Nous fournissons le code du benchmark ainsi que l’implémentation C++ de chaquefiltre. Une démonstration en ligne est aussi disponible pour assurer la reproductibilité des résultats sans besoin d’installation.

International audience; BACKGROUND: Diet strongly influences cardiovascular risk. Dietary evaluation is a major issue in cardiovascular prevention, but few simple tools are available. Our team previously validated a short food frequency questionnaire; a new version of this questionnaire (Cardiovascular Dietary Questionnaire 2 [CDQ-2]) is easier to complete and more reliable. AIMS: To validate CDQ-2 in comparison with the original version, and to test its reproducibility. METHODS: CDQ-2 has 17 closed-ended questions; it provides a global dietary score that is a combination of specific scores for saturated, monounsaturated and omega-3 fatty acids, and fruit and vegetables. CDQ-2 was validated against the original version in two groups, who completed both questionnaires: 99 patients with cardiovascular risk factors and 50 healthy subjects. Reproducibility was assessed with 27 health professionals who completed the questionnaire twice, with a 1-month interval. RESULTS: The correlation coefficients of the scores between the two questionnaires ranged from 0.65 (monounsaturated fatty acids) to 0.93 (fruit and vegetables) (all P