Search

Data augmentation is a fundamental technique in machine learning that plays a crucial role in expanding the size of training datasets. By applying various transformations or modifications to existing data, data augmentation enhances the generalization and robustness of machine learning models. In recent years, the development of several libraries has simplified the utilization of diverse data augmentation strategies across different tasks. This paper focuses on the exploration of the most widely adopted libraries specifically designed for data augmentation in computer vision tasks. Here, we aim to provide a comprehensive survey of publicly available data augmentation libraries, facilitating practitioners to navigate these resources effectively. Through a curated taxonomy, we present an organized classification of the different approaches employed by these libraries, along with accompanying application examples. By examining the techniques of each library, practitioners can make informed decisions in selecting the most suitable augmentation techniques for their computer vision projects. To ensure the accessibility of this valuable information, a dedicated public website named DALib has been created. This website serves as a centralized repository where the taxonomy, methods, and examples associated with the surveyed data augmentation libraries can be explored. By offering this comprehensive resource, we aim to empower practitioners and contribute to the advancement of computer vision research and applications through effective utilization of data augmentation techniques.

Questa tesi di dottorato si concentra su una sottotarea dell'attività di Entity Extraction, in particolare sullo step di Classificazione, denominato Entity Typing (ET). L'ET consiste nell'assegnare tipi ad una entita' trovata in una determinata frase. I tipi devono essere scelti da un vocabolario dato. Fine-grained Entity Typing è il nome dato a un problema di ET con una grande quantità di tipi (da decine a centinaia), di solito organizzati in una gerarchia. In questa tesi di dottorato, viene studiato FET sotto il punto di vista dell'adattamento ad un nuovo dominio, definendo un nuovo task. Il problema non è stato affrontato prima in FET, poiché la letteratura si concentra sulla proposta di encoder sofisticati, classificatori e metodi di eliminazione del rumore applicati a FET mantenendo fisso il dominio. L'adattamento ad un nuovo dominio è necessario quando un modello FET addeastrato, in grado di classificare le menzioni trovate in una determinata frase con tipi estratti da una gerarchia data, deve essere utilizzato in un dominio diverso da quello di addestramento. L'adattamento ad un nuovo dominio riguarda casi d'uso reali (riutilizzo del modello, specializzazione del modello e completo adattamento al dominio) formalmente descritti e indagati nella tesi. L'adattamento ad un nuovo dominio è generalmente sottoinvestigato nell'ambito di Information Extraction, anche se gli scenario di adattamento ad un nuovo dominio sono comuni nella progettazione di sistemi di estrazione di informazioni nel mondo reale. L'adattamento da un dominio sorgente a un dominio target FET è altamente correlato ai tipi presenti nelle gerarchie di tipi sorgente e target, poiché durante il processo di adattamento il modello FET è destinato a imparare i nuovi tipi target sfruttando le sue capacità sui tipi sorgente. Le tecniche di adattamento proposte in questa tesi sono basate sulla individuazione esplicita di relazioni di equivalenza, generalizzazione, specializzazione o disgiunzion, This Ph.D. thesis focuses on a subtask of entity extraction, particularly of the Classification step, named Entity Typing (ET). ET is the task of assigning types to an entity already found in a given sentence. Types have to be chosen from a given vocabulary. Fine-grained Entity Typing is the name given to an ET problem with a large amount of types (from dozens to hundreds), usually organized in a hierarchy. In this Ph.D. thesis, FET is studied under the lenses of Domain Adaptation, defining a novel task. The problem has not been addressed before in FET, since the literature is focused on proposing sophisticated encoders, classifiers, and denoising methods applied to in-domain FET. Domain Adaptation is needed when a trained FET model, able to classify mentions found in a given sentence with types from a given hierarchy, has to be used in a domain that differs from the training one. Domain adaptation concerns real use cases (model reuse, model specialization, and full-fledged domain adaptation) formally described and investigated in the thesis. Domain adaptation is generally underinvestigated in information extraction, even if the described domain adaptation scenarios are common in the design of real world information extraction systems. The adaptation from a source to a target FET domain is highly related to the types present in the source and target type hierarchies, since during the adaptation process the FET model is expected to learn the new target types by exploiting its capabilities on source types. The adaptation techniques proposed in this thesis are based on the exlpicit individuation of equivalence, generalization, specialization or disjunction relations between source and target types, such relations are injected during the adaptation process with a neurosymbolic integration approach from literature, i.e., Knowledge Enhanced Neural Network (KENN). Moreover, the approaches proposed to face domain adaptation in FET reflect the first attempt to use a neuro-sy

La presentazione e comunicazione delle caratteristiche di prodotti, così come di raccolte di oggetti o servizi, sono di fondamentale importanza in diversi campi. Il caso d’uso più evidente è dato dalla necessità di produttori e negozi di pubblicizzare le proprie offerte ai potenziali clienti: a tal scopo vengono frequentemente impiegati cataloghi cartacei o digitali. Inoltre, i cataloghi possono avere obiettivi diversi dalla pubblicizzazione di prodotti fisici, possono anche presentare della conoscenza (ad esempio in una biblioteca o in un museo) oppure dei servizi forniti da una azienda o da un individuo. Con la crescente diffusione di smartphone, tablet ed head-mounted display si aprono nuove possibilità per i cataloghi, che possono essere presentati sfruttando i concetti della Mixed Reality (MR), i quali consentono l’inserimento di elementi virtuali all'interno del mondo reale. A tal fine, questa tesi propone un framework computazionale che supporta la creazione di cataloghi MR attraverso le fasi di progettazione, sviluppo e fruizione del catalogo stesso. La creazione di cataloghi MR coinvolge diversi aspetti; in questa ricerca vengono indagati quelli chiave, inclusi la ricostruzione tridimensionale della geometria, l'acquisizione dell'aspetto del materiale, la presentazione e fruizione del catalogo MR. I ricercatori hanno ampiamente studiato questi campi separatamente; questa tesi si propone quindi di affrontare problemi specifici del loro utilizzo nella creazione di un catalogo MR. La ricostruzione 3D della geometria trova impiego nella creazione di modelli tridimensionali virtuali di elementi reali da visualizzare nei cataloghi MR: viene quindi affrontato il problema della selezione del metodo di ricostruzione 3D più adatto. Oltre alla geometria, una corretta riproduzione dell’aspetto degli elementi virtuali è fondamentale per farli apparire realistici. Questa tesi propone la progettazione e lo sviluppo di un dispositivo portatile ed economico per l'acq, Presentation and communication of characteristics about products and, in general, collections of objects or services are of crucial relevance in several fields. The most prominent application is given by the necessity of manufacturers and stores to advertise their offers to potential customers. To this purpose, paper or digital catalogs are often employed. Furthermore, catalogs may have goals that differ from the advertisement of physical products. They may also build on the presentation of knowledge (e.g. in a library or museum) or refer to services provided by some company or individual. With the growing diffusion of smartphones, tablets, and head-mounted displays, new possibilities arise for the catalogs to be presented by taking advantage of Mixed Reality (MR) concepts that allow the blending of virtual elements within the real world. To this end, this thesis proposes a computational framework that supports the creation of MR catalogs throughout the stages of design, development, and fruition of the catalog itself. The creation of MR catalogs involves several aspects. The key ones among them are investigated in this research. These include 3D geometry reconstruction, material appearance acquisition, and presentation of the MR catalog. Researchers have largely investigated these fields separately. This thesis aims to tackle specific problems of their usage in the creation of an MR catalog. 3D geometry reconstruction finds use in the creation of virtual 3D models of real elements for display in MR catalogs. The problem of selecting the most suitable 3D reconstruction method is addressed. In addition to 3D geometry, the look and feel of virtual elements are crucial to make them appear realistic. This thesis proposes the design and development of a low cost portable device for material appearance acquisition. Finally, the presentation of the MR catalog involves the rendering of the virtual elements and interaction with the user. In order to accomplish that, a generi

The availability of high-resolution data and accurate ground truth is essential to evaluate and compare methods and algorithms properly. Moreover, it is often difficult to acquire real data for a given application domain that is sufficiently representative and heterogeneous in terms of scene representation, acquisition conditions, point of view, etc. To overcome the limitations of available datasets, this paper presents a new synthetic, multi-purpose dataset called ENRICH for testing photogrammetric and computer vision algorithms. Compared to existing datasets, ENRICH offers higher resolution images rendered with different lighting conditions, camera orientations, scales, and fields of view. Specifically, ENRICH is composed of three sub-datasets: ENRICH-Aerial, ENRICH-Square, and ENRICH-Statue, each exhibiting different characteristics. We show the usefulness of the proposed dataset on several examples of photogrammetry and computer vision-related tasks such as: evaluation of hand-crafted and deep learning-based local features, effects of ground control points (GCPs) configuration on the 3D accuracy, and monocular depth estimation. We make ENRICH publicly available at: https://github.com/davidemarelli/ENRICH.

La rappresentazione, quantificazione e gestione dell'incertezza è uno dei problemi centrali nell'Intelligenza Artificiale, ed in particolare nel Machine Learning, in cui l'incertezza è intrinsecamente collegata alla natura induttiva dell'apprendimento. Tra diverse forme d'incertezza, la modellazione dell'imprecisione, cioè il problem di gestire dati o conoscenza imperfetta o incompleta, ha recentemente attratto molto interesse nella comunità di ricerca, per via delle sue implicazione teoriche e applicate sull'uso di strumenti basati sul Machine Learning. Questo lavoro si concentra sul problema di gestire l'imprecision nel Machine Learning, sotto due diverse prospettive. Da un lato, l'imprecisione che riguarda i dati di input alla pipeline di Machine Learning, da cui si origina il problema dell'apprendimento da dati imprecisi. Dall'altro, l'imprecisione come strumento per implementare processi di quantificazione dell'incertezza nel Machine Learning, al fine di permettere a questi ultimi di fornire previsioni set-valued e portare quindi alla definizione di metodi di inferenza cauta. Lo scopo di questo lavoro, quindi, riguarda lo studio teorico ed empirico dei due scenari summenzionati. Per quanto riguarda il problema dell'apprendimento da dati imprecisi, il focus principale riguarda l'investigazione del problema dell'apprendimento da fuzzy label, sia da un punto di visto teorico che algoritmo. I contributi principali includono: la proposta di una caratterizzazione teorica del problema; la proposta di un nuovo algoritmo di ensemble, basato su pseudo-label, e il suo studio dal punto di visto teorico ed empirico; l'applicazione del summenzionato algoritmo in tre problemi medici reali; ed infine la proposta e lo studio di algoritmi di feature selection per ridurre la complessità computazionale e limitare la "curse of dimensionality" per algoritmi di apprendimento da fuzzy label. Per quanto riguarda l'inferenza cauta, il focus principale riguarda lo studio teorico di, The representation, quantification and proper management of uncertainty is one of the central problems in Artificial Intelligence, and particularly so in Machine Learning, in which uncertainty is intrinsically tied to the inductive nature of the learning problem. Among different forms of uncertainty, the modeling of imprecision, that is the problem of dealing with data or knowledge that are imperfect} and incomplete, has recently attracted interest in the research community, for its theoretical and application-oriented implications on the practice and use of Machine Learning-based tools and methods. This work focuses on the problem of dealing with imprecision in Machine Learning, from two different perspectives. On the one hand, when imprecision affects the input data to a Machine Learning pipeline, leading to the problem of learning from imprecise data. On the other hand, when imprecision is used a way to implement uncertainty quantification for Machine Learning methods, by allowing these latter to provide set-valued predictions, leading to so-called cautious inference methods. The aim of this work, then, will be to investigate theoretical as well as empirical issues related to the two above mentioned settings. Within the context of learning from imprecise data, focus will be given on the investigation of the learning from fuzzy labels setting, both from a learning-theoretical and algorithmic point of view. Main contributions in this sense include: a learning-theoretical characterization of the hardness of learning from fuzzy labels problem; the proposal of a novel, pseudo labels-based, ensemble learning algorithm along with its theoretical study and empirical analysis, by which it is shown to provide promising results in comparison with the state-of-the-art; the application of this latter algorithm in three relevant real-world medical problems, in which imprecision occurs, respectively, due to the presence of conflicting expert opinions, the use of vague technical

Annotated datasets for automatic white balance (AWB) are used for the evaluation and, when necessary, the training, of AWB methods. Relying on such datasets requires awareness of the potential bias in their content and characteristics: some methods are designed to rely on the presence of particular elements, such as human skin, while other methods learn implicit relationships between image content and light properties from training data. The dependency on these relationships makes it fundamental to understand whether the available datasets are actually representative of common application scenarios, such as the presence of human subjects, the diversity of composition, or the illumination conditions. In this paper we overview the most common datasets for Automatic White Balance, including those for single as well as multiple illuminant estimation, providing a critical analysis on their characteristics. Furthermore, we identify a number of existing methods for single illuminant estimation, as a representative pool of approaches to the problem with various levels of complexity. We investigate how the performance of these correlate to the image content of common datasets.