Search

Orientador: Gerberth Adín Ramírez Rivera Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: A segmentação semântica é um dos problemas em aberto em visão computacional. Este problema consiste em classificar cada pixel presente em uma imagem, delimitando um objeto. As redes neurais convolucionais são eficientes na detecção e identificação de objetos em imagens. No entanto, durante o processo de segmentação, surgem alguns problemas, como perda de informações espaciais e baixa resolução dos mapas de características. Esses problemas levam a segmentações grosseiras ou ruidosas devido às incertezas nos dados. Uma maneira de combater esses problemas é usar métodos estatísticos em conjunto com redes neurais. Este trabalho propõe redes neurais combinadas com modelos probabilísticos como representação para segmentação semântica com foco em imagens médicas. Os modelos probabilísticos apresentam uma solução para mapear o conteúdo da imagem em distribuições mais representativas no espaço latente dos dados, permitindo que a rede lide com incertezas e modele informações mais complexas. Avaliamos nossas propostas em bases de dados existentes para segmentação de imagens e as comparamos com métodos existentes em \textit{benchmarks} padrão para segmentação semântica. Um modelo U-Net mais complexo será mais expressivo, permitindo que a rede reconstrua melhor as informações perdidas durante as operações de downsampling e stride Abstract: Semantic segmentation is one of the open-ended problems in computer vision. This problem consists in classifying each pixel present in an image, delimiting an object. Convolutional neural networks are efficient in detecting and identifying, and segmenting objects in images. However, during the segmentation process, some problems arise, such as loss of spatial information and low resolution of feature maps. These problems lead to rough or noisy segmentations due to the uncertainties in the data. One way to counter these problems is to use statistical methods together with neural networks. This work proposes neural networks combined with a probabilistic module as representations for semantic segmentation focusing on medical images. Probabilistic models present a solution to map the contents of the image into more representative distributions on the latent space of the data, allowing the network to handle uncertainty and model more complex information. We evaluated our proposals within existing databases for image segmentation and compare them against existing methods on standard benchmarks for semantic segmentation. A more complex U-Net model will able more expressive, allowing the network to better reconstruct the information lost during the downsampling and stride operations Mestrado Ciência da Computação Mestre em Ciência da Computação FAPESP 2019/08589-0

Orientadores: Roberto de Alencar Lotufo, Rodrigo Frassetto Nogueira Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Os algoritmos de aprendizado profundo têm sido adotados em diversas aplicações importantes no processamento de linguagem natural. Esses algoritmos se destacam por sua capacidade de aprender grandes quantidades de informações e atingir ótimos desempenhos em tarefas antes consideradas muito difíceis de serem realizadas por máquinas. Portanto, sua aplicação tem sido cada vez mais difundida para diferentes tarefas, domínios e idiomas. Ainda assim, sabe-se que modelos de aprendizado profundo normalmente não generalizam muito além da distribuição de dados vista durante o treinamento e têm dificuldade em se adaptar a novos cenários. Uma solução para este problema é treinar novamente o modelo em um novo conjunto de dados rotulado grande e diverso. No entanto, muitas vezes não temos conjuntos de dados prontamente disponíveis para cada novo cenário que possa surgir e, além disso, dados do mundo real estão em constante mudança. Assim, um método eficaz para resolver este problema e melhorar a capacidade de generalização de modelos transformer é usar abordagens de transferência de conhecimento zero-shot. Para estudar com maior profundidade a capacidade de transferência de conhecimento de modelos transformer, separamos o aprendizado zero-shot em duas categorias diferentes dependendo de como os exemplos de teste diferem dos dados usados para treinamento. Em nosso trabalho, os exemplos de treinamento e teste podem ser diferentes por pertencerem a idiomas diferentes (cross-lingual) ou a domínios diferentes (cross-domain). Exploramos ambas as categorias projetando dois estudos que cobrem cada uma separadamente. Em nosso primeiro estudo, analisamos três métodos de transferência de conhecimento entre diferentes idiomas em termos de eficácia (por exemplo, acurácia), custos de desenvolvimento e implantação, bem como suas latências em momento de inferência. Além disso, ao combinar métodos de transferência multilíngue, alcançamos o estado da arte em dois conjuntos de dados utilizados neste primeiro estudo. Em nosso estudo cross-domain, investigamos a capacidade de transferência de conhecimento do domínio geral para o domínio jurídico. Para isso, participamos do COLIEE 2021, competição que envolve a execução de tarefas automatizadas aplicadas ao domínio jurídico, no qual experimentamos modelos transformer sem adaptações ao domínio alvo. Nossas submissões para a tarefa de vinculação de processos judiciais obtiveram as pontuações mais altas, ultrapassando a segunda melhor equipe em mais de seis pontos e nosso modelo zero-shot superou todos os modelos treinados para esta tarefa. Além disso, nossos experimentos confirmam um resultado bastante contra-intuitivo no novo paradigma de modelos de linguagem pré-treinados: dada uma limitação na quantidade de exemplos rotulados, modelos com pouca ou nenhuma adaptação à tarefa alvo podem ser mais robustos a mudanças na distribuição de dados do que modelos diretamente treinados no conjunto de dados alvo Abstract: Deep learning algorithms have been adopted in many important applications in natural language processing. These algorithms stand out for their ability to learn large amounts of information and perform well on tasks that were previously considered too difficult for machines to perform. Therefore, its application has been increasingly widespread for different tasks, domains and languages. Yet, it is well known that deep learning models typically do not generalize much beyond the data distribution seen during fine-tuning and have difficulty adapting to new scenarios. A solution to this problem is to retrain the model on a new large and diverse labeled dataset. However, we often do not have readily available datasets for every new scenario that may arise, and in addition, real-world data is constantly changing. Thus, an effective method to address this problem and improve the generalization capacity of transformer models is to use zero-shot transfer learning approaches. To further study the transfer learning ability of transformer models, we separate zero-shot learning into two different categories, depending on how the test examples differ from the data used for fine-tuning. In our work, training and test examples may differ because they belong to different languages (cross-lingual) or to different domains (cross-domain). We explore both categories by designing two studies that cover each separately. In our first study, we analyze three cross-lingual methods in terms of their effectiveness (e.g., accuracy), development and deployment costs, as well as their latencies at inference time. Furthermore, by combining cross-lingual methods, we achieve the state of the art in two datasets used in the first study. In our cross-domain study, we investigate the transfer learning ability from general domain to the legal domain. For that, we participated in COLIEE 2021, a competition involving automated tasks in the legal domain, in which we experimented with transformer models with no adaptations to the target domain. Our submissions to the task of legal case entailment achieved the highest scores, surpassing the second-best team by more than six points and our zero-shot model outperformed all fine-tuned models on this task. In addition, our experiments confirm a counter-intuitive result in the new paradigm of pretrained language models: given limited labeled data, models with little or no adaptation to the target task can be more robust to changes in the data distribution than models fine-tuned on it Mestrado Engenharia de Computação Mestre em Engenharia Elétrica

Orientadores: Luis Geraldo Pedroso Meloni, Alexandre Xavier Falcão Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação Resumo: Esta tese propõe uma nova abordagem para agrupamento de dados baseada em floresta de caminhos ótimos. As amostras são tomadas como nós de um grafo, cujos arcos são definidos pela sua relação de adjacência. Os nós são ponderados pela seus valores de densidade de probabilidade (PDF) e uma função de conexidade que é maximizada, de forma que cada máximo na PDF torna-se uma raiz de uma árvore de caminhos ótimos (grupo), composto por amostras "mais fortemente conexas" àquele máximo que a qualquer outra raiz. Máximos irrelevantes (domos) são removidos por reconstrução morfológica da PDF. Uma discussão mostra as vantagens sobre abordagens baseadas no gradiente da PDF e suas relações com a transformada watershed. O método é estendido para grande bases de dados e comparado com as abordagens de mean-shift e watershed para agrupamento de pixels e segmentação interativa, respectivamente. Os experimentos para segmentação de imagens naturais e classificação de substâncias branca e cinza do cérebro mostram resultados rápidos e precisos comparados com métodos no estado-da-arte. Abstract: This thesis proposes a novel approach for data clustering based on optimum-path forest. The samples are taken as nodes of a graph, whose arcs are defined by an adjacency relation. The nodes are weighted by their probability density values (pdf) and a connectivity function is maximized, such that each maximum of the pdf becomes root of an optimum-path tree (cluster), composed by samples "more strongly connected" to that maximum than to any other root. Irrelevant maxima (domes) are removed by morphological reconstruction of the pdf. A discussion shows the advantages over aproaches based on the gradient of the pdf and its relations with the watershed transform. The method is extended for large datasets and compared to mean-shift and watershed approaches for pixel clustering and interactive segmentation, respectively. The experiments for the segmentation of natural images and automatic gray and white matter classification of the brain show fast and accurate results compared to state-of-the-art methods. Doutorado Telecomunicações e Telemática Doutor em Engenharia Elétrica

Orientadores: Lincoln de Assis Moura Junior, Sergio Shiguemi Furuie, Eduardo Tavares Costa Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação Resumo: A identificação de estruturas constitui uma etapa importante em processamento de imagens médicas. Este trabalho pretende contribuir na área de identificação de imagens médicas, e tem por objetivo propor uma metodologia genérica para identificação de estruturas, utilizando uma abordagem em múltiplas resoluções, o espaço de escalas. Avalia-se a utilização de uma representação de dados em múltiplas escalas que permite a inclusão de conhecimento a priori sobre as estruturas em diversas escalas e ainda explora-se a idéia de realizar o processamento em uma escala apropriada. A metodologia é composta das seguintes etapas: (i) criação de uma representação dos dados em diversas escalas utilizando a teoria de espaço de escalas linear. (ii) A seguir, analisa-se as imagens presentes em todas as escalas e detecta-se as características relevantes das imagens. O produto dessa etapa é uma representação em forma de árvore que mapeia as relações entre as estruturas no espaço de escalas. Essa representação serve como base para o passo seguinte, o processamento de alto nível, no qual o conhecimento a priori sobre a estrutura procurada é modelado e incluído na representação. (iii) A última etapa é o casamento entre os elementos presentes na estrutura construída e um padrão conhecido que descreve a estrutura de interesse. A metodologia é genérica e o tipo de informação armazenada no padrão depende da aplicação específica. Neste trabalho, foi implementado um protótipo, no qual são utilizadas informações geométricas para identificação de órgãos em imagens 2D de phantom que reproduz a anatomia humana. Os resultados da aplicação da metodologia em imagens com diferentes níveis de ruído e contraste foram bastante satisfatórios. As duas primeiras etapas já estão implementadas para imagens 3D e novos parâmetros podem ser facilmente incluídos na etapa de casamento para aplicações em imagens tri-dimensionais Abstract: The identification of structures is an important step for several applications in the field of medical imaging. The purpose of this thesis is to contribute to the field of identification in medical images. Its main goal is to propose a generic methodology for identification of structures by using a multiresolution approach, the scale-space. We evaluate the use of a data representation that allows the inclusion of a priori knowledge about the structures in several scales and we also develop the idea of an appropriate scale to perform the processing. The proposed methodology comprises the following steps: (i) creation of an image representation in several scales using the scale space theory. (ii) Then the images in all scales are inspected and relevant features are extracted; the output of this step is a tree structure that maps the relations of the detected features throughout the scale space; the representation serves as a guide to subsequent high level processing step, where a priori knowledge about the desired feature is modeled and included in the representation. (iii) The last step is the matching between the elements present in the built structure and a known pattern that describes the structure of interest. The proposed methodology is generic and the type of information to be used depends strongly on the application. In this Thesis, we built a prototype application in which we used geometric information for identification of organs in 2D phantom images that reproduces human anatomy. The results of applying this method to a set of images with different noise and contrast levels were quite satisfactory. The two initial steps of the method were also implemented for 3D images. New parameters can be easily included in the matching step for extension to 3D Doutorado Engenharia Biomédica Doutor em Engenharia Elétrica

Orientador: Alexandre Xavier Falcão Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: O diagnóstico médico por imagem é uma tarefa complexa, que depende da avaliação subjetiva de um grande volume de dados. Diversas possibilidades de patologia não são consideradas por limitação de tempo e especialização dos profissionais da área médica, mesmo quando os exames adequados estão disponíveis. O desenvolvimento de técnicas automáticas de auxílio ao diagnóstico é um avanço importante para simplificar a tarefa do médico, descartando um grande número de patologias ou indicando as localizações mais prováveis de eventuais anormalidades patológicas. Displasias corticais focais (FCDs) estão associadas à epilepsia, e são uma das causas mais comuns de casos de epilepsia refratária, em que o tratamento medicamentoso não é suficiente para controlar as crises. As FCDs são lesões que geram variações locais e sutis na aparência do tecido em imagens de ressonância magnética (RM). Seu diagnóstico é em geral uma tarefa difícil e subjetiva. Detecção e localização de eventuais lesões de FCD são passos fundamentais para o planejamento do tratamento do paciente. Neste trabalho propomos um método para segmentação automática de FCDs em imagens de ressonância magnética (RM) tri-dimensional do cérebro humano. Desenvolvemos novas técnicas de segmentação e análise de imagens, automatizamos uma técnica previamente interativa (reformatação curvilinear) e, através de classificação por aprendizado supervisionado, obtivemos detecção de 100% das lesões, com cobertura de 76,9% dos voxels lesionais. Este resultado é um pouco melhor que o estado da arte, embora ainda não seja uma solução ideal, solidamente validada, para o problema Abstract: Medical diagnosis from imaging techniques is a complex task that depends on subjective evaluation of a large volume of data. Many pathologies are often not considered due to time and experience restrictions of the medical crew, even when the imaging data are readily available. The development of computer-aided diagnosis techniques greatly simplify the physician¿s work, by discarding a large number of pathologies and/or pointing out the most probable locations of pathological abnormalities. Focal cortical displasia (FCDs) are associated to epilepsy, and are one of the most common causes of refractory epilepsy, where drug-based treatment does not eliminate the seizures. FCDs are lesions that lead to subtle, localized appearance variations of brain tissue in magnetic resonance (MR) imaging. Their diagnosis is difficult, tedious and subjective. Detection and localiation of FCD lesions are key steps for treatment planning. In this work we propose a method for automatic segmentation of FCDs in tridimensional magnetic MR images of the human brain. We developed new image segmentation and image analysis techniques, automated a previously interactive technique (curvilinear reformatting) and, through classification by supervised learning, achieved detection of 100% of the lesions, with 76,9% coverage of the lesional voxels. This result is slightly better than the state-of-the-art, even though it still is has not been thoroughly validated on a large data base and can still be improved. Doutorado Doutor em Ciência da Computação

Orientadores : Roberto de Alencar Lotufo, Marco Antonio Gutierrez Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação Resumo: Imagens de ressonância magnética (IRM) têm sido utilizadas como um importante recurso para análises do funcionamento cardíaco e detecção de cardiopatias. No entanto, para a obtenção de informações quantitativas que possibilitem determinadas análises é necessário um processo prévio de segmentação de estruturas nas imagens. A realização desta tarefa manualmente é um trabalho bastante tedioso, principalmente em relação a imagens adquiridas pela modalidade considerada (cine MR). Nesta modalidade os exames são, em geral, constituídos de um grande volume de imagens, pois os cortes são obtidos em diversas fases ao longo do ciclo cardíaco. Neste trabalho desenvolveu-se um sistema interativo (ou semi-automático) para segmentação do ventrículo esquerdo em seqüências de imagens obtidas pela modalidade considerada. Para esta [malidade foi utilizado o método de segmentação Watershed através de procedimentos de análise de imagens baseados em morfologia matemática. A partir do sistema desenvolvido foram realizados testes de segmentação em um conjunto de 10 exames. Os resultados quantitativos obtidos foram comparados através de análises de variação intra-operador e inter-operadores e comparação com resultados da segmentação manual. As análises realizadas possibilitaram uma avaliação significativa mostrando a potencialidade do sistema desenvolvido e possibilitando a realização de considerações acerca de sua utilização em uma rotina clinica Abstract: Magnetic Resonance Images have been utilized as an important resource for analysis of the cardiac cycle and disease detection. However, to obtaio quantitative information that enable some of the possible analysis, it is necessary a previous process to structures segmentation in the images. Performing this task manual1y is a much tedious work, especially relative to images of cine MR. These exams usually consist of a large number of images, representing cuts obtained in different periods of the cardiac cyc1e. In this work we developed an interactive system (or a semi-automatic system) for segmenting the left ventric1e in sequences of MR images. For this purpose we uSed the Watershed segmentation method and image analysis procedures based on Mathematical Morphology. The developed system was evaluated by performing segmentation tests in a ten exams set. The quantitative results were compared through analysis of intra-operator and inter-operators variations and manual segmentation. The performed analysis resulted in a significant evaluation showing the potentiality of the proposed system and providing considerations about its use in a c1inical routine Mestrado Mestre em Engenharia Elétrica

Orientador: Roberto de Alencar Lotufo Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação Resumo: Esta tese introduz o novo conceito de transformada de zona de empate que unifica as múltiplas soluções de uma transformada de watershed, conservando apenas as partes comuns em todas estas, tal que as partes que diferem constituem a zona de empate. A zona de empate aplicada ao watershed via transformada imagem-floresta (TZ-IFT-WT) se revela um elo inédito entre transformadas de watershed baseadas em paradigmas muito diferentes: gota d'água, inundação, caminhos ótimos e floresta de peso mínimo. Para todos esses paradigmas e os algoritmos derivados, é um desafio se ter uma solução única, fina, e que seja consistente com uma definição. Por isso, propõe-se um afinamento da zona de empate, único e consistente. Além disso, demonstra-se que a TZ-IFT-WT também é o dual de métodos de segmentação baseados em conexidade nebulosa. Assim, a ponte criada entre as abordagens morfológica e nebulosa permite aproveitar avanços de ambas. Em conseqüência disso, o conceito de núcleo de robustez para as sementes é explorado no caso do watershed. Abstract: This thesis introduces the new concept of tie-zone transform that unifies the multiple solutions of a watershed transform, by conserving only the common parts among them such that the differing parts constitute the tie zone. The tie zone applied to the watershed via image-foresting transform (TZ-IFTWT) proves to be a link between watershed transforms based on very different paradigms: drop of water, flooding, optimal paths and forest of minimum weight. For all these paradigms and the derived algorithms, it is a challenge to get a unique and thin solution which is consistent with a definition. That is why we propose a unique and consistent thinning of the tie zone. In addition, we demonstrate that the TZ-IFT-WT is also the dual of segmentation methods based on fuzzy connectedness. Thus, the bridge between the morphological and the fuzzy approaches allows to take benefit from the advance of both. As a consequence, the concept of cores of robustness for the seeds is exploited in the case of watersheds. Doutorado Engenharia de Computação Doutor em Engenharia Elétrica

Orientador : Roberto de Alencar Lotufo Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação Mestrado

Orientador: Roberto de Alencar Lotufo Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica Resumo: Este trabalho aborda o desenvolvimento de ferramentas computacionais que auxiliam o estudo e a visualização do comportamento dinâmico do escoamento de fluidos em um meio poroso. O objetivo principal é calcular e visualizar a saturação de óleo no interior da amostra de rocha nos diversos instantes de tempo durante os ensaios de escoamento. Os dados volumétricos são adquiridos por tomografia computadorizada enquanto a amostra de rocha é submetida a ensaios de escoamento. Estes dados são processados utilizando o modelo voxel através das ferramentas desenvolvidas. Estas ferramentas estão divididas em cinco grandes grupos: entrada de dados, pré-processamento, processamento, visualização e visualização analítica. Na fase de leitura da fita, as fatias tomografadas, armazenadas em dispositivos seqüenciais, são recuperadas através da reconstrução do volume da amostra no modelo voxel. Na fase de pré-processamento, o volume é tratado de modo a reduzir os dados armazenados, eliminando regiões que não contenham dados de interesse. Além disso, são feitas correções na imagem de modo a eliminar eventuais problemas de alinhamento e de variações de escala ocorridos na varredura da amostra pelo tomógrafo. Na fase de processamento, foi escolhido como exemplo de utilização destas ferramentas, o cálculo da porosidade e da saturação de fluidos de um meio poroso. Estes cálculos são definidos a partir de operações aritméticas de volumes tomográficos ...Observação: O resumo, na íntegra, poderá ser visualizado no texto completo da tese digital Abstract: The approach of this work is the development of computer tools that help the study and the visualization of the dynamic behavior of the fluid flowing in porous media. The main objective is to ca1culate and to visualize the oil saturation into the rock sample at different instants of time during the flowing experiment. The volumetric data are acquired by computer tomography of the sample rock submitted to flowing off trials. These data are processed using the voxel model and the tools developed are divided in five main groups: data input, pre-processing, processing, visualization and analytical visualization. In the tape reading stage, the slices produced by tomography, stored in sequential devices, are recovered through the volumetric reconstruction of the sample using the voxel model. In the pre-processing stage, the volume is treated to reduce the amount of stored data, eliminating regions that contain non-interesting data. Besides that, some corrections are done to the image to eliminate eventual problems of size incompatibility and misalignment. In the processing stage, the calculus of the porosity of a porous media and the calculus of the saturation of fluids in that media were chosen as examples of the application of these tools. These computation processes are defined from arithmetic operations of tomographic volumes ...Note: The complete abstract is available with the full electronic digital thesis or dissertations Mestrado Mestre em Engenharia Elétrica

Orientador : Roberto de Alencar Lotufo Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica Resumo: Este trabalho apresenta os principais aspectos sobre uma abordagem de reconstrução tridimensional (3D) de objetos por ajuste de superfícies paramétricas. A reconstrução 3D se insere como um tópico da visualização volumétrica. o processo de reconstrução 3D por pode ser dividido em 3 etapas gerais: segmentação de contornos; casamento de segmentos entre contornos; e interpolação ou aproximação da superfície paramétrica. Cada uma dessas etapas é apresentada e discutida. São apresentados os detalhes do desenvolvimento e implementação de um método de reconstrução 3D por superfícies de Coons. A etapa de segmentação e representação de contornos é feita com auxíliode curvas B-Spline. Para a descrição dos segmentos, foi criado um descritor que é calculado a partir do polígono de controle de cada segmento. O casamento de segmentos é feito por um método baseado no algoritmo de busca em grafos conhecido como A*. O ajuste de superfícies é feito por "patches" de Coons. Esta dissertação contribui em 3 aspectos principais: melhoria do método de segmentação de contornos proposto por Medioni, criação de um descritor para segmentos de B-Spline e desenvolvimento de um método de casamento de segmentos que se baseia no algoritmo A* de busca em grafos. São apresentados os resultados utilizando imagens sintéticas e experimentais, obtidas por digitalização por "scanner" e por um processo de tomografia Computadorizada de raio-x Abstract: An approach to three-dimensional (3D) reconstruction of objects by parametric surfaces, a topic from volume visualization, is described. The parametric surface 3D reconstruction can be divided in three steps : contour segmentation; segment matching; and parametric surface formation. These steps are presented and discussed. A method for 3D reconstruction by Coons surfaces is developed and presented. B-Splines are used for contour segmentation and representation. The guiding-polygon is used for contour description. Segment matching is achieved by an algorithm based on the A* graph search method. Surface formation is performed by Coons's blending. This thesis contributes in 3 main aspects: improvement of the contours segmentation method proposed by Medioni, definition of a B-Spline segment descriptor, and developement of a segment matching method, based on the A* graph search method. Some results from both synthetic and experimental images are presented. Mestrado Automação Mestre em Engenharia Elétrica

Orientador: Paulo Licio de Geus Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Este trabalho apresenta os desenvolvimentos obtidos com o Holoprojetor, um projetor tridimensional que faz uso de um dispositivo chamado tela holográfica, inicialmente apresentado por Lunazzi e Diamand [29] [11]. O holoprojetor original utilizava movimentos vetoriais para estabelecer as coordenadas x, y e z, ao passo que a nova versão apresentada neste trabalho faz uso de um painel LCD para obter x e y, restando apenas z para o aparato opto-mecânico. Esta nova versão do Holoprojetor permite taxas de atualização de imagem muito maiores que as iniciais, com resultados visuais muito bons e independentes da capacidade de' ajuste visual do observador, como é o caso da visualização de pares-estéreo. Abstract: This work presents the developments with the Holoprojector, a three-dimensional projector that makes use of a device called holographic screen, initially presented by Lunazzi and Diarnand [29] [11]. The first holoprojector used vector movements to establish the x, y and z coordinates, whereas the new version, presented in this work, makes use of a LCD panel to render x and y, leaving only z to be rendered by the opto-mechanical setup. This new version of the Holoprojector allows refresh rates much higher than the ones obtained by the pioneering system, yielding very good visual results that are independent from the observer's ability to adapt his vision, as is the case with stereo-pair visualization. Mestrado Mestre em Ciência da Computação

Orientador: Roberto de Alencar Lotufo Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação Mestrado

Orientadores: Chang Hung Kiang e Roberto de Alencar Lotufo Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Geociencias Resumo: Os meios porosos carbonáticos formam um sistema tridimensional complexo de poros e gargantas. O método mais simples e óbvio para a caracterização destas formas côncavas e interconectadas é o seccionamento serial associado com a análise de imagens tridimensionais. Utilizando as rotinas existentes no sistema Khoros, foram gerados diversos algoritmos de análise de imagem (AI): a) para a medida de porosidade e superfície específica; b) para a determinação dos histogramas de tamanho de poro e garganta de poro; e, finalmente c) para simular curvas de injeção de fluidos não molhantes. Estes algoritmos foram testados com imagens sintéticas e de amostras artificiais de rocha. O seccionamento serial de 18 amostras de carbonatos gerou 32 imagens bidimensionais em níveis de cinza, todas elas paralelas e igualmente espaçadas, para cada amostra. Para a geração das imagens tridimensionais, foi necessário o alinhamento das feições e a correção da escala original. Além disto, foi necessário também a interpolação de duas imagens entre cada duas originais para a obtenção de imagens isotrópicas. A limiarização destas Imagens em níveis de cinza separou a fase poro da fase não poro, resultando, finalmente em imagens binárias tridimensionais do sistema poroso de oito amostras. Estas imagens foram submetidas a alguns dos algoritmos acima. As porosidades encontradas com o uso do algoritmo de AI ficaram sistematicamente abaixo da porosidade obtida no laboratório (injeção de mercúrio), devido principalmente à existência de microporosidade que não foi detetada devido a escala das imagens. As saturações irredutíveis da fase molhante observadas nas curvas de drenagem foram também devidas ao tamanho do pixel (18 micrômetros) que não permitiu a detecção dos pequenos volumes das gargantas de poros, desta forma desconectando o sistema em muitas unidades. Estas unidades desconectadas não puderam ser alcançadas pela fase contínua vinda da superfície das amostras Abstract: Carbonate pore systems are known as complex three-dimensional systems of pores and pore-throats. The most simple and obviousmethod for the characterization of these nonconvex, interconnected shapes is the serial sectioning associated with three-dimensionaI image analysis. Using the Khoros system routines, it was generated several algorithms of image analysis (IA): a) for porosity and specific surface measurements, b) to find pore size and pore-throat size histograms, and finally c) to simulate nonwetting fluid injection curve. These algorithms were tested with three-dimensional synthetic and artificial rock sample images. /Serial sectioning of 18 carbonate samples generated 32 two-dimensional gray-scale images, parallel and equally spaced, for each sample. To generate three-dimensional images of those samples, it was necessary to align these images and interpolate two images between two originals. Thresholding the three-dimensional gray-scale images in a way to separate the nonpore phase from the pore phase features in these images resulted in three-dimensional binary images of the pore systems of eight samples. These images were treated with some of the algorithms above. The porosity found with IA algorithm for all of the samples was lower than that achieved by mercury injection method, mainly due the microporosity, which was not detected in the scale of the images. The high irreducible saturations of wetting phase observed in drainage curves were also due to the scale of the image, because the high pixel size (18 micrometers) could not detect the small volumes of pore-throats, so disconnecting the porosity system in many units that were not reached by the continous phase of nonwetting fluid comming from the surface of the sample Mestrado Geoengenharia de Reservatórios Mestre em Geociências

Orientadores: Antonio Celso Fonseca de Arruda, Roberto de Alencar Lotufo Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Mecanica Resumo: A tomografia computadorizada de raios-x tem extrapolado a área médica e ganhado campo em inúmeras aplicações onde se faz necessária a interpretação (qualitativa e quantitativa) da estrutura interna de um material opaco, sem destruí-lo. O presente trabalho demonstra a aplicação desta técnica em ensaios não destrutivos, utilizando-se amostras de materiais e componentes de diferentes densidades e geometrias, com defeitos simulados e reais, ensaiados em tomógrafos médicos. Demonstra-se, também, o uso da técnica na caracterização de filtros eletroquímicos usados para remoção de agentes contaminantes (no caso, zinco) de efluentes industriais. Foram usadas técnicas de processamento digital de imagens (sistema Khoros) para a caracterização dos defeitos encontrados, através da medida do coeficiente de atenuação do material em regiões de interesse, e por meio do cálculo de parâmetros dimensionais tais como área e perímetro. Foram aplicadas operações de filtragem matemática para a correção do efeito de endurecimento de feixe, verificado nas imagens de materiais metálicos, sobretudo no alumínio. Devido à sua natureza qualitativa e quantitativa, a tomografia computadorizada de raios-x demonstrou ser uma ferramenta promissora em ensaios não destrutivos de materiais. Este trabalho demonstra e reforça sua aplicabilidade através do uso de processamento digital de imagens Abstract: X-ray computed tomography (XCT), originally developed for medical purposes is becoming increasingly applied to several applications where it is necessary the interpretation of the internal structure of an object nondestructively. The present work shows the application of this technique to nondestructive testing using materiaIs and components of different density and geometry, with simulated and real defects tested in a medical scanner. Characterization of electrochemical filters used to remove contamination agents (in this case, zinc) in industrial effluents, by XCT technique is also described. Digital image processing have been used (software Khoros) for defects characterization, determining the attenuation coefficient in regions of interest and measuring parameters like area and perimeter. Digital filtering operations have been applied for beam hardening correction in metallic materiaIs images, mainly aluminum. Due its qualitative and quantitative nature, XCT technique established to be a promising tool of nondestructive materiaIs evaluation and this work emphasizes its applicability through digital image processing Mestrado Materiais e Processos de Fabricação Mestre em Engenharia Mecânica

Orientadores: Antonio Celso Fonseca de Arruda, Euclides Jose Bonet Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Mecanica Resumo: Objetivou-se, através da técnica de tomografia computadorizada de Raios-X, visualizar o desenvolvimento de digitações viscosas durante o deslocamento de uma fase óleo por uma fase aquosa em um meio poroso homogêneo, natural e consolidado (arenito Vosges ). Foram escolhidos parâmetros de velocidade de injeção e razão de mobilidade de modo a propiciar o surgimento de digitações viscosas durante o escoamento bifásico. Com a utilização de um sofisticado sistema computacional (Khoros) para o tratamento das imagens gráficas, foi possível a determinação dos perfis de porosidade e de saturação de fluidos ao longo das amostras de rocha. A análise das imagens das secções transversais mostrou que, em condições de estabilidade hidrodinâmica, o deslocamento se desenvolve de acordo com o modelo pistonado sofrendo, apenas, efeitos gravitacionais bastante suavizados. Em contra-partida, em condições hidrodinamicamente instáveis, o fluido injetado se desloca através de regiões bem definidas do meio poroso indicando a existência de canais com pequeno gradiente positivo de permeabilidade. Observou-se, neste caso, efeitos de segregação gravitacional ainda mais marcantes. A análise dos perfis de saturação mostrou que, sob condições de saturação de água inata constante, as curvas de saturação da fase aquosa contra a variável de similaridade (XoITD) são semelhantes. Mantidos os mesmos parâmetros de injeção, observou-se que, as curvas de permeabilidade relativa ao óleo se sobrepõem. O mesmo acontece com as curvas de permeabilidade relativa à agua. Ficou evidente que tais curvas de permeabilidade relativa são bastante sensíveis à velocidade de injeção da fase de maior mobilidade. As curvas de permeabilidade relativa à água sugerem a existência de dois regimes de escoamento no interior do meio poroso e que, a mudança de um regime para o outro acontece em valores muito próximos de saturação da fase aquosa na rocha Abstract: The purpose of this work is to apply computerized X-Ray tomography techniques to visualize the development of viscous fingering during the displacement of an oil phase through an homogeneous, natural and consolidated porous media. Viscous fingering during two-phase flow is obtained by appropriate selection of both injection rate and mobility ratio. The porosity and saturation profiles have been computed by means of image analysis through the use of a graphical interpretation software. The image analysis of the cross sections shows that, under conditions of hidrodynamic stability, the displacement of water by oil occurs as predicted by the piston-like model, with small gravitational effects. On the other hand, when the oil phase is displaced by a water phase under unstable hidrodynamic conditions, the injected water flows through well defined regions of the porous medium. Gravity segregation is also observed in this case. Provided the injection parameters and the connate water saturation are kept constant, the water saturation profiles as a function of self-similar variable (xo / to) merge into a single curve. For the same injection conditions, it was observed that curves of oil permeability versus water saturation overlap themselves. Such overlapping also happens with the water relative permeability versus water saturation curves. It was evident that the oil relative permeabilities are strongly influenced by the injection rate of a higher mobility fluid. The shape of the water relative permeability curves indicates the existence of two different displacement mechanisms taking place along the core. Moreover, the water fractionary flow curve is characteristic of unstable displacement Mestrado Mestre em Engenharia de Petróleo

Orientadores: Roberto de Alencar Lotufo, Michel Couprie Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação Doutorado

Orientador : Roberto de Alencar Lotufo Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação Doutorado

Orientador: Roberto de Alencar Lotufo Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e Computação Doutorado

Orientador: Roberto de Alencar Lotufo Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação Resumo: O objetivo principal desta tese é propor um método de segmentação para imagens de tensores de difusão baseado na transformada de watershed. Ao invés de adaptar o watershed para trabalhar com imagens tensoriais, definimos mapas escalares baseados na morfologia matemática que retêm a informação relevante contida nos tensores para, a partir deles, conseguir a segmentação da imagem aplicando a transformada de watershed. Novos mapas baseados em operadores da morfologia matemática são então propostos e analisados. O principal mapa escalar proposto é o gradiente morfológico tensorial (TMG). Um estudo comparativo do TMG com os diversos mapas escalares já existentes demonstra sua superioridade na tarefa de segmentação. Os resultados da segmentação baseada no TMG e no watershed hierárquico são comparáveis com resultados de segmentação baseada em atlas. O método proposto é usado para segmentar os núcleos do tálamo, uma tarefa de grande importância para a neuro-ciência. O método também é adaptado para segmentação de imagens coloridas, sendo necessária para tanto a criação de uma representação tensorial específica Abstract: The main goal of this thesis is to present a segmentation method for diffusion tensor images, based on the watershed transform. Instead of adapting the watershed to work with tensorial images, scalar maps based on mathematical morphology, retaining relevant information from tensors, were defined. The desired segmentation is achieved by applying the watershed over these scalar maps. New scalar maps, based on mathematical morphology, are defined and analyzed. The tensorial morphological gradient (TMG) is the most important among the proposed scalar maps. A comparative study of the TMG with the existing scalar maps shows its superiority in the segmentation task. Segmentation results obtained by the hierarchical watershed over the TMG are comparable to atlas-based segmentation. The proposed method is used to segment the thalamic nuclei, an important task for neuroscience. The method is also adapted to segment color images, requiring a definition of a specific tensorial representation Doutorado Engenharia de Computação Doutor em Engenharia Elétrica

Orientador: Siome Klein Goldenstein Tese (doutorado) - Universidade Estadual de Campinas, Instituto da Computação Resumo: Neste trabalho de doutorado, propomos a utilizaçãoo de classificadores e técnicas de aprendizado de maquina para extrair informações relevantes de um conjunto de dados (e.g., imagens) para solução de alguns problemas em Processamento de Imagens e Visão Computacional. Os problemas de nosso interesse são: categorização de imagens em duas ou mais classes, detecçãao de mensagens escondidas, distinção entre imagens digitalmente adulteradas e imagens naturais, autenticação, multi-classificação, entre outros. Inicialmente, apresentamos uma revisão comparativa e crítica do estado da arte em análise forense de imagens e detecção de mensagens escondidas em imagens. Nosso objetivo é mostrar as potencialidades das técnicas existentes e, mais importante, apontar suas limitações. Com esse estudo, mostramos que boa parte dos problemas nessa área apontam para dois pontos em comum: a seleção de características e as técnicas de aprendizado a serem utilizadas. Nesse estudo, também discutimos questões legais associadas a análise forense de imagens como, por exemplo, o uso de fotografias digitais por criminosos. Em seguida, introduzimos uma técnica para análise forense de imagens testada no contexto de detecção de mensagens escondidas e de classificação geral de imagens em categorias como indoors, outdoors, geradas em computador e obras de arte. Ao estudarmos esse problema de multi-classificação, surgem algumas questões: como resolver um problema multi-classe de modo a poder combinar, por exemplo, caracteríisticas de classificação de imagens baseadas em cor, textura, forma e silhueta, sem nos preocuparmos demasiadamente em como normalizar o vetor-comum de caracteristicas gerado? Como utilizar diversos classificadores diferentes, cada um, especializado e melhor configurado para um conjunto de caracteristicas ou classes em confusão? Nesse sentido, apresentamos, uma tecnica para fusão de classificadores e caracteristicas no cenário multi-classe através da combinação de classificadores binários. Nós validamos nossa abordagem numa aplicação real para classificação automática de frutas e legumes. Finalmente, nos deparamos com mais um problema interessante: como tornar a utilização de poderosos classificadores binarios no contexto multi-classe mais eficiente e eficaz? Assim, introduzimos uma tecnica para combinação de classificadores binarios (chamados classificadores base) para a resolução de problemas no contexto geral de multi-classificação. Abstract: In this work, we propose the use of classifiers and machine learning techniques to extract useful information from data sets (e.g., images) to solve important problems in Image Processing and Computer Vision. We are particularly interested in: two and multi-class image categorization, hidden messages detection, discrimination among natural and forged images, authentication, and multiclassification. To start with, we present a comparative survey of the state-of-the-art in digital image forensics as well as hidden messages detection. Our objective is to show the importance of the existing solutions and discuss their limitations. In this study, we show that most of these techniques strive to solve two common problems in Machine Learning: the feature selection and the classification techniques to be used. Furthermore, we discuss the legal and ethical aspects of image forensics analysis, such as, the use of digital images by criminals. We introduce a technique for image forensics analysis in the context of hidden messages detection and image classification in categories such as indoors, outdoors, computer generated, and art works. From this multi-class classification, we found some important questions: how to solve a multi-class problem in order to combine, for instance, several different features such as color, texture, shape, and silhouette without worrying about the pre-processing and normalization of the combined feature vector? How to take advantage of different classifiers, each one custom tailored to a specific set of classes in confusion? To cope with most of these problems, we present a feature and classifier fusion technique based on combinations of binary classifiers. We validate our solution with a real application for automatic produce classification. Finally, we address another interesting problem: how to combine powerful binary classifiers in the multi-class scenario more effectively? How to boost their efficiency? In this context, we present a solution that boosts the efficiency and effectiveness of multi-class from binary techniques. Doutorado Engenharia de Computação Doutor em Ciência da Computação

Orientador: Sergio Luiz Monteiro Salles-Filho Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Geociências Resumo: Esta tese está situada no contexto das pesquisas que buscam novas idéias, práticas e instrumentos para tratar o empreendedorismo em universidades de pesquisa. O argumento principal da tese é que o ecossistema é uma unidade de referência e uma unidade de análise diferenciada e que pode agregar valor à forma e à qualidade da gestão estratégica do empreendedorismo. Um ecossistema de empreendedorismo da universidade é formado por seus componentes, que configuram uma base de recursos e capacitações que deve ser gerenciada em busca de benefícios para o processo de geração de startups criadas pela universidade. O desenvolvimento do argumento deve produzir uma metodologia de análise de ecossistemas, principal objetivo da tese, orientada por 3 princípios: identificação, interpretação e instrumentalização da análise de ecossistemas. Assim, a tese é dividida em 3 capítulos. Os Capítulos 1 e 2 servem para subsidiar os princípios de identificação e interpretação da análise, enquanto o Capítulo 3 completa os elementos da metodologia de análise e busca as bases para uma aplicação e demonstração inicial da metodologia. O Capítulo 1 sintetiza os elementos de natureza mais ampla que servem para entender os ecossistemas em seus níveis macro, micro e organizacional e serve para o posicionamento e diferenciação da abordagem de ecossistema em relação à perspectiva da hélice tripla, a mais influente abordagem junto aos processos de gestão do empreendedorismo nas universidades. Os principais resultados do Capítulo 1 fornecem a base conceitual para a metodologia de análise de ecossistemas. O Capítulo 2 faz uma análise comparada de experiências internacionais de ecossistemas (MIT, Stanford, Utah e Cambridge, na Inglaterra), de maneira contextualizada e orientada a produzir um aprendizado à experiência brasileira de ecossistemas, a partir das experiências comparadas. O capítulo 3 é a aplicação da metodologia proposta, a partir da seleção de alguns componentes do ecossistema da Unicamp. Os resultados da análise produzidos pela metodologia podem servir como insumos para a elaboração, o desenvolvimento e as melhorias da gestão estratégica do empreendedorismo da Unicamp. Como resultado principal, a expectativa é que a metodologia produzida possa ser útil à pesquisa acadêmica e possa ser replicada nas análises de outras experiências de ecossistemas, como forma de contribuir para os esforços de gestão estratégica do empreendedorismo em universidades de pesquisa Abstract: This PhD thesis is on the context of the research looking for new ideas, practices and tools to deal with entrepreneurship in research universities. The major argument is that the university-based entrepreneurship ecosystem is, simultaneously, a unit of reference and a unit of analysis appropriate for strategic management of entrepreneurship in research universities. An university-based entrepreneurship ecosystem is comprised of components, resources and capabilities that must be managed in pursuit of benefits for the process of creation and development of university-based startups. Universities and their respective management structures of entrepreneurship have the potential to use the ecosystem and its components as a source of value creation and as a reference for the strategic management of entrepreneurship for both companies and the management processes of universities. The development of this argument should produce a methodology for the analysis of ecosystems, the main objective of the thesis, guided by three principles: identification, interpretation, and an instrumental tool for ecosystem analysis. Thus, the thesis is divided into three chapters. Chapters 1 and 2 aim to support the principles of identification and interpretation of the analysis, while Chapter 3 seeks the basis for a first test and demonstration of the methodology. Chapter 1 summarizes the elements of a broader conceptual base that serves to understand the ecosystems in their macro, micro, and organizational levels and serves for the positioning and differentiation of the ecosystem approach when compared with the triple helix model, the most influential approach to the management processes of entrepreneurship in universities. Chapter 2 makes a comparative and contextualized analysis of international experiences of some ecosystems (MIT, Stanford, Utah, and Cambridge, UK), in order to produce a "learning experience" to Brazilian ecosystems. Chapter 3 is the application of the proposed methodology through the Unicamp ecosystem components, selected and analyzed by the principles of that methodology. The results of the analysis produced by the methodology can serve as inputs for the design, development, and improvement of strategic management of entrepreneurship activities at Unicamp. As a main result, the expectation is that the methodology produced can be useful for academic research and can be replicated in other ecosystems experiences, as a way to contribute to the efforts of the strategic management of entrepreneurship in research universities Doutorado Política Científica e Tecnologica Doutor em Política Científica e Tecnológica

Orientadores: Roberto de Alencar Lotufo, Michel Couprie Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação Resumo: A extração de esqueletos Euclidianos é uma tema de grande importância na área de processamento de imagens e tem sido discutido pela comunidade científica já há mais de 20 anos. Hoje é consenso que os esqueletos Euclidianos devem ter as seguintes características: Ã?nos, centrados, homotópicos e reversíveis, i.e., suficientes para a reconstrução do objeto original. Neste trabalho, introduzimos o Eixo Mediano Euclidiano Exato em Resolução Aumentada -HMA, com o objetivo de obter um eixo mediano mais i?no do que o obtido pela definição clássica. Combinando o HMA com um ei?ciente algoritmo de afinamento paralelo homotópico, propomos um esqueleto Euclidiano que é centrado, homotópico, reversível e mais ³?no que os já existentes na literatura. O esqueleto proposto tem a particularidade adicional de ser único e independente de decisões arbitrárias. São dados algoritmos e provas, assim como exemplos de aplicações dos esqueletos propostos em imagens reais, mostrando as vantagens da proposta. O texto inclui também uma revisão bibliográfica sobre algoritmos de transformada de distância, eixo mediano e esqueletos homotópicos Abstract: The extraction of Euclidean skeletons is a subject of great importance in the domain of image processing and it has been discussed by the scientiï?c community since more than 20 years.Today it is a consensus that Euclidean skeletons should present the following characteristics: thin, centered, homotopic and reversible, i.e., suff?cient for the reconstruction of the original object. In this work, we introduce the Exact Euclidean Medial Axis in Higher Resolution -HMA, with the objective of obtaining a medial axis which is thinner than the one obtained by the classical medial axis ded?nition. By combining the HMA with an ef ?cient parallel homotopic thinning algorithm we propose an Euclidean skeleton which is centered, homotopic, reversible and thinner than the existing similars in the literature. The proposed skeleton has the additional particularity of being unique and independent of arbitrary choices. Algorithms and proofs are given, as well as applicative examples of the proposed skeletons in real images, showing the advantages of the proposal. The text also includes an overview on algorithms for the Euclidean distance transform algorithms, the medial axis extraction, as well as homotopic skeletons Doutorado Engenharia de Computação Doutor em Engenharia Elétrica

Orientador: Jose Mario De Martino Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação Resumo: A animação facial por computador sincronizada com a fala permite a implementação de cabeças virtuais que podem contribuir para tornar interfaces humano-computador mais eficientes e atraentes. O presente trabalho apresenta um método de síntese de animação facial 2D baseado em imagens cujo desenvolvimento foi guiado por dois objetivos principais: a reprodução realista da movimentação articulatória visível da fala, incluindo os efeitos da coarticulação, e a possibilidade de implementação do método mesmo em plataformas com capacidades limitadas de processamento e memória, tais como celulares e assistentes pessoais digitais. O método desenvolvido baseia-se em uma base de imagens de visemas dependentes de contexto para o Português do Brasil e adota a técnica de metamorfose entre visemas para a síntese da animação facial. A abordagem proposta representa uma estratégia de síntese alternativa e inovadora, capaz de reproduzir a movimentação articulatória visível da fala, incluindo os efeitos da coarticulação, a partir de uma base de apenas 34 imagens. O trabalho inclui a implementação de um sistema piloto integrado a conversor texto-fala. Adicionalmente, o método de síntese proposto é avaliado através de teste de inteligibilidade da fala. Os resultados desta avaliação indicam que a informação visual fornecida pelas animações geradas pelo sistema contribui para a inteligibilidade da fala em condições de áudio contaminado por ruído. Apesar do trabalho estar restrito ao Português do Brasil, a solução apresentada é aplicável a outras línguas. Palavras-chave: Computação Gráfica, Animação Facial, Visemas, Coarticulação, Metamorfose Abstract: Speech synchronized facial animation allows the implementation of talking heads that potentially can improve human-computer interfaces making them more efficient and attractive. This work presentsan image based 2D facial animation synthesis method whose development was guided by two main goals: the realistic reproduction of visible speech articulatory movements, including coarticulation effects, and the possibility to implement the method also on limited processing and memory platforms, like mobile phones or personal digital assistants. The developed method is based on an image database of Brazilian Portuguese context dependent visemes and uses the morphing between visemes strategy as facial animation synthesis technique. The proposed approach represents an alternative and innovative synthesis strategy, capable of reproducing the visible speech articulatory movements, including coarticulation effects, from an image database of just 34 images. This work includes the implementation of a pilot system integrated to a text-to-speech synthesizer. Additionally, the proposed synthesis method is evaluated through a speech intelligibility test. The test results indicate that the animations generated by the system contribute to improve speech intelligibility when audio is degraded by noise. Despite the fact this work is restricted to Brazilian Portuguese, the presented solution is applicable to other languages. Keywords: Computer Graphics, Facial Animation, Visemes, Coarticulation, Morphing Mestrado Engenharia de Computação Mestre em Engenharia Elétrica

Orientador: Roberto de Alencar Lotufo Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação Resumo: A transformada watershed é uma técnica morfológica de segmentação de imagens inspirada na divisão de superfícies em bacias hidrográficas, tendo diversas formas de definição e de algoritmos. Este trabalho realiza uma análise sistemática da literatura de catorze destes algoritmos. Foram consideradas as principais abordagens existentes desde a introdução do primeiro algoritmo rápido por Vincent e Soille em 1991, até os trabalhos de Cousty et al. em 2009. Para melhor compreensão da área, as definições de transformada watershed são revisitadas, provendo o conjunto de soluções formais possíveis e esperadas dos algoritmos. Na análise destes algoritmos é fornecido pseudocódigo com notação uniformizada e uma implementação operacional Python permitindo abstrair detalhes de programação. Além disto, três algoritmos foram corrigidos para melhor aderência a definição e especificação. Também são identificadas propriedades tais como o comportamento de varredura dos pixels, uso de estratégias em particular, uso de estruturas de dados, entre outras. A compilação das informações sobre os algoritmos permitiu generalizá-los e classificá-los baseado em paradigmas clássicos da computação, a saber a busca em largura e em profundidade. Ambos são embasados na ordem de visitação dos pixels utilizada, sendo a busca em largura semelhante a simulação de inundação enquanto a busca em profundidade simula gotas de água em uma superfície. Foram também realizados estudos comparativos entre as definições implementadas pelos algoritmos, entre as estratégias utilizadas para tratamento de problemas comuns, entre o desempenho obtido pelos programas Python, e de paralelismo e abordagens utilizadas neste último caso. Desta forma, produziu-se um panorama geral e atualizado dos algoritmos de transformada watershed Abstract: The watershed transform is a morphological image segmentation technique inspired on the division of surfaces in catchment basins, with several forms of definition and algorithms. This work accomplishes a survey of the literature on fourteen of these algorithms. The main approaches since the introduction of the first fast algorithm by Vincent and Soille in 1991, until the work of Cousty et al. in 2009 has been considered. For better understanding of the subject, the watershed definitions are revisited, providing the set of formal solutions that are possible and expected from the algorithms. On the analysis of the algorithms it is supplied pseudocode with a uniform notation and a Python operational implementation allowing to abstract programming details. Aside, three algorithms were corrected for better adherence to definition and specification. Also some properties such as the scanning behaviour, use of particular strategies, and use of data structures, among others were identified. The compilation of information of the algorithms allowed to generalise and classify them based on classic paradigms of computing, namely breadth-first and depth-first search. Both are based on the visiting order of the pixels, with the breadth-first similar to a flooding simulation while the depth-first simulates drops of water on a surface Mestrado Engenharia de Computação Mestre em Engenharia Elétrica

Orientador: Gerberth Adín Ramírez Rivera Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: A atenção em inteligência artificial foi inspirada pela atenção visual humana e projetada para aumentar a flexibilidade dos modelos neurais, fornecendo uma noção de relevância ao modelo. As entradas visuais completas podem conter informações excessivas que afetam os modelos, podendo prejudicar seu desempenho. Ao atender regiões de interesse de uma imagem, um modelo pode controlar o fluxo de informações, focando em partes relevantes que ajudam a realizar uma tarefa, possivelmente reduzindo a complexidade do aprendizado no modelo que utilizará estas regiões atendidas. Este trabalho propõe modelar atenção como amostras de uma distribuição variacional, computando a probabilidade da localização de todos os píxeis com respeito à distribuição predita, criando uma máscara na imagem de entrada. Três modelos similares são apresentados e avaliados, a idéia central é utilizar uma rede neural para predizer parâmetros de uma distribuição Normal, cujas amostras representam o centro de uma máscara de atenção no espaço dos pixels, com tamanho dado pelo desvio padrão predito. Inicialmente um modelo é proposto para predizer quatro parâmetros e criar uma distribuição hierárquica, onde estes parâmetros são usados para criar uma distribuição Normal e uma Gama, em seguida amostras de ambas são usadas para criar uma segunda Normal, que por fim é utilizada para gerar a atenção. Contudo, experimentos mostraram que esta abordagem não é suficiente para a predição de máscaras atencionais robustas. Por isso, um segundo modelo com apenas um nível é proposto, assim apenas dois parâmetros precisam ser preditos para criar uma distribuição Normal e fazer amostragem das máscaras. Similarmente ao primeiro modelo, a atenção predita está muito aquém do esperado, divergindo consideravelmente dos rótulos de treino, validação e teste. Por fim, um terceiro modelo é proposto com o objetivo de simplificar o segundo, removendo a necessidade de predizer o desvio padrão, focando apenas da média da distribuição Normal. Com os experimentos realizados em todos os métodos em conjuntos sintéticos e dados reais, conclui-se que a modelagem e a função de otimização considerada neste trabalho não são suficientes para conduzir o modelo em um conjunto de dados genéricos. Na configuração mais simples, isto é, predizendo apenas a média da distribuição atencional, experimentos mostram o modelo não consegue aprender com pouca variabilidade de amostras. Porém, quando se aumenta o número de instâncias e classes, o modelo consegue resultados aceitáveis em comparação às alternativas. Contudo, ao aumentar o número de instâncias, o modelo é mais uma vez incapaz de aprender, revelando que há um limiar entre a complexidade dos dados e a capacidade da modelagem Abstract: The attention in artificial intelligence was inspired by human visual attention and designed to increase the flexibility of neural models, providing a sense of relevance to the model. Full visual inputs have excessive information that can affect models, possibly undermining their performance. When attending regions of interest in an image, a model can control the flow of information, focusing on relevant parts that help to perform a task, possibly reducing the training complexity in the model that will use these attended regions. This work proposes to model attention as samples from a variational distribution, computing the probability of all pixel locations \wrt the predicted distribution, creating a mask in the input image. Three similar models are presented and evaluated, the core idea is to use a neural network to predict parameters of a Normal distribution, whose samples represent the center of an attention mask in the pixel space, with size given by the predicted standard deviation. Initially, a model is proposed to predict four parameters and create a hierarchical distribution, where these parameters are used to create a Normal and a Gamma distribution, then samples from both are used to create a second Normal, which is then used to generate the attention. However, experiments have shown that this approach is not sufficient to predict robust attentional masks. Therefore, a second model with only one level is introduced, hence only two parameters need to be predicted to create a Normal distribution and sample the masks. Similar to the first model, the predicted attentional masks were far less accurate than expected, diverging considerably from the training, validation, and test labels. Finally, a third model is proposed to simplify the second, by removing the need to predict the standard deviation, focusing only on the mean of the Normal distribution. Experiments performed on all three methods with both synthetic sets and real data show that the modeling and the optimization function considered in this work are not sufficient to conduct the model in a generic data set. In the simplest configuration, \ie, predicting only the mean of the attentional distribution, experiments show that the model can not learn when the data have a small sample variability. However, when the number of instances and classes is increased, the model achieves acceptable results if compared to the alternatives. Yet, when increasing the number of instances, the model is once again unable to learn, revealing that there is a threshold between the data complexity and modeling capacity Mestrado Ciência da Computação Mestre em Ciência da Computação FAPESP 2018/10027-7 Funcamp

Orientador: Guido Costa Souza de Araújo Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Com o crescimento de áreas como computação de borda, existe uma crescente necessidade de trazer redes neurais para uma grande diversidade de hardwares diferentes. Para isso são necessários softwares para realizar a inferencia de redes neurais já treinadas nesses dispositivos. Hoje as soluções existentes são engines que interpretam modelos e executam operação a operação. No entanto essas engines são projetadas para hardwares especificos e suas arquiteturas tornam dificil adicionar novos backends e frontends. Para prover uma maior flexibilidade para suportar diferentes hardwares, esse trabalho propõe o NNC, uma compilador para redes neurais flexível, cuja arquitetura foi projetada com acoplamento fraco, para permitir adicionar suporte para diferentes hardwares de uma maneira mais flexível. Com essa abordagem o NNC é capaz de gerar código para GPUs com maior poder de processamento como ARM Mali, quanto para microcontroladores com menor poder de processamento. O NNC é divido em três camadas principais: o frontend, a camada de otimização e analise, e o backend. O frontend permite escrever parsers para diversos tipos de modelos. A camada de otimização e análise permite executar passos para melhorar a perfomance de execução da rede neural, bem como a realização de analises como por exemplo, determinar a memoria necessária para execução do modelo. Ao final, o backend gera código para diversas arquiteturas a partir do grafo computacional. Com uma arquitetura que utiliza uma abordagem de acoplamente fraco é possível escrever novos backends e conecta-los facilmente. O NNC possui backends para NNAPI, ARMNN, além de possuir uma biblioteca de kernels próprios utilzando Vulkan. Vulkan é uma tecnologia que permite acesso multiplataforma a GPUs modernas usadas em uma grande variedade de dispositivos, como telefones celulares e plataformas embarcadas. Mesmo com o NNC estando ainda em sua versão inicial, foi possível com essa abordagem conseguir resultados de desempenho semelhantes a várias outras engines para execução de inferencia de redes neurais, tendo a vantagem de já suportar uma quantidade maior de hardware que as demais engines Abstract: With the growth of areas such as edge computing, there is an increasing need to bring neural networks to a wide diversity of different hardware. Requiring the software to perform the inference of neural networks already trained in these devices. Today, existing solutions are engines that interpret models and perform operation by operation. However, these engines are designed for specific hardware, and its architectures make it difficult to add new backends and frontends. To provide greater flexibility for supporting different hardware, this work proposes NNC, a flexible neural network compiler whose architecture is loosely coupled, to allow the programmer to add support for different hardware more flexibly. With this approach, NNC can generate code for GPUs with higher processing power such as ARM Mali, and microcontrollers with lower processing power. NNC is divided into three main layers, the frontend, the optimization and analysis layer, and the backend. The frontend allows writing parsers for different models. The optimization and analysis layer allows performing passes to improve the performance execution of the neural network and performs analyzes as the memory required to run the model. And the backend generates code for several platforms from the computational graph. With an architecture that uses a low coupling approach, it is possible to write new backends and connect them easily. NNC has backends for NNAPI, ARMNN, and also has a library of its kernels using Vulkan. What is a technology that allows cross-platform access to modern GPUs used in a wide variety of devices, such as mobile phones and embedded platforms. Even with NNC being still in its initial version, it was possible with this approach to achieve performance results similar to several other engines to perform inference of neural networks, having the advantage of already supporting more hardware platforms than other engines Mestrado Ciência da Computação Mestre em Ciência da Computação CPqD/Campinas

Orientadores: Roberto de Alencar Lotufo, Letícia Rittner Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: A segmentação do hipocampo em ressonância magnética (RM) é de fundamental importância para o diagnóstico, tratamento e investigação de distúrbios neuropsiquiátricos. A segmentação automática é um campo de pesquisa ativo, com muitos métodos tradicionais baseados em atlas e modelos utilizando-se de aprendizado profundo sendo recentemente propostos. Esta tese examina o estado da arte na segmentação automatizada de hipocampo com Aprendizado Profundo e propõe um método para segmentação automática que contêm recentes avanços deste campo de pesquisa. Um estudo público sobre a doença de Alzheimer chamado HarP com anotações do hipocampo é usado para validação durante o desenvolvimento da metodologia. Paralelamente, é levantada uma hipótese de que os métodos atuais não são ideais para casos de ressecção do hipocampo devido ao tratamento da epilepsia. A metodologia, denominada Extended 2D Consensus Hippocampus Segmentation, é justificada em teoria e posteriormente validada em experimentos. Um consenso de CNNs 2D baseadas numa modificação da arquitetura UNet avalia todas as três orientações ortogonais do volume de entrada. Esse consenso é seguido por um pós-processamento usando rotulagem 3D. Escolhas tradicionais de design inspiradas na literatura são usadas em seu desenvolvimento, como aumento de dados e transferência de aprendizado com pré-inicialização dos pesos do codificador. A tradicional arquitetura de CNNs UNet é modificada, resultando em melhor desempenho. Além disso, o otimizador RADAM e a Boundary Loss, recentemente propostos na literatura, são implementados e mostram desempenho superior quando comparados a outras opções tradicionais. O desempenho do E2DHipseg é analisado juntamente com outros métodos recentes de Aprendizado Profundo em dois domínios: o benchmark HarP e um conjunto de dados interno de epilepsia, chamado HCUnicamp. O HCUnicamp difere significativamente dos exames de indivíduos saudáveis e com Alzheimer, devido à presença de pacientes submetidos à cirurgia de ressecção do hipocampo. O E2DHipseg supera outros métodos da literatura nos conjuntos de dados de teste de Alzheimer e Epilepsia, com o código e o executável binário disponíveis on-line. No entanto, nenhum método alcança bom desempenho nos casos de ressecção do hipocampo. Como um experimento final, E2DHipseg é treinado nos dados de epilepsia, o que resulta em melhora dos resultados Abstract: Segmentation of the hippocampus in magnetic resonance imaging (MRI) is of fundamental importance for the diagnosis, treatment and investigation of neuropsychiatric disorders. Automatic segmentation is an active research field, with many traditional atlas-based works and, recently, deep learning based methods. This thesis examines the state of the art in automated hippocampal segmentation with Deep Learning and proposes a method for automatic segmentation that contains recent advances in this field of research. A public study on Alzheimer's disease called HarP with manual hippocampal annotations is used for validation during the development of the methodology. Additionally, a hypothesis is raised that current state-of-the-art methods are not ready to deal with cases of hippocampus resection due to the treatment of epilepsy. The methodology, called Extended 2D Consensus Hippocampus Segmentation, is justified in theory and later validated in experiments. A consensus of 2D CNNs based on a modification of the UNet architecture assesses all three orthogonal orientations of the input volume. This consensus is followed by post-processing using 3D labeling. Traditional design choices inspired by literature are used, such as data augmentation and transfer learning with encoder weight initialization. The now traditional UNet CNN architecture is modified, resulting in better performance. In addition, the RADAM optimizer and Boundary Loss, recently proposed in the literature, are implemented and show superior performance when compared to other traditional options. The performance of E2DHipseg is analyzed together with other recent methods of Deep Learning in two domains: the HarP benchmark and an internal epilepsy data set, called HCUnicamp. HCUnicamp differs significantly from examinations of healthy individuals with Alzheimer's, due to the presence of patients that undergone hippocampal resection surgery. E2DHipseg outperforms other methods in the literature in the Alzheimer's and Epilepsy test data sets, with the code and binary executable available online. However, no method achieves good performance in cases of hippocampus resection. As a final experiment, E2DHipseg is trained on the epilepsy data, resulting in improved results Mestrado Engenharia de Computação Mestre em Egenharia do Petróleo FAPESP 2018/00186-00

Orientadores: Leticia Rittner, Roberto de Alencar Lotufo Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: A doença de Alzheimer (AD - Alzheimer's disease) é um tipo de demência que afeta milhões de pessoas em todo o mundo. Até o momento, não há cura para a doença e seu diagnóstico precoce tem sido uma tarefa desafiadora. As técnicas atuais para o seu diagnóstico têm explorado as informações estruturais da Imagem por Ressonância Magnética (MRI - Magnetic Resonance Imaging) em imagens ponderadas em T1. Entre essas técnicas, a rede neural convolucional (CNN - Convolutional Neural Network) é a mais promissora e tem sido usada com sucesso em imagens médicas para uma variedade de aplicações devido à sua capacidade de extração de características. Antes do grande sucesso do aprendizado profundo e das CNNs, os trabalhos que objetivavam classificar os diferentes estágios de AD exploraram abordagens clássicas de aprendizado de máquina e uma meticulosa extração de características, principalmente para classificar testes binários. Recentemente, alguns autores combinaram técnicas de aprendizagem profunda e pequenos subconjuntos do conjunto de dados públicos da Iniciativa de Neuroimagem da Doença de Alzheimer (ADNI - Alzheimer's Disease Neuroimaging Initiative) para prever um estágio inicial da doença explorando abordagens 3D CNN geralmente combinadas com arquiteturas de auto-codificador convolucional 3D. Outros também exploraram uma abordagem de CNN 3D combinando-a ou não com uma etapa de pré-processamento para a extração de características. No entanto, a maioria desses trabalhos focam apenas na classificação binária, sem resultados para AD, comprometimento cognitivo leve (MCI - Mild Cognitive Impairment) e classificação de sujeitos normais (NC - Normal Control). Nosso principal objetivo foi explorar abordagens de CNN 2D para a tarefa de classificação das 3 classes usando imagens de MRI ponderadas em T1. Como objetivo secundário, preenchemos algumas lacunas encontradas na literatura ao investigar o uso de arquiteturas CNN 2D para o nosso problema, uma vez que a maioria dos trabalhos explorou o aprendizado de máquina clássico ou abordagens CNN 3D. Nossa abordagem CNN 2D estendida explora as informações volumétricas dos dados de ressonância magnética, mantendo baixo custo computacional associado a uma abordagem 2D, quando comparados às abordagens 3D. Além disso, nosso resultado supera as outras estratégias para a classificação das 3 classes e comparando o desempenho de nosso modelo com os métodos tradicionais de aprendizado de máquina e 3D CNN. Também investigamos o papel de diferentes técnicas amplamente utilizadas em aplicações CNN, por exemplo, pré-processamento de dados, aumento de dados, transferência de aprendizado e adaptação de domínio para um conjunto de dados brasileiro Abstract: Alzheimer's disease (AD) is a type of dementia that affects millions of people around the world. To date, there is no cure for Alzheimer's and its early-diagnosis has been a challenging task. The current techniques for Alzheimer's disease diagnosis have explored the structural information of Magnetic Resonance Imaging (MRI) in T1-weighted images. Among these techniques, deep convolutional neural network (CNN) is the most promising one and has been successfully used in medical images for a variety of applications due to its ability to perform features extraction. Before the great success of deep learning and CNNs, the works that aimed to classify the different stages of AD explored classic machine learning approaches and a meticulous feature engineering extraction, mostly to classify binary tasks. Recently, some authors have combined deep learning techniques and small subsets from the Alzheimer's Disease Neuroimaging Initiative (ADNI) public dataset, to predict an early-stage of AD exploring 3D CNN approaches usually combined with 3D convolutional autoencoder architectures. Others have also investigated a 3D CNN approach combining it or not with a pre-processing step for the extraction of features. However, the majority of these papers focus on binary classification only, with no results for Alzheimer's disease, Mild Cognitive Impairment (MCI), and Normal Control (NC) classification. Our primary goal was to explore 2D CNN approaches to tackle the 3-class classification using T1-weighted MRI. As a secondary goal, we filled some gaps we found in the literature by investigating the use of 2D CNN architectures to our problem, since most of the works either explored traditional machine learning or 3D CNN approaches. Our extended-2D CNN explores the MRI volumetric data information while maintaining the low computational costs associated with a 2D approach when compared to 3D-CNNs. Besides, our result overcomes the other strategies for the 3-class classification while analyzing the performance of our model with traditional machine-learning and 3D-CNN methods. We also investigated the role of different widely used techniques in CNN applications, for instance, data pre-processing, data augmentation, transfer-learning, and domain-adaptation to a Brazilian dataset Mestrado Engenharia de Computação Mestra em Engenharia Elétrica CNPQ 168468/2017-4

Orientador: Eduardo Alves do Valle Junior Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Todos os anos, o Instituto Nacional do Câncer, no Brasil, registra mais de 150.000 novos casos de câncer de pele, configurando um problema real no sistema de saúde pública do país. O câncer de pele se desenvolve de maneiras diferentes, o mais comum é o carcinoma das células basais, mas o melanoma é o mais perigoso, com a maior taxa de mortalidade. As chances de cura diminuem com a maturidade da doença. Nesse cenário, métodos automáticos de triagem de lesões de pele são uma esperança para aumentar a detecção precoce e melhorar a expectativa de vida dos pacientes de câncer. Nesse estudo, nós endereçamos uma das principais tarefas do pipeline de deteção de câncer de pele: a segmentação das lesões de pele. Essa tarefa por si só é bastante desafiadora na perspectiva de visão computacional. Conjuntos de dados públicos não são tão extensos como para outros domínios de imagem e as anotações das imagens não são ótimas. Esses problemas têm um impacto real na performance do modelo e na sua capacidade de generalização. Ao longo desse trabalho, nós desejamos atacar a segunda questão, a qualidade das anotações das imagens. Nós analisamos as estatísticas de concordância entre anotadores no conjunto de dados de lesões de pele público mais famoso disponível e desenvolvemos algumas conclusões sobre as anotações disponíveis. Então, nós propusemos uma série de condicionamentos a serem aplicados nos dados de treino para avaliar como eles melhoram a concordância entre diferentes especialistas. Finalmente, nós analisamos como os condicionamentos afetam o treino e a avaliação de redes neurais profundas para a tarefa de segmentação de lesões de pele. Nossas conclusões sugerem que a baixa concordância entre anotadores presente no conjunto de dados ISIC Archive tem um impacto expressivo na performance dos modelos treinados, e considerar essa discordância pode, de fato, melhorar as capacidades de generalização das redes Abstract: Every year, the National Institute of Cancer, in Brazil, registers more than 150,000 new cases of skin cancer, making it a real issue in the country's public health system. Skin cancer evolves in different manners, the most common is the basal cell carcinoma, but melanoma is the most dangerous, with the highest mortality rate. The probability of cure decreases with the matureness of the disease. In this scenario, automatic methods for skin lesion triage is hope for boosting early detection and increasing the life expectancy of cancer patients. In this study, we address one of the main subjects of the skin cancer detection pipeline: skin lesion segmentation. The task itself is challenging from the computer vision perspective. Public data sets are not as large as for other image domains, and the annotations are not optimal. These problems have a real impact on the model's performance and capability to generalize. Along with our work, we aim to tackle the second issue, the quality of image ground truths. We analyze the inter-annotator agreement statistics inside the most popular skin lesion dataset public available and draw some conclusions about the available annotations. Then, we propose a series of conditioning to apply in the training data to evaluate how they improve the agreement between different specialists. Finally, we analyze how the conditionings affect the training and evaluation of deep neural networks for the skin lesion segmentation task. Our conclusions show that the low inter-annotator agreement available in the ISIC Archive dataset has a meaningful impact in the performance of trained models and taking the disagreement into account can indeed improve the generalization capability of the networks Mestrado Engenharia de Computação Mestre em Engenharia Elétrica

Orientador: Sandra Eliza Fontes de Avila Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Melanoma é a forma mais letal de câncer de pele. Devido a possibilidade de metástase, o diagnóstico precoce é crucial para aumentar a taxa de sobrevivência dos pacientes. A análise automatizada de lesões de pele pode ter um papel importante ao alcançar pessoas sem acesso a especialistas. Porém, desde que técnicas de aprendizado profundo se tornaram o estado-da-arte para análise de lesões de pele, os dados se tornaram um fator decisivo para avançar as soluções. O objetivo principal dessa tese de mestrado é tratar dos problemas que surgem por lidarmos com poucos dados nesse contexto médico. Na primeira parte, usamos redes generativas adversariais para gerar dados sintéticos para aumentar o conjunto de treino dos nossos modelos de classificação para elevar a performance. Nosso método é capaz de gerar imagens de lesão de pele em alta-resolução com significado clínico, que quando usadas para compor o conjunto de treino de redes de classificação, consistentemente melhoram a performance em diferentes cenários, para diferentes dados. Também investigamos como nossos modelos de classificação interpretam as amostras sintéticas, e como elas são capazes de ajudar na generalização do modelo. Finalmente, analisamos um problema que surge por termos poucos, relativamente pequenos conjuntos de dados que são reusados repetidamente na literatura: bias. Para isso, planejamos experimentos para estudar como nossos modelos usam os dados, verificando como ele explora correlações corretas (com base em algoritmos médicos), e espúrias (com base em artefatos introduzidos durante a aquisição das imagens). Surpreendentemente, mesmo sem contar com nenhuma informação clínica sobre a lesão sendo diagnosticada, nossos modelos de classificação apresentaram performance muito melhor que o acaso (competindo até mesmo com benchmarks de especialistas), sugerindo performances altamente infladas Abstract: Melanoma is the most lethal type of skin cancer. Due to the possibility of metastasis, early diagnosis is crucial to increase the survival rate of those patients. Automated skin lesion analysis can play an important role by reaching people that do not have access to a specialist. However, since deep learning became the state-of-the-art for skin lesion analysis, data became a decisive factor to push the solutions further. The core objective of this Master thesis is to tackle the problems that arise by having limited datasets. In the first part, we use generative adversarial networks (GANs) to generate synthetic data to augment our classification model's training datasets to boost performance. Our method is able to generate high-resolution clinically-meaningful skin lesion images, that when compound our classification model's training dataset, consistently improved the performance in different scenarios, for distinct datasets. We also investigate how our classification models perceived the synthetic samples, and how they are able to aid the model's generalization. Finally, we investigate a problem that usually arises by having few, relatively small datasets that are thoroughly re-used in the literature: bias. For this, we designed experiments to study how our models' use of data, verifying how it exploits correct (based on medical algorithms), and spurious (based on artifacts introduced during image acquisition) correlations. Disturbingly, even in absence of any clinical information regarding the lesion being diagnosed, our classification models presented much better performance than chance (even competing with specialists benchmarks), highly suggesting inflated performances Mestrado Ciência da Computação Mestre em Ciência da Computação CNPQ 134271/2017-3 FAPESP CAPES

Orientador: Prof. Dr. Franklin César Flores Dissertação (mestrado em Ciência da Computação) - Universidade Estadual de Maringá, 2018 RESUMO: Aberturas e afinamentos por atributo são operadores conexos morfológicos que removem estruturas de imagens de acordo com um dado critério. Tais operadores foram estendidos com sucesso de imagens binárias para escala de cinza, mas tal extensão para imagens coloridas não é trivial. Este trabalho propõe operadores por atributo colorido por uma combinação de gradientes coloridos e decomposição por valor de limiar. Nesta abordagem, não somente critérios estruturais podem ser aplicados, mas também critérios baseados em caracteri'sticas e estati'sticas de cor. São apresentadas duas aplicações: 1) dois critérios baseados na avaliação não-supervisionada de segmentação para a melhorar resultados de segmentação colorida; exemplos de segmentação com aplicação desses operadores conquistaram resultados 80% mais qualitativo e quantitativo e que dois métodos recomendados na literatura em um estudo de casos com 300 imagens; 2) um critério baseado na divergência do histograma de cor para um modelo harmônico; outro experimento realizado mostra que o uso da segmentação harmônica permitiu uma correção de matiz que preserva regiões harmônicas ABSTRACT: Attribute openings and thinnings are morphological connected operators that remove structures from images according to a given criterion. These operators were successfully extended from binary to grayscale images, but such extension to color images is not straightforward. This work proposes color attribute operators by a combination of color gradients and thresholding decomposition. In this approach, not only structural criteria may be applied, but also criteria based on color features and statistics. This work presented: 1) two criteria based on unsupervised segmentation evaluation for improvement of color segmentation; segmentation using these operators performed better than two state-of-the-art methods in 80% of the results of a experiment done using 300 images; 2) a criterion based on color histogram divergence from a harmonic model; another experiment concluded that using the harmonic segmentation permitted a hue correction that preserved harmonic regions 47 f. : il. (algumas color.).

Orientador: Ricardo da Silva Torres Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: O deslocamento de domínio é um fenômeno observado quando dois domínios relacionados ¿ um domínio fonte (conjunto de treinamento) e um alvo (conjunto de teste) ¿ apresentam uma diferença entre suas distribuições de probabilidade marginal. Este fenômeno é prevalente em aprendizado de máquina, particularmente em aplicações do mundo real. Em visão computacional, por exemplo, o deslocamento de domínio ocorre essencialmente porque os dados visuais podem ser capturados por diferentes dispositivos e sob condições variadas de imageamento, como cena, pose e iluminação. Na presença de deslocamento de domínio, no entanto, classificadores convencionais geralmente não atingem desempenhos desejáveis na fase de teste. Isto ocorre porque pressupõem um ambiente estacionário, ou seja, o domínio fonte e o alvo são supostamente amostrados da mesma distribuição de probabilidade. Como superar a limitação imposta por esse pressuposto é a questão que orienta este estudo. Aqui, apresento mecanismos algorítmicos para abordar o problema de deslocamento de domínio, aumentando, assim, os desempenhos de classificação. Os algoritmos foram propostos sob o paradigma de adaptação de domínio semi-supervisionado, no qual estão disponíveis um domínio fonte totalmente rotulado e um domínio alvo parcialmente rotulado para guiar a adaptação de domínio. O problema de deslocamento de domínio é atacado por esses algoritmos de duas maneiras diferentes: i) aprendendo uma nova representação de características invariante entre os domínios; e ii) combinando uma nova representação de características com um modelo de adaptação de domínio. Nesse contexto, concluo que o aprendizado semi-supervisionado de características através de um subespaço restringido por vínculos semânticos entre domínios ¿ ou seja, restrições em pares entre os domínios ¿ é um mecanismo efetivo para reduzir o deslocamento de domínio. Além disso, mostro que características invariantes extraídas em um Espaço de Hilbert Reproduzido por Kernel com um modelo de adaptação de domínio de margem máxima produz um método semi-supervisionado que reduz a mudança de domínio mais do que essas soluções separadamente Abstract: Domain shift is a phenomenon observed when two related domains ¿ a source (training set) and a target domain (test set) ¿ have a mismatch between their marginal probability distributions. This phenomenon is prevalent in machine learning, particularly in real-world applications. In computer vision, for instance, domain shift occurs essentially because visual data are often captured by different devices and under varied imaging conditions, such as scene, pose, and illumination. Under domain shift, however, conventional classifiers often fail to achieve desirable performances at test time. This is because they assume a stationary environment, that is, source and target domain are supposedly drawn from the same probability distribution. How to overcome the limitation imposed by this assumption is the question that guides this study. Here, I present algorithmic mechanisms to approach the domain-shift problem, thereby leading to an improvement on classification performances. The algorithms were proposed under the domain adaptation semi-supervised paradigm, in which a fully labeled source data and a partially labeled target data are available to guide the domain adaptation. The domain-shift problem is addressed by these algorithms in two different fashion: i) by learning a new invariant feature representation across domains; and ii) by combining a new feature representation with a based-domain-adaptation model. In this context, I found that semi-supervised subspace feature learning constrained by semantic links across domains ¿ namely inter-domain pairwise constraints ¿ is an effective mechanism to reduce the domain shift. Additionally, I found that combining the learning of invariant features in a Reproducing Kernel Hilbert Space with a max-margin domain-adaptation model yields a semi-supervised method that reduces the domain shift more than these solutions separately Doutorado Ciência da Computação Doutor em Ciência da Computação FAPESP 2015/09169-3

Orientador: Roberto de Alencar Lotufo Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: O corpo caloso é de grande interesse para a comunidade médica e de pesquisa, e suas características têm sido associadas a muitos distúrbios psicológicos e doenças cerebrais. A análise localizada de suas características é um procedimento usual, particularmente para o diagnóstico de esclerose múltipla e outras doenças inflamatórias. Neste trabalho, propomos um framework para extrair características da microestrutura ao longo da extensão do corpo caloso em uma função de assinatura, permitindo que análises globais e localizadas sejam realizadas no domínio 1--D da assinatura, em vez do domínio 3--D de a imagem original. Nossa solução é uma sucessão de vários métodos especializados, que foram projetados para resolver partes específicas do pipeline de geração de assinatura, incluindo a definição de um plano de simetria local para as fibras internas do corpo caloso, realizar a segmentação do corpo caloso, traçar o eixo médio da estrutura e extrair as características ao longo do eixo médio. Um dataset com imagens de 80 aquisições distintas de indivíduos saudáveis foi usado para avaliar tanto o plano de simetria da fibra quanto as assinaturas geradas. Os resultados mostram que o plano predito pelo nosso método é significativamente distinto dos planos preditos pelos métodos tradicionais de estimativa do plano sagital médio, com uma diferença maior na inclinação em relação ao plano axial, de cerca de 2 graus em média. As assinaturas apresentam um padrão similar na maioria dos casos, mas retêm características individuais. Em uma análise de agrupamento, verificamos que existe um único aglomerado maior que tem seu tamanho reduzido drasticamente apenas quando todas as arestas são removidas, exceto aquelas com pelo menos 90% de similaridade. As assinaturas geradas pelo nosso framework proposto fornecem uma maneira inédita de realizar a análise das características da microestrutura do corpo caloso, que é inerentemente localizada e independente da morfologia da estrutura. Nossa solução abre novas possibilidades no campo para pesquisa e desenvolvimento futuros relacionados Abstract: The corpus callosum is of great interest for the medical and research community, and its characteristics have been associated with many psychological disorders and brain diseases. Localized analysis of its features is a usual procedure, particularly for the diagnosis of multiple sclerosis and other inflammatory diseases. In this work, we propose a framework for extracting microstructure features along the corpus callosum extent into a signature function, allowing global and localized analyses to be performed in the 1--D domain of the signature, instead of the 3--D domain of the original image. Our solution is a succession of several specialized methods, which were designed to solve specific parts of the signature generation pipeline, including defining a plane of local symmetry for the corpus callosum internal fibers, perform the corpus callosum segmentation, trace the structure median axis, and extract the features along the median axis. A dataset with images from 80 distinct acquisitions from healthy subjects was used to evaluate both, the fiber's symmetry plane, and the generated signatures. Results show that the plane predicted by our method is significantly distinct from the planes predicted by traditional mid--sagittal plane estimation methods, with a larger difference on the inclination relative to the axial plane, of about 2 degrees on average. The signatures present a similar pattern in most cases but retain individual characteristics. In a clustering analysis, we verified that there is one single larger cluster that has its size reduced dramatically only when all edges are removed, except for the ones with at least 90% of similarity. The signatures generated by our proposed framework provide an unprecedented way to perform the analysis of the corpus callosum microstructure features, which is inherently localized, and independent from the structure morphology. Our solution open new possibilities for future related research and development in the field Doutorado Engenharia de Computação Doutor em Engenharia Elétrica FAPESP 2012/23059-8