Search

This document presents a series of elements for approaching the task of segmenting mouth structures in facial images, particularly focused in frames from video sequences. Each stage is treated separately in different Chapters, starting from image pre-processing and going up to segmentation labeling post-processing, discussing the technique selection and development in every case. The methodological approach suggests the use of a color based pixel classification strategy as the basis of the mouth structure segmentation scheme, complemented by a smart pre-processing and a later label refinement. The main contribution of this work, along with the segmentation methodology itself, is based in the development of a color-independent label refinement technique. The technique, which is similar to a linear low pass filter in the segmentation labeling space followed by a nonlinear selection operation, improves the image labeling iteratively by filling small gaps and eliminating spurious regions resulting from a prior pixel classification stage. Results presented in this document suggest that the refiner is complementary to image pre-processing, hence achieving a cumulative effect in segmentation quality. At the end, the segmentation methodology comprised by input color transformation, preprocessing, pixel classification and label refinement, is put to test in the case of mouth gesture detection in images aimed to command three degrees of freedom of an endoscope holder., Ce travail présente une nouvelle méthodologie pour la reconnaissance automatique des gestes de la bouche visant à l'élaboration d'IHM pour la commande d'endoscope. Cette méthodologie comprend des étapes communes à la plupart des systèmes de vision artificielle, comme le traitement d'image et la segmentation, ainsi qu'une méthode pour l'amélioration progressive de l'étiquetage obtenu grâce à la segmentation. Contrairement aux autres approches, la méthodologie est conçue pour fonctionner avec poses statiques, qui ne comprennent pas les mouvements de la tête. Beaucoup d'interêt est porté aux tâches de segmentation d'images, car cela s'est avéré être l'étape la plus importante dans la reconnaissance des gestes. En bref, les principales contributions de cette recherche sont les suivantes: La conception et la mise en oeuvre d'un algorithme de rafinement d'étiquettes qui dépend d'une première segmentation/pixel étiquetage et de deux paramétres corrélés. Le rafineur améliore la précision de la segmentation indiquée dans l'étiquetage de sortie pour les images de la bouche, il apporte également une amélioration acceptable lors de l'utilisation d'images naturelles. La définition de deux méthodes de segmentation pour les structures de la bouche dans les images; l'une fondée sur les propriétés de couleur des pixels, et l'autre sur des éléments de la texture locale, celles-ci se complétent pour obtenir une segmentation rapide et précise de la structure initiale. La palette de couleurs s'avére particuliérement importante dans la structure de séparation, tandis que la texture est excellente pour la séparation des couleurs de la bouche par rapport au fond. La dérivation d'une procédure basée sur la texture pour l'automatisation de la sélection des paramètres pour la technique de rafinement de segmentation discutée dans la première contribution. Une version améliorée de l'algorithme d'approximation bouche contour présentée dans l'ouvrage de Eveno et al. [1, 2], ce qui réduit le nombre d'itérations nécessaires pour la convergence et l'erreur d'approximation finale. La découverte de l'utilité de la composante de couleur CIE à statistiquement normalisée, dans la différenciation lévres et la langue de la peau, permettant l'utilisation des valeurs seuils constantes pour effectuer la comparaison.

En este trabajo se presenta una nueva metodología para el reconocimiento automático de gestos de la boca orientada al desarrollo de una interfaz hombre-máquina para el comando de endoscopios. Dicha metodología comprende etapas comunes a la mayoría de sistemas de visión artificial, como lo son el tratamiento de la imagen y la segmentación, además de un método para el mejoramiento progresivo del etiquetado resultante de la segmentación inicial. A diferencia de otras aproximaciones, la metodología propuesta se adecua a gestos bucales y que no implican movimientos de la cabeza. A lo largo del documento se presta especial interés a la etapa de segmentación, ya que es ésta la que presenta mayores retos en el reconocimiento de gestos / Abstract: This document presents a series of elements for approaching the task of segmenting mouth structures in facial images, particularly focused in frames from video sequences. Each stage is treated separately in different chapters, starting from image pre-processing and going up to segmentation labeling post-processing, discussing the technique selection and development in every case. The methodological approach suggests the use of a color based pixel classification strategy as the basis of the mouth structure segmentation scheme, complemented by a smart pre-processing and a later label renement. The main contribution of this work, along with the segmentation methodology itself, is based in the development of a color-independent label renement technique. The technique, which is similar to a linear low pass filter in the segmentation labeling space followed by a non-linear selection operation, improves the image labeling iteratively by filling small gaps and eliminating spurious regions resulting from a prior pixel classification stage. Results presented in this document suggest that the rener is complementary to image pre-processing, hence achieving a cumulative effect in segmentation quality. At the end, the segmentation methodology comprised by input color transformation, pre-processing, pixel classification and label renement, is put to test in the case of mouth gesture detection in images aimed to command three degrees of freedom of an endoscope holder. Tesis realizada conjuntamente con el Institut National des Sciences Apliquées INSA de Lyon Laboratoire Ampère (UMR5005) Maestría

En este artículo se propone un nuevo método para el comando de tres grados de libertad de un robot manipulador, por medio de gestos de la boca. Las diferentes posiciones son registradas en secuencias de video, las cuales son procesadas y clasificadas en tiempo real. Se utilizan diferentes técnicas de procesamiento de imágenes a cada cuadro, para lograr la adecuada segmentación y caracterización del Área de la boca. Posteriormente, se utiliza la información de clasificación en una máquina de estados que estabiliza la detección del gesto e interactúa con la interfaz de comando del robot, indicándole la operación a realizar. Los resultados obtenidos muestran que la metodología propuesta es altamente efectiva para aplicaciones en tiempo real, siendo lo suficientemente rápida y adecuada para la detección de las posturas seleccionadas.

En el presente trabajo se trata el tema de la reconstrucción de modelos 3D faciales partiendo de imágenes de rango, tocando los tópicos de adquisición de las imágenes, registro e integración. En la parte de adquisición, se realiza un análisis comprehensivo de la técnica de adquisición de imágenes de rango por triangulación y luz estructurada. En el registro, se propone el uso de un nuevo mecanismo de muestreo, y se demuestra que presenta un factor de convergencia mayor que el de los métodos revisados en la literatura, con respecto a las imágenes de rango faciales. Finalmente, se propone un algoritmo de integración de modelos parciales de la cara, y se muestran sus ventajas con respecto a dos métodos revisados en la literatura. / Abstract: This work treats the 3D facial model reconstruction process based on range images, and focusing on image acquisition, register and integration. The document has a comprehensive analysis of the triangulation and structured light technique for range image acquisition. Also, it is proposed a new data point sampling mechanism for the image registering process, which demonstrates to be more accurate than the others presented before in the literature, for the special case of facial range information. Finally, it is proposed an integration algorithm for partial model reconstruction of faces, and some comparisons between this one and two other methods posted in the literature are also shown. Maestría

La información proveniente de un conjunto de imágenes de rango puede utilizarse para producir modelos computacionales en 3D de la escena. Sin embargo, cada imagen esta referida a las coordenadas de la cámara en el momento de la adquisición. Encontrar un conjunto de transformaciones tales que, aplicadas a las imágenes, lleven el conjunto a un sistema coordenado común, es usualmente denominado registro de imágenes de rango. Uno de los grandes problemas en dicho proceso está relacionado con datos seleccionados de forma arbitraria y que no son relevantes en el registro. En éste artículo se propone un nuevo método de muestreo, basado en el uso de la información local de variación de la orientación (curvatura). Se muestra que, el rendimiento del algoritmo es adecuado en comparación con las técnicas habituales en la reconstrucción de modelos a partir de imágenes de rango.Palabras claves: Imágenes de rango, métodos de muestreo, registro. The information provided by a set of range images can be used in order to produce a computational 3D model of the scene. However, each image is refered to the camera coordinates at its acquisition. To fi nd a set of transformations that takes the whole set into a common coordinate system is what we usually call range images registration. One of the mayor problems of this process is produced by arbitrary data that is not relevant for the registration. In this paper I propose a new method of data sampling in which local variation in orientation (curvature) is used. I show that the proposed algorithm performs well against the ones typically used in model reconstruction from range images.

gráficos, ilustraciones, tablas. El aprendizaje profundo ha tenido un impacto notable en el análisis de imágenes médicas. Desde clasificar tejidos hasta localizar áreas anormales en una región, herramientas como las redes neuronales convolucionales (CNNs) y sus múltiples arquitecturas han mostrado resultados prometedores en esta área de la medicina. En patología digital, estos modelos neuronales se están convirtiendo cada vez más en una herramienta vital en el apoyo diagnostico y pronóstico para los patólogos. Actualmente, múltiples instituciones médicas utilizan CNNs en sus laboratorios para optimizar el tiempo de búsqueda de regiones anormales en imágenes médicas digitales - como lo son las muestras de biopsias -, generando automáticamente información relevante en el diagnóstico y pronóstico de un paciente. Su aplicabilidad se ha logrado en gran medida gracias a la existencia de habilitadores tecnológicos, como hardware especializado (p.e., procesadores gráficos o GPUs), que permiten manipular y procesar grandes cantidades de datos de manera simultánea. Sin embargo, las GPUs no puede procesar las imágenes en algunos casos debido a su tamaño. Las imágenes histopatológicas son un ejemplo de este tipo de imágenes, donde el tamaño de las imágenes puede ser del orden de hasta 25.000 x 30.000 píxeles. Se han diseñado estrategias que permiten manipular este tipo de imágenes, desde optimizar la forma de entrenar las CNNs hasta dividir la imagen en parches con un tamaño manejable. Sin embargo, analizar la biopsia, elegir las áreas de interés y crear las etiquetas correspondientes, son procesos que se realizan de forma manual y resultan dispendiosos para el especialista. Por lo tanto, es necesario desarrollar nuevas estrategias para apoyar al patólogo en estas tareas. En este documento, se plantean tres metodologías que permiten apoyar al patólogo en el análisis de imágenes histopatológicas de tejido prostático. El primer diseño emplea transformaciones de color que proporcionan información adicional sobre la imagen. Se mostró cómo estas técnicas mejoran y resaltan las estructuras presentes en el tejido (se logra una mejor definición de los núcleos, aumenta el contraste en el estroma y las células epiteliales, etc.). Estas transformaciones de color tienen la ventaja de que su implementación no genera un costo computacional considerable, permitiendo manipular la imagen de forma rápida, incluso en ordenadores que no posean un hardware especializado. El segundo diseño analiza el proceso de segmentación de una imagen con redes neuronales convolucionales. Se expuso el problema que se genera cuando se trata de clasificar estas imágenes dividiéndola en pequeños parches, en donde el tiempo de segmentación por imagen puede llegar a las 24 horas o más. En consecuencia, se diseña una estrategia para mitigar este problema empleando un porcentaje de pixeles de la imagen para segmentarla. Esta técnica permite disminuir el tiempo de segmentación a solo 5 minutos por imagen. Además, se logró demostrar experimentalmente, que la información que se pierde a medida que se disminuye el porcentaje de pixeles es muy pequeña (cerca del 5%), en comparación con el proceso en donde se emplean todos los pixeles de la imagen. Finalmente, nuestro tercer diseño consiste en crear una metodología que permite localizar las áreas sospechosas en imágenes de cáncer de próstata utilizando redes neuronales convolucionales. Empleando los resultados de la etapa anterior, se diseña una red neuronal convolucional que posee una cantidad pequeña de parámetros de entrenamiento (cerca de 50 mil). Esta red realiza dos tareas distintas: segmentar el estroma y segmentar el tejido sospechoso. Uniendo estos dos resultados y descartando los pixeles que pertenecieran al estroma segmentado, se logra localizar zonas sospechosas en imágenes de tejido prostático. Adicionalmente esta red se diseño pensando en el costo computacional que generan algunas redes en el estado del arte, y en el sobredimensionamiento del problema que puede surgir al emplear dichas redes. (Texto tomado de la fuente) Deep learning has had a noticeable impact on medical image analysis. From classifying tissues to locating abnormal areas in a region, CNNs and their multiple architectures have shown a future in this area of medicine. In digital pathology, these neural models are increasingly becoming a vital tool in diagnostic and prognostic support for pathologists. Currently, multiple medical institutions use CNNs in their laboratories to optimize the search time for abnormal regions of a complete tissue slide (biopsy sample), automatically generating diagnoses and prognoses of a patient, etc. This success of CNN was achieved mainly by using specialized hardware (GPUs) that allow large amounts of data to be manipulated and processed. However, analyzing the biopsy, choosing the areas of interest and creating the corresponding labels are processes that are carried out manually and are costly for the specialist. Therefore, it is necessary to develop new strategies to support the pathologist in these tasks. In this document, three methodologies are proposed that allow the pathologist to be supported in the analysis of histopathological images of prostate tissue. The rst layout employs color transformations that provide additional information about the image. It was shown how these techniques improve and highlight the structures present in the tissue (the shape of the nuclei was better de ned, the contrast increased in the stroma and epithelial cells, etc.). These color transformations have the advantage that their implementation does not generate a considerable computational cost, allowing the image to be manipulated quickly, even on computers that do not have specialized hardware. The second design analyzes the segmentation process of an image with convolutional neural networks. The problem generated when we try to classify these images by dividing them into small patches, where the segmentation time per image can reach 24 hours or more, was exposed. Consequently, we designed a strategy to mitigate this problem by using a percentage of pixels in the image to segment it. This technique allowed the segmentation time to be reduced to only 5 minutes per image. In addition, we were able to demonstrate experimentally that the information lost as we decrease the percentage of pixels is very small (about 5%), compared to the process where all the pixels of the image are used. Finally, our third design creates a methodology that locates suspicious areas in prostate cancer images using convolutional neural networks. Using the previous stage results, we design a convolutional neural network with a small number of training parameters (about 50 thousand). This network performs two distinct tasks: segmenting the stroma and suspect tissue. Combining these two results and discarding the pixels that belonged to the segmented stroma, it is possible to locate suspicious areas in images of prostate tissue. Additionally, this network was designed considering the computational cost generated by some networks in the state of the art and the over-sizing of the problem that can arise when using these networks. Maestría Magíster en Ingeniería - Automatización Industrial Industrial Automation Eléctrica, Electrónica, Automatización Y Telecomunicaciones

ilustraciones, gráficos, tablas. En esta tesis se propone un modelo de fricción empírico para transmisiones tipo polea-cable que incluye en su formulación, además de la velocidad, el efecto de la carga externa y la relación de transmisión. Los experimentos para determinar el comportamiento de la fricción se desarrollaron en un banco de pruebas diseñado y construido como parte del proyecto. El banco de pruebas desarrollado permite el cambio de los elementos de la transmisión y la aplicación de carga externa; de esta manera es posible evaluar el comportamiento de la fricción en la transmisión para diferentes valores de velocidad, tipo de enhebre del cable, dimensiones de las poleas y carga externa. Los resultados experimentales obtenidos evidencian la influencia de la carga en el comportamiento de la fricción, se presume que este comportamiento está gobernado principalmente por la fricción en los rodamientos. Como una primera aproximación para la representación de la fricción en la transmisión se utiliza el modelo LuGre, se encuentra que este modelo no representa adecuadamente el comportamiento de la fricción cuando se aplican cargas externas por lo que se propone un nuevo modelo de fricción; este modelo incluye en su formulación el efecto de la carga externa y de la relación de transmisión. Los resultados obtenidos en la validación del modelo propuesto muestran mejores resultados que los obtenidos con el modelo LuGre. Para velocidades inferiores a 30 rad/s y cargas altas, el porcentaje de error de la identificación con el modelo propuesto llega ser hasta cuatro veces inferior al obtenido utilizando el modelo LuGre. Las principales contribuciones de este trabajo son, el desarrollo de un banco de pruebas adaptable, el establecimiento de una linea base para el comportamiento de la fricción en transmisiones tipo polea-cable y la propuesta de un modelo empírico de fricción para este tipo de transmisiones. This thesis proposes an empirical friction model for cable-pulley type transmissions that includes in its formulation, in addition to speed, the effect of external load and transmission ratio. The experiments to determine the friction behavior were carried out on a test bench designed and built as part of the project. The developed test bench allows the change of the transmission elements and the application of external load; in this way, it is possible to evaluate the friction behavior in the transmission for different speed values, types of cable thread, pulley dimensions, and external load. The experimental results obtained show the influence of the load on the friction behavior, it is presumed that this behavior is governed mainly by the friction in the bearings. As a first approximation for the representation of friction in the transmission, the LuGre model is used. It is found that this model does not adequately represent the behavior of friction when external loads are applied, therefore a new friction model is proposed; this model includes in its formulation the effect of the external load and the transmission ratio. The results obtained in the validation of the proposed model show better results than those obtained with the LuGre model. For speeds lower than 30 rad/s and high loads, the percentage of identification error with the proposed model is up to four times lower than that obtained using the LuGre model. The main contributions of this work are the development of an adaptable test bench, the establishment of a baseline for the behavior of friction in cable-pulley type transmissions, and the proposal of an empirical friction model for this type of transmission. Doctorado Doctor en Ingeniería - Ingeniería Automática Departamento de Ingeniería Eléctrica, Electrónica y Computación

Documento en PDF a color. figuras, tablas This doctoral thesis was designed and implemented using a strategy of explorer agents and a management and monitoring system to obtain the shortest and safest paths. The strategy was simulated using Matlab R2016 in 10 test environments. The comparisons were made between the results obtained by considering each robot's work and contrasting it with the results obtained by implementing the cooperative-collaborative strategy. For this purpose, were used two path planning algorithms, they are the A* and the Greedy Best First Search (GBFS). Some changes were made to these classic algorithms to improve their performance to guarantee interactions and comparisons between them, transforming them into Incremental Heuristic (IH) algorithms, which gave rise to a couple of agents with new path planners called IH-A* and IH-GBFS. The cooperative strategy was implemented with IH-A* and IH-GBFS algorithms to obtain the shortest paths. The cooperative process was used 300 times in 100 complete tests (3 times in 10 tests in each of 10 environments), which allowed determining that the strategy decreased the original path (without cooperation) in 79% of the cases. In 20.50% of cases, the author identified that the cooperative process, reduced to less than half the original path. The collaborative strategy was implemented to obtain the safer path, using a communications system that allows the interaction among the explorer agents, the test environment, and the management and monitoring system to generate early warnings and compare the risk between paths. In this work, the risk is due to hidden marks found by the explorer agents; for this reason, it is implemented a potential risk function that allows obtaining the path risk estimated. The path risk estimated metric is the one that facilitates the evaluation and comparison of risk between paths to find safer paths. The AWMRs operates using a kinematic model, a controller, a path planner, and sensors that allow them to navigate through the environment gently and safely. Simultaneously with the explorer agents, the administration and monitoring system as a user interface that facilitates the presentation and consolidation of results were implemented. Subsequently, 16 tests were carried out, implementing the complete cooperative-collaborative strategy in four different environments, which had hidden marks. When analyzing the results, it was determined that the Shortest Safest Estimated Path was found in 62.5% of the tests. A WMR and a square test stage were built. In the test scenario, 240 path tracking tests were carried out (the WMR travelled 24 different paths; the WMR travelled each path ten times). The path data were obtained using odometry with encoders onboard the robot and image processing through an external camera. The author apply a tracking error analysis on the WMR path, travelling a circumference of 3.64 m in length. When comparing the path obtained with the WMR kinematic model with the data obtained using image processing, a Mean Absolute Percentage Error (MAPE) of 2,807% was obtained; and with the odometry data, the MAPE was 1,224%. As a general conclusion, this study has numerically identified the relevance of the implementation of the cooperative-collaborative strategy in robotic teamwork to find shortest and safest paths, a strategy applied in test environments that have obstacles and hidden marks. The cooperative-collaborative strategy can be used in different applications that involve displacement in a dangerous place or environment, such as a minefield or a region at risk of spreading COVID-19. Esta tesis doctoral fue diseñada e implementada utilizando una estrategia de agentes exploradores y un sistema de gestión y seguimiento para obtener caminos más cortos y seguros. La estrategia se simuló utilizando Matlab R2016 en 10 entornos de prueba. Las comparaciones se realizaron entre los resultados obtenidos al considerar el trabajo realizado por cada robot y contrastarlo con los resultados obtenidos al implementar la estrategia cooperativa-colaborativa. Para ello, se utilizaron dos algoritmos de planificación de rutas, que son el A* y el Greedy Best First Search (GBFS). Se realizaron algunos cambios a estos algoritmos clásicos para mejorar su rendimiento para garantizar interacciones y comparaciones entre ellos, transformándolos en algoritmos Heurísticos Incrementales (IH), lo que dio lugar a un par de agentes con nuevos planificadores de rutas denominados IH-A * e IH- GBFS. La estrategia cooperativa se implementó con algoritmos IH-A * e IH-GBFS para obtener los caminos más cortos. El proceso cooperativo se utilizó 300 veces en 100 pruebas completas (3 veces en 10 pruebas en cada uno de los 10 entornos), lo que permitió determinar que la estrategia disminuyó la trayectoria original (sin cooperación) en el 79% de los casos. En el 20,50% de los casos, el autor identificó que el proceso cooperativo, redujo la distancia entre inicio y meta a menos de la mitad del recorrido original. La estrategia colaborativa se implementó para obtener el camino más seguro, utilizando un sistema de comunicaciones que permite la interacción entre los agentes exploradores, el entorno de prueba y el sistema de gestión y monitoreo para generar alertas tempranas y comparar el riesgo entre caminos. En este trabajo, el riesgo se debe a las marcas ocultas encontradas por los agentes exploradores; por ello, se implementa una función de riesgo potencial que permite obtener el riesgo de ruta estimado. La métrica estimada de riesgo de ruta es la que facilita la evaluación y comparación de riesgo entre rutas para encontrar rutas más seguras. Los robots autónomos móviles con ruedas (en inglés AWMR) operan utilizando un modelo cinemático, un controlador, un planificador de rutas y sensores que les permiten navegar por el entorno de manera suave y segura. Simultáneamente con los agentes exploradores, el autor implementó un sistema de administración y monitoreo como interfaz de usuario que facilita la presentación y consolidación de resultados. Posteriormente, se realizaron 16 pruebas, implementando la estrategia cooperativa-colaborativa completa en cuatro entornos diferentes, que tenían marcas ocultas. Al analizar los resultados, se determinó que una ruta estimada más corta y más segura se obtenía en el 62.5% de las pruebas. Se construyeron un WMR y un escenario de prueba cuadrado. En el escenario de prueba, se llevaron a cabo 240 pruebas de seguimiento de ruta (el WMR recorrió 24 rutas diferentes; el WMR recorrió cada ruta diez veces). Los datos de la trayectoria se obtuvieron utilizando odometría con encoders a bordo del robot y procesamiento de imágenes a través de una cámara externa. El autor aplica un análisis de error de seguimiento en la ruta recorrida por el WMR, generando una circunferencia de 3,64 m de longitud. Al comparar la ruta obtenida con el modelo cinemático del WMR con los datos obtenidos usando el procesamiento de imágenesse obtuvo un error de porcentaje absoluto medio (MAPE) de 2.807%; y con los datos de odometría, el MAPE fue de 1,224%. Como conclusión general, este estudio ha identificado numéricamente la relevancia de la implementación de la estrategia cooperativa-colaborativa en el trabajo en equipo robótico para encontrar caminos más cortos y seguros, estrategia aplicada en entornos de prueba que poseen obstáculos y marcas ocultas. La estrategia cooperativa-colaborativa puede ser utilizada en diferentes aplicaciones que involucran el desplazamiento en un lugar o entorno peligroso, como pueden ser un campo minado o una región en riesgo de propagación de COVID-19. Doctorado Doctor en Ingeniería - Ingeniería Automática

Surface roughness is an important parameter to describe materials’ topography. This parameter has been widely studied and presents important tasks in many engineering applications. The development of non-contact-based roughness measurement techniques for engineering surfaces has received much attention. However, stylus-based equipments are still dominating this measurement task. Stylus techniques have great inherent limitations as they were originally intended to acquire 2D surface topography. Therefore, 3D surface roughness data can only be obtained from stylus equipment executing multiple scans of the surface. This task takes a lot of time to achieve a satisfactory result, may make micro-scratches on surfaces and can only evaluate a small area in a reasonable amount of time. In this work a new automated methodology for obtaining a 3D reconstruction model of surfaces using scanning electron microscope (SEM) images based on stereo-vision is proposed. The 3D models can then be used to evaluate the surface roughness parameters. The horizontal stereo matching step is done with a robust and efficient algorithm based on semi-global matching. Since the brightness change of corresponding pixels is negligible for the small tilt involved in stereo SEM, and the cost function relies on dynamic programming, the matching algorithm uses a sum of absolute differences (SAD) over a variable pixel size window and an occlusion parameter which penalizes large depth discontinuities, that in practice, smooths the disparity map and the corresponding reconstructed surface. This step yields a disparity map, i.e. the differences between the horizontal coordinates of the matching points in the stereo images. The horizontal disparity map is finally converted into heights according to the SEM acquisition parameters: tilt angle, magnification and pixel size. A validation test was first performed using a microscopic grid with manufacturer specifications as reference. Finally, some surface roughness parameters were calculated within the model La rugosidad superficial es un parámetro importante para describir la topografía de los materiales. Este parámetro ha sido ampliamente estudiado y es utilizado en importantes tareas en varias aplicaciones de ingeniería. El desarrollo de técnicas de medida de rugosidad basadas en métodos de no contacto para superficies han recibido mucha atención. Sin embargo, los equipos basados en técnicas de contacto siguen dominando las tareas de medida. Las técnicas basadas en instrumentos de contacto tienen grandes limitaciones inherentes debido a que en principio fueron diseñadas para adquirir superficies topográficas en 2D. Así, información de la rugosidad superficial en 3D solo puede ser obtenida con equipos de contacto ejecutando múltiples barridos de la superficie. Esta tarea toma mucho tiempo para obtener un resultado satisfactorio, puede producir microrayones sobre la superficie, y solo puede evaluar pequeñas áreas en un tiempo razonable. En este trabajo se propone una nueva metodología usando visión por computador. Con ella se busca obtener un modelo de reconstrucción 3D de superficies usando imágenes de microscopio electrónico de barrido (MEB) basadas en visión estéreo, y así evaluar parámetros de rugosidad superficial. El paso de asociación horizontal estéreo es hecho con un algoritmo robusto y eficiente basado en asociación semiglobal. Debido a que el cambio en el brillo de los pixeles correspondientes es despreciable para las pequeñas inclinaciones utilizadas en MEB estéreo y la función de costo se basa en programación dinámica, el algoritmo de asociación usa la suma de diferencias absoluta (SAD en inglés) sobre una ventana de tamaño variable en pixeles y un parámetro de oclusión el cual penaliza grandes discontinuidades de profundidad y, en practica, suaviza el mapa de disparidad, y la superficie reconstruida correspondiente. Este paso produce un mapa de disparidad, es decir, la diferencia entre las coordenadas horizontales de los puntos correspondientes en las imágenes estéreo. El mapa de disparidad es finalmente convertido en alturas de acuerdo a los parámetros de adquisición del MEB: ángulo de inclinación, magnificación y tamaño de pixel. Una prueba de validación fue llevada a cabo usando como referencia una cuadricula microscópica con especificaciones de fabrica. Finalmente, con el modelo son calculados algunos parámetros de rugosidad (Texto tomado de la fuente) Maestría

The increase the emerging technologies and the low cost related with 3D data acquisition have allowed researchers to open new doors of research in domains like building information modeling (BIM), in-process inspection, virtual simulation, reverse engineering, among others. However, these new doors carry out with them some challenges regarding data transmission, processing, storage, all of them currently being active research topics. This thesis aims to advance point cloud processing– specifically in segmentation– in three directions: First, we propose a hybrid technique for carrying out a semi-automatic segmentation using NARF and Min-Cut. Our technique can be modified to be used in different places or fields, for instance: in this thesis the technique was applied on urban and indoor environments, and dental models (medical field). Second, we conducted several tests to the hybrid technique and propose a method ology for the segmentation of dental models. In order to establish the methodology we used an exploratory study in segmentation of dental models, where it was tested by different algorithms (region growing, RANSAC, Min-Cut and the hybrid technique). Third, we developed another methodology based in the hybrid technique for segmenting objects in 3D scenes, aimed towards outdoor and indoor environments. A quantitative evaluation was carried out on a point cloud consisting of about 30 million points, with diverse objects of interest such as trees, cars, chairs, buildings Resumen: El aumento de las nuevas tecnologías emergentes y el bajo costo relacionado con los sistemas de adquisición 3D han permitido a los investigadores abrir nuevas puertas en la investigación en ámbitos como en la construcción de modelos de información (BIM), en el proceso de inspección, la simulación virtual, la ingeniería inversa, entre otros. Sin embargo, estas nuevas puertas traen consigo algunos desafíos en materias como: transmisión de datos, procesamiento, almacenamiento, permitiendo temas de investigación activos. Esta tesis tiene como objetivo avanzar en el procesamiento de nubes de puntos - específicamente en la segmentación - en tres direcciones: En primer lugar, se propone una técnica hibrida para llevar a cabo una segmentación semiautomática utilizando NARF y Min-Cut. Nuestra técnica puede ser modificado para ser utilizado en diferentes lugares o campos, por ejemplo: en esta tesis se aplicó la técnica en entornos urbanos e interiores, y los modelos dentales (campo de la medicina). En segundo lugar, hemos realizado varias pruebas con la técnica hibrida propuesta y se propone una metodología para la segmentación de los modelos dentales. La metodología se empleó en un estudio exploratorio para la segmentación de los modelos dentales, donde se probaron diferentes algoritmos (región de cultivo, RANSAC, MinCut y la técnica hibrida). Por último, se ha desarrollado una metodología basada para la segmentación de objetos en escenas 3D, dirigida hacia los ambientes interiores y exteriores. Una evaluación cuantitativa se llevó a cabo en la nube de puntos empleado el repositorio de Trimble que consta de nubes de cerca 30 millones de puntos, con diversos objetos de interés tales como árboles, coches, sillas, edificios Maestría

En este documento se presenta una técnica para simplificar nubes de puntos, la cual se basa en la información espacial contenida en una nube de puntos no estructurada. Para lograr esto, se pretende reorganizar el conjunto de datos de manera tal que al inicio del archivo se ubiquen los puntos más significativos para el modelo 3D, esto permite que el conjunto de datos pueda ser cargado, visualizado o almacenado de forma progresiva. Para clasificar los puntos de acuerdo a su importancia dentro del conjunto de datos, el modelo 3D es dividido en segmentos relativamente planos usando un algoritmo de crecimiento de regiones, luego cada región es analizada para clasificar los datos dentro de ella como puntos pertenecientes a algún borde o puntos pertenecientes a zonas intermedias de la superficie. Finalmente se realiza un muestreo de los datos clasificados y se ordenan en el archivo. De esta forma el usuario puede tener el control de la cantidad de puntos que desea cargar del archivo y así se obtiene un modelo de diferentes resoluciones Abstract : In this document a technique to simplify point clouds is presented, which is based in the spatial information contained in a unstructured point cloud. To achieve this, the intention is to reorganize the data set in such a way that the most significant dots for the 3D model are located at the beginning of the file, which allows that the data set can be uploaded, viewed or stored in a progressive way. To classify the dots according to their importance within the data set, and in this way re arrange the file, the 3D model is split into segments relativity plane using a region growing algorithm, next each region is analyzed to classify the data inside it as dots belonging to any border or dots belonging to intermediate zones of the surface. Finally, a sampling of the classified data is made and they are arranged in the file. In this way the user can control the amount of dots that he wants to upload from the file and so he gets a model of different resolutions Maestría

En años recientes, el reconocimiento audio-visual del habla ha surgido como un campo activo de investigación, debido a los avances en reconocimiento de patrones, procesamiento de señales y visión por computador. Su objetivo final es permitir la comunicación hombre-máquina usando la voz, teniendo en cuenta la información visual contenida en la señal de habla audio-visual, para lidiar con las dificultades de un ambiente ruidoso, o para tratar de reconocer las emociones exhibidas por el locutor. En este documento se presenta un sistema de reconocimiento automático de comandos usando información audio-visual. Debido a que este trabajo se enmarca en el proyecto “Segmentación y Clasificación Automática de Posturas Labiales y Comandos de Voz para el Control de un Robot Laparoscópico”, el sistema pretende controlar un robot, en particular el robot laparoscópico da Vinci. Se emplean los modelos ocultos de Markov como técnica de reconocimiento del habla, utilizando Hidden Markov Model Toolkit como herramienta computacional. La señal de audio se parametriza usando los coeficientes cepstrales en frecuencia de Mel, mientras que para extraer la información visual del habla, se usan características basadas en los puntos que definen el contorno externo de la boca según el estándar MPEG-4. Se hace necesario hacer seguimiento preciso de la boca sobre secuencias de video. La complejidad de forma, textura y color de la boca, y los cambios de iluminación y fondos de los posibles escenarios, hacen que este sea aún un problema abierto. En este documento se propone un algoritmo para el seguimiento del contorno externo de la boca, sin utilizar marcadores o alguna clase de maquillaje para resaltar los labios, basado en apariencia y en restricciones morfológicas definidas en el estándar MPEG-4 / Abstract: In recent years audio-visual speech recognition has emerged as an active field of research thanks to advances in pattern recognition, signal processing and machine vision. Its ultimate goal is to allow human-computer communication using voice, taking into account the visual information contained in the audio-visual speech signal, whether to cope with the difficulties of a noisy environment, or when trying to recognize the emotion exhibited by the speaker. This document presents a command’s automatic recognition system using audio-visual information. Due to the fact that this work is part of the project “Automatic Segmentation and Classification of Lip Postures and Voice Commands in order to Control a Laparoscopic Robot”, the system is expected to control a robot, in particular the laparoscopic robot da Vinci. Hidden Markov Models have been used as technique for speech recognition using Hidden Markov Model Toolkit as computational tool. The audio signal is treated using the Mel Frequency Cepstral Coefficients parametrization method. Besides, features based on the points that define the mouth’s outer contour according to the MPEG-4 standar are used in order to extract the visual speech information. It becomes necessary to deal with lip tracking in video sequences. Lip tracking is still an open issue in terms of research due to the mouth’s shape, texture and color complexity, the illumination changes and the background scenery. In this document an outer lip tracking algorithm based in shape and restrictions given in standard MPEG-4 is proposed. The video sequence does not have markers or any kind of makeover in order to highlight the lips. The algorithm is strong in presence of beard, skin tone and image’s quality. Maestría

En esta tesis de maestría se presenta la segmentación y caracterización automática de piezas dentales de modelos de estudio dental digitalizados. En la adquisición de los modelos se emplea el digitalizador 3D VIVID 9i. El método de segmentación automático consiste en utilizar dos imágenes de rango, una de vista plana y una de vista panorámica, obtenidas a partir de la malla 3D, para generar dos perfiles de profundidad que en conjunto permiten encontrar la ubicación de los intersticios dentales. Ésta segmentación busca proporcionar información necesaria para un futuro sistema de diagnóstico y planeación de tratamientos de ortodoncia. Una de las características importantes en los modelos es el ancho mesiodistal (MD) de las piezas dentales; dicho ancho MD se mide sobre los segmentos detectados de forma automática. Éstas mediciones automáticas, se evalúan comparándolas con el ancho MD medido por especialistas de forma manual (sobre el modelo de yeso) y de forma semi-automática (sobre la pantalla). Los resultados muestran la necesidad de optimizar el método de segmentación automático, pero permiten pensar que las medidas semi-automáticas son una alternativa inmediata / Abstract: In this master’s thesis is presented an automatic segmentation and caracterization of teeth of digitized dental study model. In the models’s acquisition the 3D digitizer VIVID 9i is used. The automatic segmentation method consists in using two range images, plan view and panoramic view, obtained from the 3D mesh, to generate two depth profiles to find dental interstices location. This segmentation seeks to provide necessary data for a future system of diagnostic and design of orthodontics treatments. One of the important features in the models is the tooth mesiodistal width, (MW); thisMWis measured on the sensed segments automatically. These automatic measurements, are evaluated comparing them with the MW measured by experts in manual way (on plaster model) and in semi-automatic way (on the screen). The results show the necessity of optimizing the automatic segmentation method, but they allow to think that the semi-automatic measures are an immediate alternative. Maestría