Search

Your search keyword '"Hyewon Seo"' showing total 10 results
Start Over Author "Hyewon Seo" Publisher hal ccsd
10 results on '"Hyewon Seo"'

1. Generating 3D Facial Expressions with Recurrent Neural Networks

Author

Hyewon Seo, Guoliang Luo, Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (ICube), Institut National des Sciences Appliquées - Strasbourg (INSA Strasbourg), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Strasbourg (UNISTRA)-Centre National de la Recherche Scientifique (CNRS)-École Nationale du Génie de l'Eau et de l'Environnement de Strasbourg (ENGEES)-Réseau nanophotonique et optique, Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Matériaux et nanosciences d'Alsace (FMNGE), Institut de Chimie du CNRS (INC)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS)-Institut de Chimie du CNRS (INC)-Université de Strasbourg (UNISTRA)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS), East China Jiaotong University (ECJU), ANR-19-CE23-0020,Human4D,Human4D: Acquisition, Analyse et Synthèse de la Forme du Corps Humain en Mouvement(2019), École Nationale du Génie de l'Eau et de l'Environnement de Strasbourg (ENGEES)-Université de Strasbourg (UNISTRA)-Institut National des Sciences Appliquées - Strasbourg (INSA Strasbourg), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Institut National de Recherche en Informatique et en Automatique (Inria)-Les Hôpitaux Universitaires de Strasbourg (HUS)-Centre National de la Recherche Scientifique (CNRS)-Matériaux et Nanosciences Grand-Est (MNGE), Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Institut de Chimie du CNRS (INC)-Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Institut de Chimie du CNRS (INC)-Centre National de la Recherche Scientifique (CNRS)-Réseau nanophotonique et optique, Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Centre National de la Recherche Scientifique (CNRS), SEO, Hyewon, and Human4D: Acquisition, Analyse et Synthèse de la Forme du Corps Humain en Mouvement - - Human4D2019 - ANR-19-CE23-0020 - AAPG2019 - VALID

Subjects
Facial expression, Artificial neural network, business.industry, Computer science, ComputingMethodologies_IMAGEPROCESSINGANDCOMPUTERVISION, 020207 software engineering, Pattern recognition, 02 engineering and technology, LSTM Neural Networks, [INFO] Computer Science [cs], [INFO.INFO-CG]Computer Science [cs]/Computational Geometry [cs.CG], Rendering (computer graphics), Computer graphics, Recurrent neural network, [INFO.INFO-CG] Computer Science [cs]/Computational Geometry [cs.CG], Robustness (computer science), Feature (computer vision), 0202 electrical engineering, electronic engineering, information engineering, Facial expression generation, 020201 artificial intelligence & image processing, [INFO]Computer Science [cs], Artificial intelligence, Representation (mathematics), business, ComputingMethodologies_COMPUTERGRAPHICS
Abstract

International audience; Learning based methods have proved effective at high-quality image synthesis tasks, such as content-preserving image rendering with different style, and the generation of new images depicting learned objects. Some of the properties that make neural networks suitable for such tasks, for example robustness to the input's low-level feature, and the ability to retrieve contextual information, are also desirable in 3D shape domain. During last decades, data-driven methods have shown successful results in 3D shape modeling tasks, such as human face and body shape synthesis. Subtle, abstract properties on the geometry that are instantly detected by our eyes but are nontrivial to synthesize, have successfully been achieved by tuning a shape model built from example shapes. Recent successful learning techniques, e.g. deep neural networks, also exploit this shape model, since the regular grid assumption with 2D images does not have a straightforward equivalent in the common shape representation in 3D, thus do not easily generalize to 3D shapes. Here, we concentrate on the 3D facial expression generation task, an important problem in computer graphics and other application domains, where existing data-driven approaches mostly rely on direct shape capture or shape transfer. At the core of our approach is a recurrent neural network with a landmark-based shape representation. The network is trained to estimate a sequence of pose change, thus generate a specific facial expression, by using a set of motion-captured facial expression sequences. Our technique promises to significantly improve the quality of generated expressions while extending the potential applicability of neural networks to sequence of 3D shapes.

Published
2021
Full Text
View/download PDF

2. 3D Mesh Animation Compression based on adaptive spatio-temporal segmentation

Author

Wenqiang Xie, Wei Zeng, Xin Zhao, Xiaogag Jin, Zhigang Deng, Guoliang Luo, Hyewon Seo, East China Jiaotong University (ECJU), University of Houston, Zhejiang University, Jiangxi Normal University, Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (ICube), École Nationale du Génie de l'Eau et de l'Environnement de Strasbourg (ENGEES)-Université de Strasbourg (UNISTRA)-Institut National des Sciences Appliquées - Strasbourg (INSA Strasbourg), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Institut National de Recherche en Informatique et en Automatique (Inria)-Les Hôpitaux Universitaires de Strasbourg (HUS)-Centre National de la Recherche Scientifique (CNRS)-Matériaux et Nanosciences Grand-Est (MNGE), Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Institut de Chimie du CNRS (INC)-Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Institut de Chimie du CNRS (INC)-Centre National de la Recherche Scientifique (CNRS)-Réseau nanophotonique et optique, Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Centre National de la Recherche Scientifique (CNRS), Stephen N. Spencer, univOAK, Archive ouverte, Institut National des Sciences Appliquées - Strasbourg (INSA Strasbourg), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Strasbourg (UNISTRA)-Centre National de la Recherche Scientifique (CNRS)-École Nationale du Génie de l'Eau et de l'Environnement de Strasbourg (ENGEES)-Réseau nanophotonique et optique, Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Matériaux et nanosciences d'Alsace (FMNGE), Institut de Chimie du CNRS (INC)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS)-Institut de Chimie du CNRS (INC)-Université de Strasbourg (UNISTRA)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS), and SEO, Hyewon

Subjects
Computer science, 02 engineering and technology, [INFO.INFO-CG]Computer Science [cs]/Computational Geometry [cs.CG], Computer graphics, Data acquisition, Compression (functional analysis), 3D mesh animation, Subsequence, 0202 electrical engineering, electronic engineering, information engineering, Polygon mesh, Segmentation, ComputingMethodologies_COMPUTERGRAPHICS, [INFO.INFO-MM] Computer Science [cs]/Multimedia [cs.MM], business.industry, [INFO.INFO-MM]Computer Science [cs]/Multimedia [cs.MM], 020207 software engineering, Pattern recognition, Animation, compression, Vertex (geometry), [INFO.INFO-CG] Computer Science [cs]/Computational Geometry [cs.CG], [INFO.INFO-TI] Computer Science [cs]/Image Processing [eess.IV], [INFO.INFO-TI]Computer Science [cs]/Image Processing [eess.IV], 020201 artificial intelligence & image processing, Artificial intelligence, adaptive spatio-temporal segmentation, business
Abstract

International audience; With the recent advances of data acquisition techniques, the compression of various 3D mesh animation data has become an important topic in computer graphics community. In this paper, we present a new spatio-temporal segmentation-based approach for the compression of 3D mesh animations. Given an input mesh sequence , we first compute an initial temporal cut to obtain a small subsequence by detecting the temporal boundary of dynamic behavior. Then, we apply a two-stage vertex clustering on the resulting subsequence to classify the vertices into groups with optimal intra-affinities. After that, we design a temporal segmentation step based on the variations of the principle components within each vertex group prior to performing a PCA-based compression. Our approach can adaptively determine the temporal and spatial segmentation boundaries in order to exploit both temporal and spatial redundancies. We have conducted many experiments on different types of 3D mesh animations with various segmentation configurations. Our comparative studies show the competitive performance of our approach for the compression of 3D mesh animations.

Published
2019
Full Text
View/download PDF

3. Visual Attention for Rendered 3D Shapes

Author

Guillaume Lavoué, Frederic Cordier, Mohamed-Chaker Larabi, Hyewon Seo, Geometry Processing and Constrained Optimization (M2DisCo), Laboratoire d'InfoRmatique en Image et Systèmes d'information (LIRIS), Institut National des Sciences Appliquées de Lyon (INSA Lyon), Université de Lyon-Institut National des Sciences Appliquées (INSA)-Université de Lyon-Institut National des Sciences Appliquées (INSA)-Centre National de la Recherche Scientifique (CNRS)-Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-École Centrale de Lyon (ECL), Université de Lyon-Université Lumière - Lyon 2 (UL2)-Institut National des Sciences Appliquées de Lyon (INSA Lyon), Université de Lyon-Université Lumière - Lyon 2 (UL2), Laboratoire de Mathématiques Informatique et Applications (LMIA), Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA)), Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (ICube), Institut National des Sciences Appliquées - Strasbourg (INSA Strasbourg), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Strasbourg (UNISTRA)-Centre National de la Recherche Scientifique (CNRS)-École Nationale du Génie de l'Eau et de l'Environnement de Strasbourg (ENGEES)-Réseau nanophotonique et optique, Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Matériaux et nanosciences d'Alsace (FMNGE), Institut de Chimie du CNRS (INC)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS)-Institut de Chimie du CNRS (INC)-Université de Strasbourg (UNISTRA)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS), Université de Poitiers, Synthèse et analyse d'images (XLIM-ASALI), XLIM (XLIM), Université de Limoges (UNILIM)-Centre National de la Recherche Scientifique (CNRS)-Université de Limoges (UNILIM)-Centre National de la Recherche Scientifique (CNRS), ANR-16-CE39-0013,FILTER2,FILtrage negaTif des contEnus de vidéopRotection(2016), ANR-17-CE33-0005,PISCo,Niveaux de détails perceptuels pour la visualisation distante, interactive et immersive de scènes 3D riches(2017), Université Lumière - Lyon 2 (UL2)-École Centrale de Lyon (ECL), Université de Lyon-Université de Lyon-Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-Institut National des Sciences Appliquées de Lyon (INSA Lyon), Université de Lyon-Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Centre National de la Recherche Scientifique (CNRS)-Université Lumière - Lyon 2 (UL2)-École Centrale de Lyon (ECL), Université de Lyon-Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Centre National de la Recherche Scientifique (CNRS), Laboratoire de Mathématiques Informatique et Applications [UHA] (LMIA), École Nationale du Génie de l'Eau et de l'Environnement de Strasbourg (ENGEES)-Université de Strasbourg (UNISTRA)-Institut National des Sciences Appliquées - Strasbourg (INSA Strasbourg), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Institut National de Recherche en Informatique et en Automatique (Inria)-Les Hôpitaux Universitaires de Strasbourg (HUS)-Centre National de la Recherche Scientifique (CNRS)-Matériaux et Nanosciences Grand-Est (MNGE), Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Institut de Chimie du CNRS (INC)-Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Institut de Chimie du CNRS (INC)-Centre National de la Recherche Scientifique (CNRS)-Réseau nanophotonique et optique, and Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Centre National de la Recherche Scientifique (CNRS)

Subjects
Computer science, media_common.quotation_subject, ComputingMethodologies_IMAGEPROCESSINGANDCOMPUTERVISION, 02 engineering and technology, Computer graphics, Salience (neuroscience), Perception, 0202 electrical engineering, electronic engineering, information engineering, Visual attention, Computer vision, media_common, business.industry, 020207 software engineering, Fixation (psychology), Computer Graphics and Computer-Aided Design, Gaze, [INFO.INFO-GR]Computer Science [cs]/Graphics [cs.GR], Mesh models, [INFO.INFO-TI]Computer Science [cs]/Image Processing [eess.IV], Human visual system model, Benchmark (computing), CCS Concepts •Computing methodologies → Interest point and salient region detections, Eye tracking, 020201 artificial intelligence & image processing, Artificial intelligence, business
Abstract

International audience; Understanding the attentional behavior of the human visual system when visualizing a rendered 3D shape is of great importance for many computer graphics applications. Eye tracking remains the only solution to explore this complex cognitive mechanism. Unfortunately, despite the large number of studies dedicated to images and videos, only a few eye tracking experiments have been conducted using 3D shapes. Thus, potential factors that may influence the human gaze in the specific setting of 3D, are still to be understood. In this work, we conduct two eye-tracking experiments involving 3D shapes, with both static and time-varying camera positions. We propose a method for mapping eye fixations (i.e., where humans gaze) onto the 3D shapes with the aim to produce a benchmark of 3D meshes with fixation density maps, which is publicly available. First, the collected data is used to study the influence of shape, camera position, material and illumination on visual attention. We find that material and lighting have a significant influence on attention, as well as the camera path in the case of dynamic scenes. Then, we compare the performance of four representative state-of-the-art mesh saliency models in predicting ground-truth fixations using two different metrics. We show that, even combined with a center-bias model, the performance of 3D saliency algorithms remains poor at predicting human fixations. To explain their weaknesses, we provide a qualitative analysis of the main factors that attract human attention. We finally provide a quantitative comparison of human-eye fixations and Schelling points and show that their correlation is weak.

Published
2018
Full Text
View/download PDF

4. RGB-D IBR: rendering indoor scenes using sparse RGB-D images with local alignments

Author

Hyewon Seo, Seungyong Lee, Yeongyu Jeong, Frederic Cordier, Haejoon Kim, Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (ICube), École Nationale du Génie de l'Eau et de l'Environnement de Strasbourg (ENGEES)-Université de Strasbourg (UNISTRA)-Institut National des Sciences Appliquées - Strasbourg (INSA Strasbourg), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Centre National de la Recherche Scientifique (CNRS)-Matériaux et nanosciences d'Alsace (FMNGE), Institut de Chimie du CNRS (INC)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS)-Institut de Chimie du CNRS (INC)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS)-Réseau nanophotonique et optique, Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA), Institut de Recherche en Informatique Mathématiques Automatique Signal (IRIMAS), Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA)), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Institut National de Recherche en Informatique et en Automatique (Inria)-Les Hôpitaux Universitaires de Strasbourg (HUS)-Centre National de la Recherche Scientifique (CNRS)-Matériaux et Nanosciences Grand-Est (MNGE), Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Institut de Chimie du CNRS (INC)-Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Institut de Chimie du CNRS (INC)-Centre National de la Recherche Scientifique (CNRS)-Réseau nanophotonique et optique, and Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Centre National de la Recherche Scientifique (CNRS)

Subjects
Image formation, Computer science, business.industry, ComputingMethodologies_IMAGEPROCESSINGANDCOMPUTERVISION, image-based rendering (IBR), 020207 software engineering, Bundle adjustment, Image processing, 02 engineering and technology, Image-based modeling and rendering, Real-time rendering, [INFO.INFO-GR]Computer Science [cs]/Graphics [cs.GR], Rendering (computer graphics), RGB-D images, 0202 electrical engineering, electronic engineering, information engineering, 020201 artificial intelligence & image processing, Computer vision, Artificial intelligence, Image analysis, business, Image resolution, ComputingMethodologies_COMPUTERGRAPHICS
Abstract

International audience; This paper presents an image-based rendering (IBR) system based on RGB-D images. The input of our system consists of RGB-D images captured at sparse locations in the scene and can be expanded by adding new RGB-D images. The sparsity of RGB-D images increases the usability of our system as the user need not capture a RGB-D image stream in a single shot, which may require careful planning for a hand-held camera. Our system begins with a single RGB-D image and images are incrementally added one by one. For each newly added image, a batch process is performed to align it with previously added images. The process does not include a global alignment step, such as bundle adjustment, and can be completed quickly by computing only local alignments of RGB-D images. Aligned images are represented as a graph, where each node is an input image and an edge contains relative pose information between nodes. A novel view image is rendered by picking the nearest input as the reference image and then blending the neighboring images based on depth information in real time. Experimental results with indoor scenes using Microsoft Kinect demonstrate that our system can synthesize high quality novel view images from a sparse set of RGB-D images.

Published
2016
Full Text
View/download PDF

5. Spatial Matching of Animated Meshes

Author

Frederic Cordier, Hyewon Seo, Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (ICube), Institut National des Sciences Appliquées - Strasbourg (INSA Strasbourg), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Strasbourg (UNISTRA)-Centre National de la Recherche Scientifique (CNRS)-École Nationale du Génie de l'Eau et de l'Environnement de Strasbourg (ENGEES)-Réseau nanophotonique et optique, Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Matériaux et nanosciences d'Alsace (FMNGE), Institut de Chimie du CNRS (INC)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS)-Institut de Chimie du CNRS (INC)-Université de Strasbourg (UNISTRA)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS), École Nationale du Génie de l'Eau et de l'Environnement de Strasbourg (ENGEES)-Université de Strasbourg (UNISTRA)-Institut National des Sciences Appliquées - Strasbourg (INSA Strasbourg), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Institut National de Recherche en Informatique et en Automatique (Inria)-Les Hôpitaux Universitaires de Strasbourg (HUS)-Centre National de la Recherche Scientifique (CNRS)-Matériaux et Nanosciences Grand-Est (MNGE), Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Institut de Chimie du CNRS (INC)-Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Institut de Chimie du CNRS (INC)-Centre National de la Recherche Scientifique (CNRS)-Réseau nanophotonique et optique, and Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Centre National de la Recherche Scientifique (CNRS)

Subjects
Computer science, business.industry, 020207 software engineering, 02 engineering and technology, Animation, Computer Graphics and Computer-Aided Design, [INFO.INFO-GR]Computer Science [cs]/Graphics [cs.GR], Real-time computer graphics, Computer graphics, Vector graphics, Low poly, 0202 electrical engineering, electronic engineering, information engineering, 020201 artificial intelligence & image processing, Geometric primitive, Polygon mesh, Computer vision, Local feature size, Artificial intelligence, business, Scalar field, 2D computer graphics, 3D computer graphics, ComputingMethodologies_COMPUTERGRAPHICS
Abstract

This paper presents a new technique which makes use of deformation and motion properties between animated meshes for finding their spatial correspondences. Given a pair of animated meshes exhibiting a semantically similar motion, we compute a sparse set of feature points on each mesh and compute spatial correspondences among them so that points with similar motion behavior are put in correspondence. At the core of our technique is our new, dynamic feature descriptor named AnimHOG, which encodes local deformation characteristics. AnimHOG is ob-tained by computing the gradient of a scalar field inside the spatiotemporal neighborhood of a point of interest, where the scalar values are obtained from the deformation characteristic associated with each vertex and at each frame. The final matching has been formulated as a discreet optimization problem that finds the matching of each feature point on the source mesh so that the descriptor similarity between the corresponding feature pairs as well as compatibility and consistency as measured across the pairs of correspondences are maximized. Consequently, reliable correspondences can be found even among the meshes of very different shape, as long as their motions are similar. We demonstrate the performance of our technique by showing the good quality of matching results we obtained on a number of animated mesh pairs.

Published
2016
Full Text
View/download PDF

6. Sketch-based geometric modeling

Author

Bobenrieth, Cédric, Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (ICube), École Nationale du Génie de l'Eau et de l'Environnement de Strasbourg (ENGEES)-Université de Strasbourg (UNISTRA)-Institut National des Sciences Appliquées - Strasbourg (INSA Strasbourg), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Centre National de la Recherche Scientifique (CNRS)-Matériaux et nanosciences d'Alsace (FMNGE), Institut de Chimie du CNRS (INC)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS)-Institut de Chimie du CNRS (INC)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS)-Réseau nanophotonique et optique, Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA), Université de Strasbourg, Hyewon Seo, Frédéric Cordier, STAR, ABES, Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Institut National de Recherche en Informatique et en Automatique (Inria)-Les Hôpitaux Universitaires de Strasbourg (HUS)-Centre National de la Recherche Scientifique (CNRS)-Matériaux et Nanosciences Grand-Est (MNGE), Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Institut de Chimie du CNRS (INC)-Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Institut de Chimie du CNRS (INC)-Centre National de la Recherche Scientifique (CNRS)-Réseau nanophotonique et optique, and Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Centre National de la Recherche Scientifique (CNRS)

Subjects
[INFO.INFO-CG] Computer Science [cs]/Computational Geometry [cs.CG], Sketch-based modeling, Modélisation par croquis, [INFO.INFO-MO] Computer Science [cs]/Modeling and Simulation, Linear optimization, [INFO.INFO-CG]Computer Science [cs]/Computational Geometry [cs.CG], [INFO.INFO-MO]Computer Science [cs]/Modeling and Simulation, Optimisation linéaire
Abstract

Nowadays, 3D modeling is omnipresent, however modern tools for creating 3D models are complex and time consuming. Conversely, the sketch is a natural way to quickly communicate ideas, so a method allowing the automatic reconstruction of 3D objects from a sketch would simplify this process. This method should solve two problems: the computation of the hidden parts of the drawn shape and the determination of the 3D coordinates from the 2D data of the sketch. In this thesis, we present two new approaches that aim to overcome these problems. The first makes use of a priori and a pre-existing database to allow automatic 3D reconstruction of flowers from a single sketch from any angle of view. The second allows the reconstruction of all types of objects, without limitations, using a more informative drawing style and being guided by the user., De nos jours, la modélisation 3D est omniprésente, cependant les outils modernes pour créer des modèles 3D sont complexes et requièrent beaucoup de temps. A contrario, l’esquisse est un moyen naturel de communiquer rapidement des idées, ainsi une méthode permettant la reconstruction automatique d’objets 3D à partir d’un croquis simplifierait ce processus. Cette méthode devrait résoudre deux problèmes : le calcul des parties cachées de la forme dessinée et la détermination des coordonnées 3D à partir des données 2D du croquis. Dans cette thèse, nous présentons deux nouvelles approches qui visent à surmonter ces problèmes. La première se sert d’a priori et d’une base de données préexistantes pour permettre la reconstruction 3D automatique de fleurs à partir d’un seul croquis selon n’importe quel angle de vue. La seconde permet la reconstruction de tout type d’objets, sans limitations, en utilisant un style de dessin plus informatif et en étant guidée par l’utilisateur.

Published
2019

7. Correspondance de maillages dynamiques basée sur les caractéristiques

Author

Mykhalchuk, Vasyl, Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (ICube), École Nationale du Génie de l'Eau et de l'Environnement de Strasbourg (ENGEES)-Université de Strasbourg (UNISTRA)-Institut National des Sciences Appliquées - Strasbourg (INSA Strasbourg), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Institut National de Recherche en Informatique et en Automatique (Inria)-Les Hôpitaux Universitaires de Strasbourg (HUS)-Centre National de la Recherche Scientifique (CNRS)-Matériaux et Nanosciences Grand-Est (MNGE), Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Institut de Chimie du CNRS (INC)-Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Institut de Chimie du CNRS (INC)-Centre National de la Recherche Scientifique (CNRS)-Réseau nanophotonique et optique, Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Centre National de la Recherche Scientifique (CNRS), Université de Strasbourg, and Hyewon Seo

Subjects
Animated mesh, Déformation dynamique, Reconnaissance d'objets, Maillage dynamique, Shape correspondence, [INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], Feature descriptor, Correspondance de forme, Difference of Gaussians, Scale-space theory, Feature detection, Différences de Gaussiennes
Abstract

3D geometry modelling tools and 3D scanners become more enhanced and to a greater degree affordable today. Thus, development of the new algorithms in geometry processing, shape analysis and shape correspondence gather momentum in computer graphics. Those algorithms steadily extend and increasingly replace prevailing methods based on images and videos. Non-rigid shape correspondence or deformable shape matching has been a long-studied subject in computer graphics and related research fields. Not to forget, shape correspondence is of wide use in many applications such as statistical shape analysis, motion cloning, texture transfer, medical applications and many more. However, robust and efficient non-rigid shape correspondence still remains a challenging task due to fundamental variations between individual subjects, acquisition noise and the number of degrees of freedom involved in correspondence search. Although dynamic 2D/3D intra-subject shape correspondence problem has been addressed in the rich set of previous methods, dynamic inter-subject shape correspondence received much less attention. The primary purpose of our research is to develop a novel, efficient, robust deforming shape analysis and correspondence framework for animated meshes based on their dynamic and motion properties. We elaborate our method by exploiting a profitable set of motion data exhibited by deforming meshes with time-varying embedding. Our approach is based on an observation that a dynamic, deforming shape of a given subject contains much more information rather than a single static posture of it. That is different from the existing methods that rely on static shape information for shape correspondence and analysis.Our framework of deforming shape analysis and correspondence of animated meshes is comprised of several major contributions: a new dynamic feature detection technique based on multi-scale animated mesh’s deformation characteristics, novel dynamic feature descriptor, and an adaptation of a robust graph-based feature correspondence approach followed by the fine matching of the animated meshes. [...]; Correspondance de forme est un problème fondamental dans de nombreuses disciplines de recherche, tels que la géométrie algorithmique, vision par ordinateur et l'infographie. Communément définie comme un problème de trouver injective/ multivaluée correspondance entre une source et une cible, il constitue une tâche centrale dans de nombreuses applications y compris le transfert de attributes, récupération des formes etc. Dans récupération des formes, on peut d'abord calculer la correspondance entre la forme de requête et les formes dans une base de données, puis obtenir le meilleure correspondance en utilisant une mesure de qualité de correspondance prédéfini. Il est également particulièrement avantageuse dans les applications basées sur la modélisation statistique des formes. En encapsulant les propriétés statistiques de l'anatomie du sujet dans le model de forme, comme variations géométriques, des variations de densité, etc., il est utile non seulement pour l'analyse des structures anatomiques telles que des organes ou des os et leur variations valides, mais aussi pour apprendre les modèle de déformation de la classe d'objets. Dans cette thèse, nous nous intéressons à une enquête sur une nouvelle méthode d'appariement de forme qui exploite grande redondance de l'information à partir des ensembles de données dynamiques, variables dans le temps. Récemment, une grande quantité de recherches ont été effectuées en infographie sur l'établissement de correspondances entre les mailles statiques (Anguelov, Srinivasan et al. 2005, Aiger, Mitra et al. 2008, Castellani, Cristani et al. 2008). Ces méthodes reposent sur les caractéristiques géométriques ou les propriétés extrinsèques/intrinsèques des surfaces statiques (Lipman et Funkhouser 2009, Sun, Ovsjanikov et al. 2009, Ovsjanikov, Mérigot et al. 2010, Kim, Lipman et al., 2011) pour élaguer efficacement les paires. Bien que l'utilisation de la caractéristique géométrique est encore un standard d'or, les méthodes reposant uniquement sur l'information statique de formes peuvent générer dans les résultats de correspondance grossièrement trompeurs lorsque les formes sont radicalement différentes ou ne contiennent pas suffisamment de caractéristiques géométriques. [...]

Published
2015

8. Feature-based matching of animated meshes

Author

Mykhalchuk, Vasyl, Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (ICube), École Nationale du Génie de l'Eau et de l'Environnement de Strasbourg (ENGEES)-Université de Strasbourg (UNISTRA)-Institut National des Sciences Appliquées - Strasbourg (INSA Strasbourg), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Centre National de la Recherche Scientifique (CNRS)-Matériaux et nanosciences d'Alsace (FMNGE), Institut de Chimie du CNRS (INC)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS)-Institut de Chimie du CNRS (INC)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS)-Réseau nanophotonique et optique, Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA), Université de Strasbourg, and Hyewon Seo

Subjects
Animated mesh, Déformation dynamique, Reconnaissance d'objets, Maillage dynamique, Shape correspondence, [INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], Feature descriptor, Correspondance de forme, Difference of Gaussians, Feature detection, Scale-space theory, Différences de Gaussiennes
Abstract

3D geometry modelling tools and 3D scanners become more enhanced and to a greater degree affordable today. Thus, development of the new algorithms in geometry processing, shape analysis and shape correspondence gather momentum in computer graphics. Those algorithms steadily extend and increasingly replace prevailing methods based on images and videos. Non-rigid shape correspondence or deformable shape matching has been a long-studied subject in computer graphics and related research fields. Not to forget, shape correspondence is of wide use in many applications such as statistical shape analysis, motion cloning, texture transfer, medical applications and many more. However, robust and efficient non-rigid shape correspondence still remains a challenging task due to fundamental variations between individual subjects, acquisition noise and the number of degrees of freedom involved in correspondence search. Although dynamic 2D/3D intra-subject shape correspondence problem has been addressed in the rich set of previous methods, dynamic inter-subject shape correspondence received much less attention. The primary purpose of our research is to develop a novel, efficient, robust deforming shape analysis and correspondence framework for animated meshes based on their dynamic and motion properties. We elaborate our method by exploiting a profitable set of motion data exhibited by deforming meshes with time-varying embedding. Our approach is based on an observation that a dynamic, deforming shape of a given subject contains much more information rather than a single static posture of it. That is different from the existing methods that rely on static shape information for shape correspondence and analysis.Our framework of deforming shape analysis and correspondence of animated meshes is comprised of several major contributions: a new dynamic feature detection technique based on multi-scale animated mesh’s deformation characteristics, novel dynamic feature descriptor, and an adaptation of a robust graph-based feature correspondence approach followed by the fine matching of the animated meshes. [...]; Correspondance de forme est un problème fondamental dans de nombreuses disciplines de recherche, tels que la géométrie algorithmique, vision par ordinateur et l'infographie. Communément définie comme un problème de trouver injective/ multivaluée correspondance entre une source et une cible, il constitue une tâche centrale dans de nombreuses applications y compris le transfert de attributes, récupération des formes etc. Dans récupération des formes, on peut d'abord calculer la correspondance entre la forme de requête et les formes dans une base de données, puis obtenir le meilleure correspondance en utilisant une mesure de qualité de correspondance prédéfini. Il est également particulièrement avantageuse dans les applications basées sur la modélisation statistique des formes. En encapsulant les propriétés statistiques de l'anatomie du sujet dans le model de forme, comme variations géométriques, des variations de densité, etc., il est utile non seulement pour l'analyse des structures anatomiques telles que des organes ou des os et leur variations valides, mais aussi pour apprendre les modèle de déformation de la classe d'objets. Dans cette thèse, nous nous intéressons à une enquête sur une nouvelle méthode d'appariement de forme qui exploite grande redondance de l'information à partir des ensembles de données dynamiques, variables dans le temps. Récemment, une grande quantité de recherches ont été effectuées en infographie sur l'établissement de correspondances entre les mailles statiques (Anguelov, Srinivasan et al. 2005, Aiger, Mitra et al. 2008, Castellani, Cristani et al. 2008). Ces méthodes reposent sur les caractéristiques géométriques ou les propriétés extrinsèques/intrinsèques des surfaces statiques (Lipman et Funkhouser 2009, Sun, Ovsjanikov et al. 2009, Ovsjanikov, Mérigot et al. 2010, Kim, Lipman et al., 2011) pour élaguer efficacement les paires. Bien que l'utilisation de la caractéristique géométrique est encore un standard d'or, les méthodes reposant uniquement sur l'information statique de formes peuvent générer dans les résultats de correspondance grossièrement trompeurs lorsque les formes sont radicalement différentes ou ne contiennent pas suffisamment de caractéristiques géométriques. [...]

Published
2015

9. Segmentation methods for deforming meshes and its application to similarity measurement

Author

Luo, Guoliang, Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (ICube), École Nationale du Génie de l'Eau et de l'Environnement de Strasbourg (ENGEES)-Université de Strasbourg (UNISTRA)-Institut National des Sciences Appliquées - Strasbourg (INSA Strasbourg), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Centre National de la Recherche Scientifique (CNRS)-Matériaux et nanosciences d'Alsace (FMNGE), Institut de Chimie du CNRS (INC)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS)-Institut de Chimie du CNRS (INC)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS)-Réseau nanophotonique et optique, Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA), Université de Strasbourg, and Hyewon Seo

Subjects
Calcul de similarité, Spatio-temporal segmentation, Maillage dynamique, Motion similarity measurement, Dynamic feature descriptor, Segmentation spatio-temporelle, Maillage animé, Deforming meshes, [INFO.INFO-CG]Computer Science [cs]/Computational Geometry [cs.CG], Temporal segmentation, [INFO.INFO-GR]Computer Science [cs]/Graphics [cs.GR]
Abstract

With an abundance of animation techniques available today, animated mesh has become a subject of various data processing techniques in Computer Graphics community, such as mesh segmentation and compression. Created from animation software or from motion capture data, a large portion of the animated meshes are deforming meshes, i.e. ordered sequences of static meshes whose topology is fixed (fixed number of vertices and fixed connectivity). Although a great deal of research on static meshes has been reported in the last two decades, the analysis, retrieval or compressions of deforming meshes remain as new research challenges. Such tasks require efficient representations of animated meshes, such as segmentation. Several spatial segmentation methods based on the movements of each vertex, or each triangle, have been presented in existing works that partition a given deforming mesh into rigid components. In this thesis, we present segmentation techniques that compute the temporal and spatio-temporal segmentation for deforming meshes, which both have not been studied before. We further extend the segmentation results towards the application of motion similarity measurement between deforming meshes. This may be significant as it solves the problem that cannot be handled by current approaches.; Avec le développement important des techniques d’animation, les maillages animés sont devenus un sujet de recherche important en informatique graphique, comme la segmentation de maillages animés ou la compression. Ces maillages animés qui sont créés à l’aide de logiciels ou à partir de données de capture de mouvements sont composés d’une séquence ordonnée de maillages de forme statique et dont la topologie reste la même (nombre fixe de sommets et de triangles). Bien qu’un grand nombre de travaux ont été menés sur les maillages statiques durant les deux dernières décennies, le traitement et la compression de maillages animés présentent de nombreuses difficultés techniques. En particulier, les traitements de maillages dynamiques nécessitent une représentation de données efficace basée sur la segmentation. Plusieurs travaux ont été publiés par le passé et qui permettent de segmenter un maillage animé en un ensemble de composants rigides.Dans cette thèse, nous présentons plusieurs techniques qui permettent de calculer une segmentation spatio-temporelle d’un maillage animé ; de tels travaux n’ont pas encore été publiés sur ce sujet. De plus, nous avons étendu cette méthode pour pouvoir comparer ces maillages animés entre eux à l’aide d’une métrique. À notre connaissance, aucune méthode existante ne permet de comparer des maillages animés entre eux.

Published
2014

10. Segmentation de maillages dynamiques et son application pour le calcul de similarité

Author

Luo, Guoliang, Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (ICube), École Nationale du Génie de l'Eau et de l'Environnement de Strasbourg (ENGEES)-Université de Strasbourg (UNISTRA)-Institut National des Sciences Appliquées - Strasbourg (INSA Strasbourg), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Institut National de Recherche en Informatique et en Automatique (Inria)-Les Hôpitaux Universitaires de Strasbourg (HUS)-Centre National de la Recherche Scientifique (CNRS)-Matériaux et Nanosciences Grand-Est (MNGE), Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Institut de Chimie du CNRS (INC)-Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Institut National de la Santé et de la Recherche Médicale (INSERM)-Institut de Chimie du CNRS (INC)-Centre National de la Recherche Scientifique (CNRS)-Réseau nanophotonique et optique, Université de Strasbourg (UNISTRA)-Université de Haute-Alsace (UHA) Mulhouse - Colmar (Université de Haute-Alsace (UHA))-Centre National de la Recherche Scientifique (CNRS)-Université de Strasbourg (UNISTRA)-Centre National de la Recherche Scientifique (CNRS), Université de Strasbourg, and Hyewon Seo

Subjects
Calcul de similarité, Spatio-temporal segmentation, Maillage dynamique, Motion similarity measurement, Dynamic feature descriptor, Segmentation spatio-temporelle, Maillage animé, Deforming meshes, [INFO.INFO-CG]Computer Science [cs]/Computational Geometry [cs.CG], Temporal segmentation, [INFO.INFO-GR]Computer Science [cs]/Graphics [cs.GR]
Abstract

With an abundance of animation techniques available today, animated mesh has become a subject of various data processing techniques in Computer Graphics community, such as mesh segmentation and compression. Created from animation software or from motion capture data, a large portion of the animated meshes are deforming meshes, i.e. ordered sequences of static meshes whose topology is fixed (fixed number of vertices and fixed connectivity). Although a great deal of research on static meshes has been reported in the last two decades, the analysis, retrieval or compressions of deforming meshes remain as new research challenges. Such tasks require efficient representations of animated meshes, such as segmentation. Several spatial segmentation methods based on the movements of each vertex, or each triangle, have been presented in existing works that partition a given deforming mesh into rigid components. In this thesis, we present segmentation techniques that compute the temporal and spatio-temporal segmentation for deforming meshes, which both have not been studied before. We further extend the segmentation results towards the application of motion similarity measurement between deforming meshes. This may be significant as it solves the problem that cannot be handled by current approaches.; Avec le développement important des techniques d’animation, les maillages animés sont devenus un sujet de recherche important en informatique graphique, comme la segmentation de maillages animés ou la compression. Ces maillages animés qui sont créés à l’aide de logiciels ou à partir de données de capture de mouvements sont composés d’une séquence ordonnée de maillages de forme statique et dont la topologie reste la même (nombre fixe de sommets et de triangles). Bien qu’un grand nombre de travaux ont été menés sur les maillages statiques durant les deux dernières décennies, le traitement et la compression de maillages animés présentent de nombreuses difficultés techniques. En particulier, les traitements de maillages dynamiques nécessitent une représentation de données efficace basée sur la segmentation. Plusieurs travaux ont été publiés par le passé et qui permettent de segmenter un maillage animé en un ensemble de composants rigides.Dans cette thèse, nous présentons plusieurs techniques qui permettent de calculer une segmentation spatio-temporelle d’un maillage animé ; de tels travaux n’ont pas encore été publiés sur ce sujet. De plus, nous avons étendu cette méthode pour pouvoir comparer ces maillages animés entre eux à l’aide d’une métrique. À notre connaissance, aucune méthode existante ne permet de comparer des maillages animés entre eux.

Published
2014

Catalog

Books, media, physical & digital resources
See catalog results