Search

Volumetric video, free-viewpoint video or 4D reconstruction refer to the process of reconstructing 3D content over time using a multi-view setup. This method is constantly gaining popularity both in research and industry. In fact, volumetric video is more and more considered to acquire dynamic photorealistic content instead of relying on traditional 3D content creation pipelines. The aim of the tutorial is to provide an overview of the entire volumetric video pipeline. Furthermore, it presents existing projects that may serve as a starting point to this topic at the intersection of computer vision and graphics. The first part of the tutorial will focus on the process of computing 3D models from captured videos. Topics will include content acquisition with affordable hardware, photogrammetry, and surface reconstruction from point clouds. A remarkable contribution of the presenters to the graphics community is that they will not only provide an overview of their topic but have in addition open sourced their implementations. Topics of the second part will focus on usage and distribution of volumetric video, including data compression, streaming or post-processing like pose-modification or seamless blending. The tutorial will conclude with an overview of perceptual studies focusing on quality assessment of 3D and 4D content., Eurographics 2021 - Tutorials, Tutorials, 3, 7, Eduard Zell, Fabien Castan, Simone Gasparini, Anna Hilsmann, Misha Kazhdan, Andrea Tagliasacchi, Dimitris Zarpalas, and Nick Zioulis

National audience; Nous proposons une stratégie, simple mais efficace, per-mettant d'estimer la profondeur à partir de données multi-vues. Ce problème classique, qui consiste à minimiser la somme pondérée de la cohérence photométrique et d'un terme de régularisation, est reformulé sous la forme d'une séquence de problèmes faciles à résoudre. La méthode pré-sentée dans cet article permet de traiter une grande variété de mesures de cohérence photométrique et de termes de ré-gularisation. Elle peut être utilisée, par exemple, pour es-timer une solution dite de surface minimale, ou encore une solution fondée sur l'ombrage. Ceci rend l'approche pro-posée très efficace pour résoudre le problème classique de la reconstruction 3D d'objets non texturés. Mots Clef Stéréoscopie multi-vues, reconstruction 3D, shape-from-shading. Abstract We put forward a simple, yet effective splitting strategy for multi-view stereopsis. It recasts the minimization of the classic photo-consistency + regularization functional as a sequence of simple problems which can be solved efficiently. This framework is able to handle various photo-consistency measures and regularization terms, and can be used for instance to estimate either a minimal-surface or a shading-aware solution. This makes the proposed approach very effective for dealing with the well-known problem of textureless objects 3D-reconstruction.

International audience; Nous présentons une méthode variationnelle permettant de séparer l'ombrage de la réflectance, à partir d'un ensemble d'images d'une même scène acquises sous différents points de vue, sous l'hypothèse que la géométrie de la scène a été préalablement estimée par une méthode de reconstruction 3D multi-vues. Le modèle proposé est de type l1 -TV: un terme d'attache aux données en norme l1 est couplé à un terme de cohérence inter-vues, qui permet de lever certaines ambiguïtés, tandis que la variation totale force la réflectance à être uniforme par morceaux. Pour résoudre ce problème variationnel, nous utilisons une stratégie d'optimisation alternée de problèmes en moindres carrés repondérés. Le potentiel de notre approche est validé par plusieurs résultats sur données de synthèse, où nous testons différents cas de figure pour l'éclairage et la réflectance, puis sur données réelles.