Search

Videos acquired in low-light conditions often exhibit motion blur, which depends on the motion of the objects relative to the camera. This is not only visually unpleasing, but can hamper further processing. With this paper we are the first to show how the availability of stereo video can aid the challenging video deblurring task. We leverage 3D scene flow, which can be estimated robustly even under adverse conditions. We go beyond simply determining the object motion in two ways: First, we show how a piecewise rigid 3D scene flow representation allows to induce accurate blur kernels via local homographies. Second, we exploit the estimated motion boundaries of the 3D scene flow to mitigate ringing artifacts using an iterative weighting scheme. Being aware of 3D object motion, our approach can deal robustly with an arbitrary number of independently moving objects. We demonstrate its benefit over state-of-the-art video deblurring using quantitative and qualitative experiments on rendered scenes and real videos., Accepted to the 14th European Conference on Computer Vision (ECCV 2016). Includes supplemental material

Most optical flow algorithms assume pairs of images that are acquired with an ideal, short exposure time. We present two approaches, that use additional images of a scene to estimate highly accurate, dense correspondence fields. In our first approach we consider video sequences that are acquired with alternating exposure times so that a short-exposure image is followed by a long-exposure image that exhibits motion-blur. With the help of the two enframing short-exposure images, we can decipher not only the motion information encoded in the long-exposure image, but also estimate occlusion timings, which are a basis for artifact-free frame interpolation. In our second approach we consider the data modality of multi-view video sequences, as it commonly occurs, e.g., in stereoscopic video. As several images capture nearly the same data of a scene, this redundancy can be used to establish more robust and consistent correspondence fields than the consideration of two images permits., Die meisten Verfahren zur Schätzung des optischen Flusses verwenden zwei Bilder, die mit einer optimalen, kurzen Belichtungszeit aufgenommen wurden. Wir präsentieren zwei Methoden, die zusätzliche Bilder zur Schätzung von hochgenauen, dichten Korrespondenzfeldern verwenden. Die erste Methode betrachtet Videosequenzen, die mit alternierender Belichtungsdauer aufgenommen werden, so dass auf eine Kurzzeitbelichtung eine Langzeitbelichtung folgt, die Bewegungsunschärfe enthält. Mit der Hilfe von zwei benachbarten Kurzzeitbelichtungen können wir nicht nur die Bewegung schätzen, die in der Bewegungsunschärfe der Langzeitbelichtung verschlüsselt ist, sondern zusätzlich auch Verdeckungszeiten schätzen, die sich bei der Interpolation von Zwischenbildern als große Hilfe erweisen. Die zweite Methode betrachtet Videos, die eine Szene aus mehreren Ansichten aufzeichnen, wie z.B. Stereovideos. Dabei enthalten mehrere Bilder fast dieselbe Information über die Szene. Wir nutzen diese Redundanz aus, um konsistentere und robustere Bewegungsfelder zu bestimmen, als es mit zwei Bildern möglich ist.

We present a robust feature matching approach that considers features from more than two images during matching. Traditionally, corners or feature points are matched between pairs of images. Starting from one image, corresponding features are searched in the other image. Yet, often this two-image matching is only a subproblem and actually robust matches over multiple views and/ or images acquired at several instants in time are required. In our feature matching approach we consider the multi-view video data modality and find matches that are consistent in three images. Requiring neither calibrated nor synchronized cameras, we are able to reduce the percentage of wrongly matched features considerably. We evaluate the approach for different feature detectors and their natural descriptors and show an application of our improved matching approach for optical flow calculation on unsynchronized stereo sequences.

In this paper, we present an extension to optical flow for estimating dense 2D motion fields with occlusion information. While optical flow computa- tion is based on two consecutive short-exposure images, we make also use of an additional intermediate long-exposure image. This motion-blurred in- termediate image captures scene motion directly. We introduce an image formation model that relates the long-exposure image to both short-exposure images in terms of dense 2D motion and local occlusion/disocclusion. Based on this image formation model, we describe a practical algorithm that en- ables estimating the 2D motion field of occluding and occluded regions as well as determining the instant of occlusion. Results for synthetic and real scenes demonstrate the validity of the proposed approach., In diesem Bericht präsentieren wir eine Erweiterung des Optischen Flusses, die die Berechnung des dichten 2d Bewegundsfeldes und der Verdeckungsinformationen zuläßt. Während die Berechnung des Optischen Flusses auf einem Paar gestochen scharfer Kurzzeitbelichtungen beruht, beziehen wir in unserem Ansatz eine zusätzliche, dazwischenliegende, bewegunsunscharfe Langzeitaufnahme mit ein. In der Bewegungsunschärfe der Langzeitbelichtung ist die Szenenbewegung verschlüsselt. Zunächst wird darum ein Bildentstehungsmodell vorgestellt, das die Lang- und Kurzzeitbelichtungen über die 2d Bewegung zueinander in Relation setzt. Beruhend auf diesem Modell wird ein Algorithmus entwickelt, der sowohl das 2d Bewegungsfeld für alle Pixel berechnet, als auch verdeckte bzw. aufgedeckte Pixel findet und für diese den Verdeckungszeitpunkt approximiert. Die Ergebnisse zu synthetischen und realen Aufnahmen validieren den Ansatz., Technical Report - Computer Graphics Lab, TU Braunschweig, vol. 2008-5-6

We present a novel multi-view, projective texture mapping technique. While previous multi-view texturing approaches lead to blurring and ghosting artefacts if 3D geometry and/or camera calibration are imprecise, we propose a texturing algorithm that warps (floats) projected textures during run-time to preserve crisp, detailed texture appearance. Our GPU implementation achieves interactive to real-time frame rates. The method is very generally applicable and can be used in combination with many image-based rendering methods or projective texturing applications. By using Floating Textures in conjunction with, e.g., visual hull rendering, light field rendering, or free-viewpoint video, improved rendering results are obtained from fewer input images, less accurately calibrated cameras, and coarser 3D geometry proxies., We präsentieren eine neue Technik für projektive Texturierung mit mehreren Bildern. Bisherige Ansätze hatten immer das Problem das Unschärfe oder Geisterartefakte das Ergebnis beeinflussten, falls die 3D Geometrie oder die Kamerakalibrierung nicht exakt waren. Wir stellen einen neuen Algorithmus vor, der die projizierten Texturen auf der Oberfläche und on-the-fly und in interaktiven Frameraten bis Echtzeit fliessen lässt, so dass sie zueinander passen. Dadurch werden auch kleinste Details erhalten. Die Methode ist sehr generell gehalten und kann in Verbindung mit den meisten anderen bildbasierten Renderingmethoden verwendet werden. Durch die Verwendung unserer Floating Textures, z.B. mit Visual Hull Rendering, Light Field Rendering oder Free-Viewpoint video, können verbesserte Renderingergebnisse erzielt werden von weniger Eingabebildern, weniger akkurat kalibrierten Kameras und gröberer 3D Geometrie., Technical Report - Computer Graphics Lab, TU Braunschweig, vol. 2007-10-4

Das i3mainz, Institut für Raumbezogene Informations- und Messtechnik an der Hochschule Mainz legt jedes Jahr einen Bericht über alle Aktivitäten und personellen Veränderungen vor. i3mainz, Institute for Spatial Information and Surveying Technology at Mainz University of Applied Sciences presents an annual report on all activities and personal changes.