1. Vision et apprentissage dans le contexte des rovers planétaires
- Author
-
de Curtò, J., Computer Vision Laboratory - ETHZ [Zurich], Eidgenössische Technische Hochschule - Swiss Federal Institute of Technology [Zürich] (ETH Zürich), ETH Zürich, Luc van Gool, and De Curtò i DíAz, J.
- Subjects
[INFO.INFO-AI] Computer Science [cs]/Artificial Intelligence [cs.AI] ,Computer vision and image understanding ,[INFO.INFO-CV] Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV] ,[INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing ,[INFO.INFO-TS] Computer Science [cs]/Signal and Image Processing ,[INFO.INFO-RB] Computer Science [cs]/Robotics [cs.RO] ,[SDU.ASTR.EP]Sciences of the Universe [physics]/Astrophysics [astro-ph]/Earth and Planetary Astrophysics [astro-ph.EP] ,[INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV] ,[INFO.INFO-RB]Computer Science [cs]/Robotics [cs.RO] ,[SDU.ASTR.EP] Sciences of the Universe [physics]/Astrophysics [astro-ph]/Earth and Planetary Astrophysics [astro-ph.EP] ,Computer Vision und Bildverständnis ,Vision par ordinateur et compréhension de l'image ,[INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI] - Abstract
Generative Adversarial Networks (GANs) hatten enorme Anwendungen in Computer Vision. Im Kontext der Weltraumforschung und der Erforschung der Planeten steht die Tür jedoch offen für große Fortschritte. Wir stellen Werkzeuge für den Umgang mit Planetendaten aus der Mission Chang'E-4 vor und präsentieren ein Framework für die Übertragung des neuronalen Stils unter Verwendung der Zykluskonsistenz aus gerenderten Bildern.Wir führen auch eine neue Echtzeit-Pipeline für Simultaneous Localization and Mapping (SLAM) und Visual Inertial Odometry (VIO) im Kontext von Planetenrovern ein. Wir nutzen vorherige Informationen über den Standort des Landers, um einen SLAM-Ansatz auf Objektebene vorzuschlagen, der die Pose und Form des Landers zusammen mit den Kameratrajektorien des Rovers optimiert. Als weiteren Verfeinerungsschritt schlagen wir vor, Interpolationstechniken zwischen benachbarten zeitlichen Abtastwerten zu verwenden. videlicet synthetisiert nicht vorhandene Bilder, um die Gesamtgenauigkeit des Systems zu verbessern.Die Experimente werden im Rahmen des Iris Lunar Rover durchgeführt, eines Nano-Rovers, der 2021 als Flaggschiff von Carnegie Mellon als erstem unbemannten Rover Amerikas auf dem Mond im Mondgelände eingesetzt wird., Generative Adversarial Networks (GANs) have had tremendous applications in Computer Vision. Yet, in the context of space science and planetary exploration the door is open for major advances. We introduce tools to handle planetary data from the mission Chang'E-4 and present a framework for Neural Style Transfer using Cycle-consistency from rendered images. We also introduce a new real-time pipeline for Simultaneous Localization and Mapping (SLAM) and Visual Inertial Odometry (VIO) in the context of planetary rovers. We leverage prior information of the location of the lander to propose an object-level SLAM approach that optimizes pose and shape of the lander together with camera trajectories of the rover. As a further refinement step, we propose to use techniques of interpolation between adjacent temporal samples; videlicet synthesizing non-existing images to improve the overall accuracy of the system.The experiments are conducted in the context of the Iris Lunar Rover, a nano-rover that will be deployed in lunar terrain in 2021 as the flagship of Carnegie Mellon, being the first unmanned rover of America to be on the Moon., Generative Adversarial Networks (GAN) ont eu d'énormes applications en vision par ordinateur. Pourtant, dans le contexte de la science spatiale et de l'exploration planétaire, la porte est ouverte à des avancées majeures. Nous introduisons des outils pour gérer les données planétaires de la mission Chang'E-4 et présentons un cadre pour le transfert de style neuronal utilisant la cohérence de cycle à partir d'images rendues. Nous introduisons également un nouveau pipeline en temps réel pour Simultaneous Localization and Mapping (SLAM) et Visual Inertial Odometry (VIO) dans le contexte des rovers planétaires. Nous exploitons les informations préalables sur l'emplacement de l'atterrisseur pour proposer une approche SLAM au niveau de l'objet qui optimise la pose et la forme de l'atterrisseur ainsi que les trajectoires de caméra du rover. Comme étape de raffinement supplémentaire, nous proposons d'utiliser des techniques d'interpolation entre échantillons temporels adjacents; videlicet synthétise des images inexistantes pour améliorer la précision globale du système. Les expériences sont menées dans le contexte de l'Iris Lunar Rover, un nano-rover qui sera déployé sur un terrain lunaire en 2021 en tant que vaisseau amiral de Carnegie Mellon, étant le premier rover sans pilote d'Amérique à être sur la Lune.
- Published
- 2021