Automatically augmented and annotated urban datasets using mixed reality

This project addresses the topic of database augmentation through a focus on process automation. In the field of autonomous driving systems the datasets used by the learning algorithms are decisive. Furthermore, the underlying machine learning systems would always benefit from having further quality data to learn from. A recent work on the topic of image dataset augmentation has been published, but it did not focus on the automation of the process, and it only involved the addition of cars to the existing images. On the other hand, our project has been developed to also support other kinds of objects. Moreover, our work has centered on developing an automatic pipeline that enables a continual augmentation of the dataset. Thanks to the efforts invested into the analysis of the source images and the automated rendering of virtual objects we can now produce augmented versions of the source images with relative ease. Este proyecto aborda el tema del aumento de conuntos de datos a través de un enfoque en la automatización de procesos. En el campo de los sistemas de conducción autónomos, los conjuntos de datos utilizados por los algoritmos de aprendizaje son decisivos. Además, los sistemas subyacentes de aprendizaje automático siempre se pueden beneficiar de contar con más datos de calidad de los que aprender. Recientemente se ha publicado un trabajo sobre el tema del aumento del conjunto de datos de imágenes, pero no está centrado en la automatización del proceso, y solo incluye la adición de automóviles a las imágenes existentes. En cambio, nuestro proyecto se ha desarrollado para admitir otros tipos de objetos. Además, nos hemos centrado en desarrollar un proceso automático que permita un aumento continuo del conjunto de datos. Gracias al esfuerzo invertido en el análisis de las imágenes originales y la representación automática de objetos virtuales, ahora podemos producir versiones aumentadas de las imágenes originales con relativa facilidad. Aquest projecte aborda el tema de l'augment de conjunts dades mitjançant un enfocament en l'automatització de processos. En el camp dels sistemes de conducció autònoms, els conjunts de dades utilitzats pels algoritmes d'aprenentatge són decisius. A més, els sistemes subjacents d'aprenentatge computacional sempre es poden beneficiar de tenir més dades de qualitat de les que aprendre. S'ha publicat recentment un treball sobre l'augment de conjunts de dades d'imatges, però no està centrat en l'automatització del procés i només involucra l'addició de cotxes a les imatges existents. D'altra banda, el nostre projecte s'ha desenvolupat per a donar suport a més tipus d'objectes i s'ha centrat en desenvolupar un procés automàtic que permeti augmentar de forma contínua el conjunt de dades. Gràcies als esforços invertits en l'anàlisi de les imatges originals i en el renderitzat automàtic d'objectes virtuals, ara podem produir versions augmentades de les imatges originals amb relativa facilitat.