Video cartoonization with generative models

Creating animation scenarios that are immersive and interesting is critical to attracting viewers' attention in the ever-changing world of animation. Traditionally, the design and animation process of these scenarios has been based above all on the knowledge and imagination of human artists, who have had to do a lot of manual work, methodically for each scene and frame of a footage. However, recent advances in computer vision and artificial intelligence have opened up new opportunities to automate the generation of animation scenarios. This thesis will focus on researching, proposing and implementing a design based on the state of the art in generative models (a branch of machine learning) that, given an artistic style, allows transforming a real video into drawings animated while maintaining temporal coherence. The results of the proposed design will be compared to see which model can allow better immersion and remains more faithful to the desired artistic style
La creación de escenarios de animación que sean inmersivos e interesantes es fundamental para atraer la atención de los espectadores al mundo de la animación, que está en constante cambio. Tradicionalmente, el proceso de diseño y animación de estos escenarios se ha basado sobre todo en el conocimiento y la imaginación de los artistas humanos, que han tenido que realizar mucho trabajo manual, de forma metódica en cada escena y fotograma de un metraje. Sin embargo, los recientes progresos en visión por computador e inteligencia artificial han abierto nuevas oportunidades para automatizar la generación de escenarios de animación. Esta tesis se centrará en investigar, proponer e implementar un diseño basado en el estado del arte en los modelos generativos (una de las ramas del aprendizaje automático) que, dado un estilo artístico, permita transformar un vídeo real a dibujos animados manteniendo la coherencia temporal. Los resultados del diseño propuesto se compararán para ver qué modelo permite una mejor inmersión y se mantiene más fiel al estilo artístico deseado
La creació d'escenaris d'animació que siguin immersius i interessants és fonamental per atraure l'atenció dels espectadors en el món de l'animació, que està en constant canvi. Tradicionalment, el procés de disseny i animació d'aquests escenaris s'ha basat sobretot en el coneixement i la imaginació dels artistes humans, que han hagut de fer molta feina manual, de forma metòdica per a cada escena i fotograma d'un metratge. No obstant això, els progressos recents en visió per computador i intel·ligència artificial han obert noves oportunitats per automatitzar la generació d'escenaris d'animació. Aquesta tesi es centrarà en investigar, proposar i implementar un disseny basat en l'estat de l'art en els models generatius (una de les branques de l'aprenentatge automàtic) que, donat un estil artístic, permeti transformar un vídeo real a dibuixos animats mantenint la coherència temporal. Els resultats del disseny proposat es compararan per veure quin model pot permetre una millor immersió i es manté més fidel a l'estil artístic desitjat.