Search

[EN] More and more universities are banking on the production of digital contents to support online or blended learning in higher education. Over the last years, the MLLP research group has been working closely with the UPV’s ASIC media services in order to enrich educational multimedia resources through the application of natural language processing technologies including automatic speech recognition, machine translation and text-tospeech. In this work we present the steps that are being followed for the comprehensive translation of these materials, specifically through (semi-)automatic dubbing by making use of state-of-the-art speaker-adaptive text-to-speech technologies., [ES] Cada vez son más las universidades que apuestan por la producción de contenidos digitales como apoyo al aprendizaje en lı́nea o combinado en la enseñanza superior. El grupo de investigación MLLP lleva años trabajando junto al ASIC de la UPV para enriquecer estos materiales, y particularmente su accesibilidad y oferta lingüı́stica, haciendo uso de tecnologı́as del lenguaje como el reconocimiento automático del habla, la traducción automática y la sı́ntesis de voz. En este trabajo presentamos los pasos que se están dando hacia la traducción integral de estos materiales, concretamente a través del doblaje (semi-)automático mediante sistemas de sı́ntesis de voz adaptables al locutor., Este trabajo ha recibido financiación del Gobierno de España a través de la subvención RTI2018-094879-B-I00 financiada por MCIN/AEI/10.13039/501100011033 (Multisub) y por ”FEDER Una manera de hacer Europa”; del programa Erasmus+ Educación a través del acuerdo de subvención 20-226-093604-SCH (EXPERT); and by the European Union’s Horizon 2020 research and innovation programme under grant agreement no. 761758 (X5gon).

[ES] Durante la última década, los medios de comunicación han experimentado una revolución, alejándose de la televisión convencional hacia las plataformas de contenido bajo demanda. Además, esta revolución no ha cambiado solamente la manera en la que nos entretenemos, si no también la manera en la que aprendemos. En este sentido, las plataformas de contenido educativo bajo demanda también han proliferado para proporcionar recursos educativos de diversos tipos. Estas nuevas vías de distribución de contenido han llegado con nuevos requisitos para mejorar la accesibilidad, en particular las relacionadas con las dificultades de audición y las barreras lingüísticas. Aquí radica la oportunidad para el reconocimiento automático del habla (RAH) para cumplir estos requisitos, proporcionando subtitulado automático de alta calidad. Este subtitulado proporciona una base sólida para reducir esta brecha de accesibilidad, especialmente para contenido en directo o streaming. Estos sistemas de streaming deben trabajar bajo estrictas condiciones de tiempo real, proporcionando la subtitulación tan rápido como sea posible, trabajando con un contexto limitado. Sin embargo, esta limitación puede conllevar una degradación de la calidad cuando se compara con los sistemas para contenido en diferido u offline. Esta tesis propone un sistema de RAH en streaming con baja latencia, con una calidad similar a un sistema offline. Concretamente, este trabajo describe el camino seguido desde el sistema offline híbrido inicial hasta el eficiente sistema final de reconocimiento en streaming. El primer paso es la adaptación del sistema para efectuar una sola iteración de reconocimiento haciendo uso de modelos de lenguaje estado del arte basados en redes neuronales. En los sistemas basados en múltiples iteraciones estos modelos son relegados a una segunda (o posterior) iteración por su gran coste computacional. Tras adaptar el modelo de lenguaje, el modelo acústico basado en redes neuronales también tiene que adaptarse para trabajar con un contexto limitado. La integración y la adaptación de estos modelos es ampliamente descrita en esta tesis, evaluando el sistema RAH resultante, completamente adaptado para streaming, en conjuntos de datos académicos extensamente utilizados y desafiantes tareas basadas en contenidos audiovisuales reales. Como resultado, el sistema proporciona bajas tasas de error con un reducido tiempo de respuesta, comparables al sistema offline., [CA] Durant l'última dècada, els mitjans de comunicació han experimentat una revolució, allunyant-se de la televisió convencional cap a les plataformes de contingut sota demanda. A més a més, aquesta revolució no ha canviat només la manera en la que ens entretenim, si no també la manera en la que aprenem. En aquest sentit, les plataformes de contingut educatiu sota demanda també han proliferat pera proporcionar recursos educatius de diversos tipus. Aquestes noves vies de distribució de contingut han arribat amb nous requisits per a millorar l'accessibilitat, en particular les relacionades amb les dificultats d'audició i les barreres lingüístiques. Aquí radica l'oportunitat per al reconeixement automàtic de la parla (RAH) per a complir aquests requisits, proporcionant subtitulat automàtic d'alta qualitat. Aquest subtitulat proporciona una base sòlida per a reduir aquesta bretxa d'accessibilitat, especialment per a contingut en directe o streaming. Aquests sistemes han de treballar sota estrictes condicions de temps real, proporcionant la subtitulació tan ràpid com sigui possible, treballant en un context limitat. Aquesta limitació, però, pot comportar una degradació de la qualitat quan es compara amb els sistemes per a contingut en diferit o offline. Aquesta tesi proposa un sistema de RAH en streaming amb baixa latència, amb una qualitat similar a un sistema offline. Concretament, aquest treball descriu el camí seguit des del sistema offline híbrid inicial fins l'eficient sistema final de reconeixement en streaming. El primer pas és l'adaptació del sistema per a efectuar una sola iteració de reconeixement fent servir els models de llenguatge de l'estat de l'art basat en xarxes neuronals. En els sistemes basats en múltiples iteracions aquests models son relegades a una segona (o posterior) iteració pel seu gran cost computacional. Un cop el model de llenguatge s'ha adaptat, el model acústic basat en xarxes neuronals també s'ha d'adaptar per a treballar amb un context limitat. La integració i l'adaptació d'aquests models és àmpliament descrita en aquesta tesi, avaluant el sistema RAH resultant, completament adaptat per streaming, en conjunts de dades acadèmiques àmpliament utilitzades i desafiants tasques basades en continguts audiovisuals reals. Com a resultat, el sistema proporciona baixes taxes d'error amb un reduït temps de resposta, comparables al sistema offline., [EN] Over the last decade, the media have experienced a revolution, turning away from the conventional TV in favor of on-demand platforms. In addition, this media revolution not only changed the way entertainment is conceived but also how learning is conducted. Indeed, on-demand educational platforms have also proliferated and are now providing educational resources on diverse topics. These new ways to distribute content have come along with requirements to improve accessibility, particularly related to hearing difficulties and language barriers. Here is the opportunity for automatic speech recognition (ASR) to comply with these requirements by providing high-quality automatic captioning. Automatic captioning provides a sound basis for diminishing the accessibility gap, especially for live or streaming content. To this end, streaming ASR must work under strict real-time conditions, providing captions as fast as possible, and working with limited context. However, this limited context usually leads to a quality degradation as compared to the pre-recorded or offline content. This thesis is aimed at developing low-latency streaming ASR with a quality similar to offline ASR. More precisely, it describes the path followed from an initial hybrid offline system to an efficient streaming-adapted system. The first step is to perform a single recognition pass using a state-of-the-art neural network-based language model. In conventional multi-pass systems, this model is often deferred to the second or later pass due to its computational complexity. As with the language model, the neural-based acoustic model is also properly adapted to work with limited context. The adaptation and integration of these models is thoroughly described and assessed using fully-fledged streaming systems on well-known academic and challenging real-world benchmarks. In brief, it is shown that the proposed adaptation of the language and acoustic models allows the streaming-adapted system to reach the accuracy of the initial offline system with low latency.

En este Trabajo Final de Máster se pretende desplegar y aprovisionar de forma desatendida y distribuida un conjunto de nodos que lleven a cabo el entrenamiento de un modelo de deep learning (DL). Para este fin, se utilizará el framework de DL Tensorflow, junto con la herramienta Infrastructure Manager que permite el despliegue de infraestructuras complejas de forma programática. Se requiere que la infraestructura contemple: la gestión de los datos de entrenamiento, el entrenamiento del modelo con estos datos y la persistencia del modelo entrenado resultante. Se utilizarán plataformas de Cloud público como Amazon Web Services y, en la medida de lo posible, dispositivos de cómputo específico como GPGPUs., In this Master¿s thesis we focus on deploying and provisioning in an unattended and distributed way a set of nodes that conduct the training of a deep learning model. To this end, the deep learning framework TensorFlow will be used, as well as the Infrastructure Manager that allows us to deploy complex infrastructures programmatically. The nal infrastructure should consider: data handling, model training using this data, and the persistence of the trained model. For this purpose, it will be used public Cloud platforms such as Amazon Web Services (AWS) and General-Purpose Computing on Graphics Processing Units (GPGPU).

[EN] Nowadays, the research on computer vision and machine learning is in its best moment. The computational capacity and communications currently available in any device, have risen new challenges. Among them, the task of human or object recognition on images and video are impulsed by the best universities and technological companies. Concretely, human activity recognition in videos has a direct application in many environments: security systems, interaction analysis, illness identification, etc. For this reason, this project proposes a prospective study about the task of THUMOS competition on computer vision. In this task, it is required to classify videos by activity, among a set of 101 activities, belonging to 5 different kinds: Human-Human interaction, Human-Object interaction, sports, body-motion, and playing musical instruments. This thesis proposes, applied to this task for the first time, a model based on artificial neural networks that uses improved Dense Trajectories as a feature extraction technique. This thesis will analize the current state-of-the-art, and it will perform experiments in order to obtain the best model for this task, and afterwards, these experiments will be compared with the results provided by the approaches on the top ten of the THUMOS classification, [ES] Actualmente, la investigación en el campo de la visión por computador y el aprendizaje automático se encuentra en su mejor momento. La capacidad de cómputo y de comunicación disponible hoy en dia en cualquier dispositivo ha despertado nuevos desafios. Entre ellos, las tareas de reconocimiento de personas o elementos dentro de imágenes o vídeos, se encuentran impulsadas por las mejores universidades y empresas tecnológicas. Concretamente, el reconocimiento de la actividad llevada a cabo por personas dentro de los vídeos, comprende una tarea que tiene aplicabilidad directa en numerosos entornos: sistemas de seguridad, análisis de la interacción, identificación de enfermedades, etc. Por ello, en este proyecto se propone un estudio prospectivo sobre la tarea planteada en la competición de visión por computador THUMOS. En esta tarea, se requiere la clasificación de vídeos por actividad, de entre un conjunto de 101 actividades, pertenecientes a 5 diferentes grupos: interacción humano-humano, interacción humanoobjeto, deportes, movimientos corporales y personas tocando diversos instrumentos. En este trabajo se plantea un modelo basado en redes neuronales artificiales, que se aplica por primera vez a esta tarea, utilizando la técnica del estado del arte improved Dense Trajectories para la extracción de características. Se analizará, además, el estado de la cuestión hasta el momento, y se llevará a cabo la experimentación con el objetivo de obtener el mejor modelo, para posteriormente comparar los resultados con los obtenidos en las aproximaciones que conforman el top-ten de la clasificación.

Nowadays, social networks have an enormous impact in the society generating a lot of useful information to be employed in new social applications. In this paper, we show how we have used a graph-based model to extract and model data in order to develop a Social Recommendation System which recommends recipes in a social network., This work was partially supported by the project MINE-CO/FEDER TIN2012-365686-C03-01 of the Spanish government and by the Spanish Ministry of Education, Culture and Sports under the Program for R&D Valorisation and Joint Resources VLC/CAMPUS, as part of the Campus of International Excellence Program (Ref. SP20140788).

Magentix2 is an agent platform for open Multiagent Systems. Its main objective is to bring agent technology to real domains: business, industry, logistics, e-commerce, health-care, etc. Magentix2 platform is proposed as a continuation of the first Magentix platform. The final goal is to extend the functionalities of Magentix, providing new services and tools to allow the secure and optimized management of open Multiagent Systems. Nowadays, Magentix2 provides support at three levels: - Organization level, technologies and techniques related to agent societies. - Interaction level, technologies and techniques related to communications between agents. - Agent level, technologies and techniques related to individual agents (such as reasoningand learning). Thus, Magentix2 platform uses technologies with the necessary capacity to cope with the dynamism of the system topology and with flexible interactions, which are both natural consequences of the distributed and autonomous nature of its components. In this sense, the platform has been extended in order to support flexible interaction protocols and conversations, indirect communication and interactions among agent organizations. Moreover, other important aspects cover by the Magentix2 project are the security issues.

[ES] La actual industria del entretenimiento exige la generación de contenidos de diversa índole, tanto para ofrecer al jugador nuevas experiencias, como para sorprender al espectador con nuevos planteamientos. Dentro de estos contenidos, la generación de escenarios donde se desarrolla la acción es uno de los mayores retos a los que se enfrentan los sistemas gráficos interactivos. En concreto, los escenarios urbanos, plantean una amplia problemática y una gran complejidad. Plasmar qué distribución de carreteras establecer, o qué estructura y tamaño tendrán los edificios de una forma automática, es un problema de estudio desde hace décadas. Por ello, en este trabajo, se plantea un marco teórico y práctico donde se ha desarrollado una librería de generación de entornos urbanos sintéticos, así como su interacción en 3D bajo la tecnología del navegador, todo ello mediante WebGL y three.js., [EN] The current state of the industry of entertainment, requires generating contents of diverse kind, in order to offer new experiences to the player and surprise the spectator with new approaches. Regarding the contents, one of the major challenges for the interactive graphics systems is the generation of scenarios where action occurs. These scenarios, specifically the urban ones, contemplate wide difficulties and a huge complexity. Thus, since decades, one important case of study is shaping and set up the road distribution or reflect the size or which shape will have the buildings in an automatic way. For that reason, a theoretical and practical framework to deal with this problem is proposed in this project. Thus, a library of generation of urban synthetic environment has been developed, allowing the interaction in 3D under the technology of the browser, all by means of WebGL and three.js.

[EN] The exponential growth of social networks makes fingerprint let by users on the Internet a great source of information, with data about their preferences, needs, goals, profile and social environment. These data are distributed across di↵erent sources of information (social networks, blogs, databases, etc.) that may contain inconsistencies and their accuracy is uncertain. Paradoxically, this unprecedented availability of heterogeneous data has meant that users have more information available than they actually are able to process and understand to extract useful knowledge from it. Therefore, new tools that help users in their decision-making processes within the network (e.g. which friends to contact with or which products to consume) are needed. In this paper, we show how we have used a graph-based model to extract and model data and transform it in valuable knowledge to develop a persuasive social recommendation system1., This work was partially supported by the project MINE-CO/FEDER TIN2012-365686-C03-01 of the Spanish government and by the Spanish Ministry of Education, Culture and Sports under the Program for R&D Valorisation and Joint Resources VLC/CAMPUS, as part of the Campus of International Excellence Program (Ref. SP20140788).