Search

The transmission of COVID-19 through a population depends on many factors which model, incorporate, and integrate a large number of heterogeneous data sources. The work we describe in this paper focuses on the data management aspect of EpiGraph, a scalable agent-based virus-propagation simulator. We describe the data acquisition and pre-processing tasks that are necessary to map the data to the different models implemented in EpiGraph in a way that is efficient and comprehensible. We also report on post-processing, analysis, and visualization of the outputs, tasks that are fundamental to make the simulation results useful for the final users. Our simulator captures complex interactions between social processes, virus characteristics, travel patterns, climate, vaccination, and non-pharmaceutical interventions. We end by demonstrating the entire pipeline with one evaluation for Spain for the third COVID wave starting on December 27th of 2020. This work has been supported by the Spanish Instituto de Salud Carlos III under the project grant 2020/00183/001, the project grant BCV-2021-1-0011, of the Spanish Supercomputing Network (RES) and the European Union's Horizon 2020 JTI-EuroHPC research and innovation program under grant agreement No 956748.

The first version of MPI (Message Passing Interface) was released in 1994. At that time, scientific applications for HPC (High Performance Computing) were characterized by a static execution environment. These applications usually had regular computation and communication patterns, operated on dense data structures accessed with good data locality, and ran on homogeneous computing platforms. For these reasons, MPI has become the de facto standard for developing scientific parallel applications for HPC during the last decades. In recent years scientific applications have evolved in order to cope with several challenges posed by different fields of engineering, economics and medicine among others. These challenges include large amounts of data stored in irregular and sparse data structures with poor data locality to be processed in parallel (big data), algorithms with irregular computation and communication patterns, and heterogeneous computing platforms (grid, cloud and heterogeneous cluster). On the other hand, over the last years MPI has introduced relevant improvements and new features in order to meet the requirements of dynamic execution environments. Some of them include asynchronous non-blocking communications, collective I/O routines and the dynamic process management interface introduced in MPI 2.0. The dynamic process management interface allows the application to spawn new processes at runtime and enable communication with them. However, this feature has some technical limitations that make the implementation of malleable MPI applications still a challenge. This thesis proposes FLEX-MPI, a runtime system that extends the functionalities of the MPI standard library and features optimization techniques for adaptability of MPI applications to dynamic execution environments. These techniques can significantly improve the performance and scalability of scientific applications and the overall efficiency of the HPC system on which they run. Specifically, FLEX-MPI focuses on dynamic load balancing and performance-aware malleability for parallel applications. The main goal of the design and implementation of the adaptability techniques is to efficiently execute MPI applications on a wide range of HPC platforms ranging from small to large-scale systems. Dynamic load balancing allows FLEX-MPI to adapt the workload assignments at runtime to the performance of the computing elements that execute the parallel application. On the other hand, performance-aware malleability leverages the dynamic process management interface of MPI to change the number of processes of the application at runtime. This feature allows to improve the performance of applications that exhibit irregular computation patterns and execute in computing systems with dynamic availability of resources. One of the main features of these techniques is that they do not require user intervention nor prior knowledge of the underlying hardware. We have validated and evaluated the performance of the adaptability techniques with three parallel MPI benchmarks and different execution environments with homogeneous and heterogeneous cluster configurations. The results show that FLEXMPI significantly improves the performance of applications when running with the support of dynamic load balancing and malleability, along with a substantial enhancement of their scalability and an improvement of the overall system efficiency., La primera versión de MPI (Message Passing Interface) fue publicada en 1994, cuando la base común de las aplicaciones científicas para HPC (High Performance Computing) se caracterizaba por un entorno de ejecución estático. Dichas aplicaciones presentaban generalmente patrones regulares de cómputo y comunicaciones, accesos a estructuras de datos densas con alta localidad, y ejecución sobre plataformas de computación homogéneas. Esto ha hecho que MPI haya sido la alternativa más adecuada para la implementación de aplicaciones científicas para HPC durante más de 20 años. Sin embargo, en los últimos años las aplicaciones científicas han evolucionado para adaptarse a diferentes retos propuestos por diferentes campos de la ingeniería, la economía o la medicina entre otros. Estos nuevos retos destacan por características como grandes cantidades de datos almacenados en estructuras de datos irregulares con baja localidad para el análisis en paralelo (big data), algoritmos con patrones irregulares de cómputo y comunicaciones, e infraestructuras de computación heterogéneas (cluster heterogéneos, grid y cloud). Por otra parte, MPI ha evolucionado significativamente en cada una de sus sucesivas versiones, siendo algunas de las mejoras más destacables presentadas hasta la reciente versión 3.0 las operaciones de comunicación asíncronas no bloqueantes, rutinas de E/S colectiva, y la interfaz de procesos dinámicos presentada en MPI 2.0. Esta última proporciona un procedimiento para la creación de procesos en tiempo de ejecución de la aplicación. Sin embargo, la implementación de la interfaz de procesos dinámicos por parte de las diferentes distribuciones de MPI aún presenta numerosas limitaciones que condicionan el desarrollo de aplicaciones maleables en MPI. Esta tesis propone FLEX-MPI, un sistema que extiende las funcionalidades de la librería MPI y proporciona técnicas de optimización para la adaptación de aplicaciones MPI a entornos de ejecución dinámicos. Las técnicas integradas en FLEX-MPI permiten mejorar el rendimiento y escalabilidad de las aplicaciones científicas y la eficiencia de las plataformas sobre las que se ejecutan. Entre estas técnicas destacan el balanceo de carga dinámico y maleabilidad para aplicaciones MPI. El diseño e implementación de estas técnicas está dirigido a plataformas de cómputo HPC de pequeña a gran escala. El balanceo de carga dinámico permite a las aplicaciones adaptar de forma eficiente su carga de trabajo a las características y rendimiento de los elementos de procesamiento sobre los que se ejecutan. Por otro lado, la técnica de maleabilidad aprovecha la interfaz de procesos dinámicos de MPI para modificar el número de procesos de la aplicación en tiempo de ejecución, una funcionalidad que permite mejorar el rendimiento de aplicaciones con patrones irregulares o que se ejecutan sobre plataformas de cómputo con disponibilidad dinámica de recursos. Una de las principales características de estas técnicas es que no requieren intervención del usuario ni conocimiento previo de la arquitectura sobre la que se ejecuta la aplicación. Hemos llevado a cabo un proceso de validación y evaluación de rendimiento de las técnicas de adaptabilidad con tres diferentes aplicaciones basadas en MPI, bajo diferentes escenarios de computación homogéneos y heterogéneos. Los resultados demuestran que FLEX-MPI permite obtener un significativo incremento del rendimiento de las aplicaciones, unido a una mejora sustancial de la escalabilidad y un aumento de la eficiencia global del sistema., Programa Oficial de Doctorado en Ciencia y Tecnología Informática, Presidente: Francisco Fernández Rivera.- Secretario: Florín Daniel Isaila.- Vocal: María Santos Pérez Hernández

Ingeniería Técnica en Informática de Gestión

Este proyecto simula la evolución y contagio del virus de la gripe A (H1N1) en entornos urbanos. Para poder observar visualmente este proceso de contagio es necesario obtener una muestra reducida de la población y ver las relaciones existentes entre los miembros de la comunidad, éste es el fin del presente TFG: poder visualizar mediante un grafo la propagación del virus de la gripe A. El objetivo principal del proyecto es desarrollar una herramienta que permita el análisis de grafos de manera visual. Se deben poder observar los nodos y las relaciones existentes entre ellos de manera clara. Ingeniería Informática

La aplicación informática que aquí se presenta trata de aunar todos los cálculos estructurales que la normativa actual requiere para el diseño de un ascensor hidráulico. No obstante, siendo el cálculo estructural el núcleo de la aplicación, también se ha creído necesario dimensionar otros subsistemas necesarios en la instalación de un ascensor hidráulico, como son el motor-bomba o las conducciones que proporcionan el fluido de impulsión para el ascensor y que a pesar de no estar directamente relacionados con el cálculo de estructuras, son, obviamente, necesarios para realizar un cálculo completo de la instalación de un elevador hidráulico. Este proyecto tiene sin duda, una aplicación real directa, ya que se intentan usar los resultados obtenidos para la elaboración de proyectos de ascensores hidráulicos; dado el carácter eminentemente práctico de este proyecto se ha incluido también un cálculo de costes según los datos introducidos por el usuario, de manera que dicho cálculo pueda ser usado como referencia a la hora de presupuestar la citada instalación ante un posible cliente. En la realización de este proyecto se ha tenido en cuenta desde el principio el punto de vista del usuario diario que necesita encontrar una forma eficaz, eficiente y agradable de realizar un trabajo considerado rutinario; debía conseguirse un entorno agradable para el usuario, en el que éste tenga que intervenir lo menos posible, obteniendo los resultados de una forma rápida, clara y precisa. El objetivo principal es automatizar la tediosa labor que implica el cálculo iterativo de los elementos estructurales de forma que éstos cumplan los requisitos que la norma impone. Con la introducción de unos datos básicos, se obtienen resultados que determinan cómo ha de ser dimensionada la instalación para que ésta funcione correctamente y se adapte a la normativa existente. El otro objetivo que debe cumplir el proyecto es que a la hora de automatizar el proceso de cálculo obtengamos resultados coherentes y puedan ser usados en cualquier proyecto o instalación a la que éste proyecto va dirigida. Ingeniería Técnica en Mecánica

El objetivo principal del proyecto es modelar la propagación del virus de la gripe A (H1N1) en un entorno de población urbana, con el fin de comprender el modelo de propagación bajo distintos escenarios. Además del objetivo principal surgen una serie de objetivos específicos a tratar durante el desarrollo del proyecto: • Modelado del colectivo social y de la enfermedad: se debe modelar matemáticamente el colectivo social de una población, lo que incluye individuos, colectivos e interacciones entre los mismos. Por otro lado se debe modelar la enfermedad contagiosa, lo que incluye definición del virus y propagación del mismo sobre la población. • Desarrollo de una herramienta de simulación distribuida: se debe desarrollar una herramienta sobre la que se realicen simulaciones de la propagación del virus sobre el colectivo social de la población. La herramienta, además, ha de ser distribuida. Dicha herramienta ha de presentar las siguientes características: • Flexibilidad: ha de ser una herramienta flexible que se adapte a diferentes poblaciones y enfermedades contagiosas, es decir, ser capaz de modelar distintos entornos. • Escalabilidad: la aplicación debe ser ejecutada en paralelo de forma eficiente, permitiendo reducir su tiempo de ejecución conforme más recursos de cómputo son empleados. Del mismo modo, debe ser escalable, es decir, debe permitir simular de forma eficiente entornos de mayor complejidad y tamaño. • Realista: se pretende que la herramienta realice simulaciones de manera realista, hecho que se comprobará en función de los resultados obtenidos. • Evaluación de la simulación de la propagación del virus: por último se debe realizar la correspondiente evaluación de la simulación de la propagación del virus sobre la población considerada, Leganés. Ingeniería Técnica en Informática de Gestión

Con la realización de este proyecto hemos conseguido desarrollar una herramienta de análisis sobre históricos de la presencia de los diferentes agentes contaminantes y otros efectos atmosféricos en la ciudad de Madrid. Accesible desde un sencillo servicio web o mediante una pequeña aplicación para dispositivos móviles, podemos determinar la localización de las zonas más saludables para recorrer la ciudad. Además, se pueden destacar las siguientes aportaciones: Se ha conseguido la integración del sistema junto con uno de los servicios gratuitos de localización mediante mapas más potentes e intuitivos disponibles en la actualidad como es Google Maps. Esto permite visualizar los mapas del sistema en superposición a los mapas de callejeros o de satélite y beneficiarse de toda la funcionalidad de Google Maps. Se muestran mapas de contaminación en representación de las concentraciones de los agentes contaminantes u otros efectos atmosféricos en tiempo real o desde un histórico. Además, se pueden consultar los datos exactos y detallados recogidos por las estaciones de medición de la Red de Vigilancia de Calidad del Aire (RVCA) de la ciudad de Madrid y la Comunidad de Madrid. No obstante, no se sobrecarga al usuario gracias a la facilidad para mostrar y ocultar la información con sencillos controles de mapa. Se lleva a cabo una predicción de la concentración de los contaminantes para aquellos casos de los que no se disponga información utilizando mediciones del mismo horario de la semana anterior. Mediante ficheros con las coordenadas Gps de la ruta, el usuario puede comprobar la exposición sufrida a los contaminantes e informarse del nivel de peligrosidad para su salud de cada uno de los tramos del trayecto. El usuario de un dispositivo móvil con Windows Mobile 5.0 o superior podrá ver y navegar por los mapas del sistema en su dispositivo sin necesidad de conexión a internet. En el caso de que disponga de un dispositivo Gps podrá también conocer su localización en los mapas y guardar un fichero de ruta con las coordenadas del trayecto. Se realiza un análisis de la información de los niveles de exposición y de peligrosidad a los contaminantes obteniendo como producto diversos gráficos mediante Google Chart Tools [24] que representen la exposición y peligrosidad a lo largo del trayecto realizado, el factor de exposición del trayecto en los diferentes horarios del día en el que se llevó a cabo y el factor de exposición del trayecto en el mismo horario en los diferentes días de la semana. Permite la descarga los mapas de contaminación o de ruta generados por el sistema en formato portable, ligero y en diferentes resoluciones para su visualización posterior. Los datos del sistema sobre las estaciones y sus mediciones se actualizan en tiempo real y directamente desde los servicios web instalados por la Comunidad de Madrid. Además, dinámicamente se pueden definir pseudoestaciones, derivadas de procesos analíticos o heurísticos, que simulen una nueva estación situada en coordenadas determinadas del mapa y que reflejen la información prefijada u obtenida desde otra estación existente. Estas pseudoestaciones pueden incluirse de forma opcional en los procesos de elaboración de mapas de contaminación y de rutas, así como en los análisis hechos al respecto. Se permite la incorporación de nuevas fuentes de información de mediciones y estaciones de forma dinámica y la inclusión de nuevos contaminantes, efectos atmosféricos o cualquier otro tipo de factor para su análisis inmediato a través de los servicios del sistema. Se hace acopio de la robustez, fiabilidad y potencial de diversos sistemas externos que se utilizan para ofrecer la funcionalidad: Google Maps, como ya se ha mencionado, para la visualización de los mapas, Google Chart Tools para la elaboración de gráficos, la librería CGAL para cálculos matemáticos complejos, GeomView para la representación gráfica de la información y GIMP para la adaptación de las imágenes de los mapas. Toda esta complejidad añadida para la comunicación entre tanta diversidad de sistemas es el precio a pagar de una herramienta con grades posibilidades de futuro. Ingeniería en Informática