Towards Generative Modeling of Mitotic Cells Using Latent Diffusion Models

The integration of artificial intelligence (AI) into biomedical research has given rise to new models and research topics in biomedicine. Whole-cell modeling aims to create a holistic understanding of the cell by integrating diverse data. One method of comprehension is the characterization and imitation of a system. Phenomenological cell models imitate cell structure and behavior based on, for example, images. Thus generative AI image models present one approach to developing such phenomenological models of cell systems. Diffusion models are a popular generative model class for image generation. Briefly, diffusion models consist of a forward and reverse diffusion process, where the forward process iteratively adds noise to an image and the reverse process learns to remove it. Image generation is achieved by sampling from noise and applying the learned reverse process. The generation may be conditioned to achieve a specific output. The diffusion process is computationally expensive to evaluate in pixel space. The latent diffusion model presents a solution by moving the diffusion process to the latent space of an autoencoder. A latent diffusion model has been trained to develop a phenomenological model of cells in mitosis. The aim is to identify spatial and temporal patterns in the dataset, consisting of fluorescence microscopy images of cells in mitosis, and condition the output of the latent diffusion model on labels associated with the data. The latent diffusion can generate images unconditionally and conditionally. The unconditionally generated images appear visually similar, but quantitative metrics suggest the potential for improvement. Qualitative analysis of the conditionally generated images indicates opportunities for enhancement. The analysis from the proposed method for objective assessment of conditionally generated images, feature extraction of images followed by dimension reduction using uniform manifold approximation and projection, concurs with the vi
Integrering av artificiell intelligens (AI) i biomedicinsk forskning har gett upphov till nya modeller och forskningsfrågor inom biomedicin. Helcellsmodellering syftar till att skapa ett kvantitativt perspektiv på cellbiologi och skapa holistisk kunskap om cellen. Ett system kan förstås genom karaktärisering och imitation. Generativ AI är ett tillvägagångssätt för att utveckla modeller som kan imitera och karaktärisera celler baserat på bilder. Diffusionsmodeller är en populär klass av generativa modeller för bildgenerering. Diffusionsmodeller består av en framåt- och bakåtdiffusionsprocess, där den framåtriktade processen iterativt lägger till brus i en bild och den bakåtriktade processen lär sig att ta bort det. Nya bilder genereras genom att tillämpa den inlärda bakåtriktade processen på en bild av brus. Generationen kan göras villkorlig för att forma bilden efter givna villkor. Den beräkningsintensiva diffusionsprocessen kan effektiviseras genom att introducera en "autoencoder" som flyttar diffusionsprocessen från pixelrummets stora dimension till det latenta rummet, som har en mindre dimension. Det utgör basen för en latent diffusionsmodell. För att utveckla en fenomenologisk modell av celler i mitos har en latent diffusionsmodell tränats på fluorescensmikroskopibilder på celler som genomgår mitos. Målet är att identifiera spatiala och temporala mönster i bilderna och skapa en modell som kan villkora bildgenerationen baserat på givna spatiala och temporala villkor associerade med bilderna. Latenta diffusionsmodeller kan skapa bilder både villkorligen och helt fritt från den underliggande datadistributionen. Den fria generationen av bilder resulterar i visuellt lika bilder men kvantitativa mått indikerar att modellen kan förbättras. Villkorligt genererade bilder håller inte samma visuella kvalité. Behovet av tekniker för att utvärdera villkorligt genererade bilder har identifierats och en metod har föreslagits. Metoden involverar att extrahera attribut från bild