Search

What role does color play in how we imagine our own world and the world(s) of others? Using machine learning and methods from Explainable AI, we study and explain how color use shaped the geographic imaginaries of the Orient and Occident in two different media: photochromes and autochromes

This paper explores representations of holiness in a collection of 63.000 lantern slides. Using the multimodal model CLIP, it sheds light on the transition between the real and the imaginary, the holy and the profane. It demonstrates how CLIP can help scholars deal with complex visual concepts such as holiness.

In the last ten years, massive protests against the government and/or unfair elections took place in all three Eastern Slavic countries—Russia (2011/12), Ukraine (2014), and Belarus (2020). In 2022, protesters demonstrated against Russia's invasion of Ukraine. All these protests were mainly organized via social networks, were disseminated in independent media and countered by the official state-owned media. Thus, visual (self-)representations of the protest cultures must be recognized as an integral part of the protests proper. Our project unites close and distant viewing to assess how kaleidoscopic patterns of protest emerge from the constant recombination of specific visual symbols such as banners, flags, slogans, or people marching in the streets. Not only are we interested in a general description of visual and textual (self-)representations of protest in Eastern Europe but we also analyze the patterns of specific protest cultures to describe their symbolic repertoire. In order to achieve this, we build a corpus of visual and textual (self-)representations of protest. We then use deep learning to identify specific symbols in the corpus. These results are utilized to (1) visualize and analyze the differences between official and user-generated content, traditional and new media, and individual countries, and (2) to select specific images and video clips for a qualitative multimodal discourse analysis.

This paper applies multimodal machine learning (CLIP) to distant view the Illustrated London News. After extracting a sample of 874 illustrations, we use CLIP to identify maps and images of steamships. Without task- or data-specific training, CLIP can be used to quickly explore and analyze historical visual data at scale.

"Politische Protestbewegungen sind in Osteuropa auf dem Vormarsch. In Russland, der Ukraine und Weißrussland besetzten Demonstranten öffentliche Plätze und benutzten visuelle Symbole und Slogans, um andere Menschen zu motivieren, sich ihnen anzuschließen. Gleichzeitig verwendeten die Regierungen diese Selbstdarstellungen, um die Protestbewegungen zu delegitimieren. Die mediatisierten (Selbst-)Darstellungen – YouTube-Videos, Blogeinträge, TV-Nachrichten, Dokumentarfilme etc. – sind somit ein integraler Bestandteil der Proteste selbst. In einer Kombination aus Close und Distant Viewing untersuchen wir, wie kaleidoskopische Muster des Protests aus der ständigen Neukombination visueller Symbole wie Transparente, Fahnen, Slogans oder Menschenmassen entstehen. Zu diesem Zweck erstellen wir ein Korpus visueller und textueller (Selbst-)Darstellungen von Protestkulturen. Anschließend setzen wir Deep Learning ein, um bestimmte Symbole im Korpus zu identifizieren. Mithilfe dieser Ergebnisse visualisieren und analysieren wir die Unterschiede zwischen offiziellen und nutzer:innengenerierten Inhalten, traditionellen und neuen Medien sowie einzelnen Ländern und wählen bestimmte Bilder und Videoclips für eine qualitative multimodale Diskursanalyse aus." Ein Beitrag zur 9. Tagung des Verbands "Digital Humanities im deutschsprachigen Raum" - DHd 2023 Open Humanities Open Culture.

International audience; Leonardo (1968-present), published by MIT Press, is the leading international peer-reviewed publication on the relationship between art, science and technology, making it an ideal dataset to analyze the emergence of such complex collaborations over time. To identify and analyze both the visible and latent interaction patterns, the research employs different granularities of data (article texts, images, publication dates, authors, their places of affiliation and disciplines) as part of a multimodal approach. Using a convolutional neural network, we examined the features of the images to analyze the modes of representing (and actually doing) art, science or engineering. We paired these features with information extracted using text mining to examine the relationships between the visual and the textual over time.

A single abstract from the DHd-2019 Book of Abstracts., Sofern eine editorische Arbeit an dieser Publikation stattgefunden hat, dann bestand diese aus der Eliminierung von Bindestrichen in Überschriften, die aufgrund fehlerhafter Silbentrennung entstanden sind, der Vereinheitlichung von Namen der Autor*innen in das Schema "Nachname, Vorname" und/oder der Trennung von Überschrift und Unterüberschrift durch die Setzung eines Punktes, sofern notwendig., {"references":["https://doi.org/10.5281/zenodo.2600812","https://github.com/DHd-Verband/DHd-Abstracts-2019"]}

A single abstract from the DHd-2018 Book of Abstracts., Sofern eine editorische Arbeit an dieser Publikation stattgefunden hat, dann bestand diese aus der Eliminierung von Bindestrichen in Überschriften, die aufgrund fehlerhafter Silbentrennung entstanden sind, der Vereinheitlichung von Namen der Autor*innen in das Schema "Nachname, Vorname" und/oder der Trennung von Überschrift und Unterüberschrift durch die Setzung eines Punktes, sofern notwendig., {"references":["https://doi.org/10.5281/zenodo.3684897","https://github.com/DHd-Verband/DHd-Abstracts-2018"]}

A single abstract from the DHd-2018 Book of Abstracts., Sofern eine editorische Arbeit an dieser Publikation stattgefunden hat, dann bestand diese aus der Eliminierung von Bindestrichen in Überschriften, die aufgrund fehlerhafter Silbentrennung entstanden sind, der Vereinheitlichung von Namen der Autor*innen in das Schema "Nachname, Vorname" und/oder der Trennung von Überschrift und Unterüberschrift durch die Setzung eines Punktes, sofern notwendig., {"references":["https://doi.org/10.5281/zenodo.3684897","https://github.com/DHd-Verband/DHd-Abstracts-2018"]}