Search

As Large Language Models (LLMs) rise in popularity, it is necessary to assess their capability in critically relevant domains. We present a comprehensive evaluation framework, grounded in science communication research, to assess LLM responses to questions about climate change. Our framework emphasizes both presentational and epistemological adequacy, offering a fine-grained analysis of LLM generations spanning 8 dimensions and 30 issues. Our evaluation task is a real-world example of a growing number of challenging problems where AI can complement and lift human performance. We introduce a novel protocol for scalable oversight that relies on AI Assistance and raters with relevant education. We evaluate several recent LLMs on a set of diverse climate questions. Our results point to a significant gap between surface and epistemological qualities of LLMs in the realm of climate communication.

Universities are key actors at the intersection of science and society and their strategic communication and its effective implementation is essential, as is the measurement and evaluation (M&E) of its impact. Despite the growing relevance of M&E in university communication, however, empirical studies on the subject are rare. Therefore, this study explores M&E practices of central communication departments at Swiss universities through semi-structured interviews and document analysis. Findings show that M&E are still in its infancy at most universities. The study identifies resources and skills of communication professionals, digital technologies as well as a culture of learning as the primary factors enabling or constraining M&E. Findings show that the organizational context, notably the (perceived) degree of competition, the availability of personnel resources, and the professionalism of the communication department, rather than the sector of higher education itself, influences M&E practices. In addition to resources, our findings point to an engaged leadership actively supporting a culture of learning and the further development of skills in communication departments as the most important factor for M&E practices.

Social media expose users to an abundance of information about various issues. But they also make it difficult for users to assess the quality of this information. If users do not recognize this, they may overestimate their knowledge about those issues. Knowledge overestimation may lead to increased social media engagement and can be linked to attitudes deeming expert knowledge inferior to common sense, such as science-related populist attitudes. We investigate this during the COVID-19 pandemic in two preregistered, cross-sectional survey experiments in Germany and Taiwan, two countries with different cultures, media environments, and responses to the pandemic. Our study offers two contributions: First, we develop a novel measure of COVID-19-related knowledge. Second, we provide comparative evidence on how social media affordances shape the interplay between knowledge overestimation, social media exposure and engagement, and populist attitudes. We do not find that frequent exposure to COVID-19 information is associated with a higher likelihood of knowledge overestimation. However, we show that overestimation is linked to more user engagement with social media content about COVID-19. Experimental data indicate that engagement depends on whether users are in a private or public communication environment. We find minor differences between Germany and Taiwan.

Public communication has become more important to higher education institutions (HEIs), with many HEIs using social media to communicate with stakeholders. However, scholarship on the subject is scarce and mainly based on single-platform studies and small datasets. Therefore, we conducted a cross-platform study to examine the communication of all Swiss HEIs on Facebook, Instagram, and Twitter. The results were based on two datasets: an automated analysis on data for all Swiss HEIs (n = 42) and their social media accounts from 2004 to 2021 (337,232 posts from 207 accounts), and a manual content analysis on 1,500 posts per platform. By including all HEIs in one country, this study allowed for a comparison of the results by HEI type: universities of applied sciences, universities of teacher education, and research universities. Results show that, in recent years, HEI communication increased on Instagram, but not on Facebook or Twitter. Twitter was used the most by research universities, while most Instagram and Facebook posts were from universities of applied sciences. Universities of teacher education were least active across all platforms. The content of communication across all HEI types was primarily self-referential. Our analysis of how well HEIs used the affordances of social media communication relative to hypertextuality and multimodality revealed a generally high level of adaption. Moreover, our data showed no substantial impact of the Covid-19 pandemic on posting activities and engagement with social media posts by HEIs for the two first years of the pandemic.

Spätestens mit der Lancierung von ChatGPT ist der Einsatz von Künstlicher Intelligenz (KI) im Journalismus zu einem prägenden Thema der Medienbranche geworden. Unsere Studie untersucht erstmalig die Wahrnehmung und Akzeptanz des Einsatzes von KI in der journalistischen Nachrichtenproduktion mit einer repräsentativen Bevölkerungsumfrage in der Deutschschweiz und der Suisse romande. Die Studie zeigt, dass die Akzeptanz für vollständig oder teilweise KI-generierte Textbeiträge im Journalismus in der Schweizer Bevölkerung gering ist. Während nur 29,1% der Befragten journalistische Inhalte lesen würden, die vollständig durch KI generiert wurden, sind es bei Nachrichten, die ohne KI erstellt wurden, 84,3%. Die Akzeptanz unterscheidet sich jedoch nach Themenbereichen: Bei Routine-Berichterstattung etwa zum Wetter oder Börsengeschehen ist sie am grössten (61,2%), gefolgt von der Softnews-Berichterstattung zu «Stars und Celebrities». Dort geben immerhin fast die Hälfte der Befragten (48,6%) an, KI-generierte journalistische Inhalte lesen zu wollen. In den Hardnews-Bereichen Kultur (27,7%), Wissenschaft (25,9%), nationale (16,4%) und internationale Politik (15,9%) ist die Akzeptanz für KI-generierte Inhalte dagegen gering. In jedem Fall besteht unter den Befragten weitgehend Konsens, dass KI-generierte und KI-unterstützte Inhalte im Journalismus deklariert und transparent gemacht werden müssen. Auch werden die Auswirkungen von KI auf die Qualität der journalistischen Inhalte derzeit eher negativ eingeschätzt. 61,3% stimmen der Aussage zu, dass sich die Berichterstattungsqualität durch den Einsatz von KI verschlechtern würde. Bemerkenswert ist hier der Befund, dass KI (noch) wenig Potenzial zur Eindämmung von Falschnachrichten zugeschrieben wird. Im Gegenteil sind 67,1% der Ansicht, dass der Einsatz von KI im Journalismus das Aufkommen von Falschnachrichten erhöhe. Auch ist die Zahlungsbereitschaft für KI-generierten Journalismus gering. Nur wenige Befragte sind grundsätzlich

Die Kommunikation von Hochschuleinrichtungen hat für den öffentlichen Diskurs über Wissenschaft an Bedeutung gewonnen und kann unterschiedlichen Zielen dienen. Viele Wissenschaftler:innen argumentieren, dass die Kommunikationsabteilungen von Hochschu­len infolge der New Public Management-Reformen des öffentlichen Sektors stärker auf die strategische Profilierung der eigenen Organisation ausgerichtet sind und sich weniger am übergeordneten Gemeinwohl orientieren. Andere gehen davon aus, dass Hochschulen beiden Zielorientierungen verpflichtet sind. Empirische Daten liegen dazu jedoch noch nicht vor. Um das Verhältnis zwischen organisationsbezogenen und gesellschaftsbezogenen Zielen zu untersuchen, hat die vorliegende Studie 203 Kommunikationsverantwortliche an Schweizer Hochschulen zu ihrem Rollenselbstverständnis und den Qualitäts- und Erfolgskriterien in ihrer Kommunikationsabteilung befragt. Die Befunde zeigen, dass keine grundsätzliche Do­minanz von organisationsbezogenen Zielen vorliegt und auch gesellschaftsbezogene Ziele in den individuellen Rollenselbstverständnissen von Kommunikator:innen und den Qualitäts- und Erfolgskriterien von Kommunikationsabteilungen verankert sind. Auch deutet unsere Studie darauf hin, wie wichtig die Stärkung des kritischen Wissenschaftsjournalismus sowie die Verankerung von normativen Leitlinien in der Hochschulkommunikation sind.