Search

Large-scale surveys are increasingly moving from (face-to-face or telephone-based) interviewer-administered to self-administered online modes. To ensure high measurement quality and maximum comparability and equivalence between the source questionnaire and its adaptation - across modes as well as across survey waves - various aspects of question design must be considered and several decisions need to be made concerning question presentation and wording. This survey guideline summarizes good practices on how to transition questionnaires from interviewer- to self-administered web surveys and gives recommendations and examples for major adaptation issues as well as general questionnaire design elements relevant to web surveys. In this context, we focus on the switch from an interviewer-based to an online mode (although mixed-mode designs are also conceivable). Groß angelegte Studien werden zunehmend von interviewerbasierten (persönlichen oder telefonischen) Befragungen auf selbstverwaltete Onlineerhebungen umgestellt. Um eine hohe Datenqualität und ein Höchstmaß an Vergleichbarkeit und Äquivalenz zwischen dem Ausgangsfragebogen und seiner Adaptation - sowohl über verschiedenen Modi als auch Erhebungswellen hinwe - zu gewährleisten, müssen verschiedene Aspekte des Fragebogendesigns berücksichtigt und eine Reihe von Entscheidungen in Bezug auf die Präsentation und Formulierung von Fragen getroffen werden. Dieser Erhebungsleitfaden fasst bewährte Methoden zur Umwandlung der Fragebögen von interviewgestützten zu selbstgestützten Onlineerhebungen zusammen und gibt Empfehlungen und Beispiele für wichtige Anpassungsfragen sowie zu allgemeinen Gestaltungselementen von Fragebögen, die für Onlineumfragen relevant sind. In diesem Zusammenhang konzentrieren wir uns auf den Wechsel von einem interviewergestützten zu einem Onlinemodus (obwohl auch gemischte Modi denkbar sind).

Die Studie „FReDA – Das familiendemografische Panel“ wird gemeinsam vom Bundesinstitut für Bevölkerungsforschung (BiB), GESIS Leibniz-Institut für Sozialwissenschaften und dem pairfam-Konsortium aufgebaut. Es handelt sich um eine Infrastruktur in Deutschland, die das Gender & Generations Programme (GGP) und pairfam unter einem Dach verbindet. Im Kern von FReDA stehen jährliche Wiederholungsbefragungen von 18- bis 49-jährigen Frauen und Männern sowie deren Partnerinnen und Partnern. Hierdurch soll es Datennutzern ermöglicht werden verschiedene familiendemographische, familiensoziologische und familienpsychologische Fragestellungen zu beantworten. Fachartikel zur Studie: Schneider, N. F.; Bujard, M.; Wolf, C.; Gummer, T.; Hank, K. & Neyer, F. J. (2021). Family Research and Demographic Analysis (FReDA): Evolution, Framework, Objectives, and Design of “The German Family Demography Panel Study”. Comparative Population Studies, 46. https://doi.org/10.12765/CPoS-2021-06, GESIS Projektbericht, Self-administered questionnaire: Web-based, Kognitiver Online-Pretest, Die Testpersonen wurden aus einem Online-Access-Panel rekrutiert. Die Testpersonen waren zwischen 18 und 49 Jahren alt und wurden auf Basis der folgenden Kreuzquoten rekrutiert: Geschlecht (m/w) x Alter (18 – 34 Jahre/35 – 49 Jahre) x Bildung (mit/ohne Hochschulzugangsberechtigung). Zudem sollten mindestens 160 Testpersonen mit einem oder mehreren Kindern im Haushalt leben. Jeweils 120 Testpersonen sollten sich in einer festen Partnerschaft befinden bzw. ohne Partner*in sein.

Supplemental material, sj-docx-1-smr-10.1177_00491241231176846 for The Effects of Open-Ended Probes on Closed Survey Questions in Web Surveys by Patricia Hadler in Sociological Methods & Research

Survey Guidelines

Das vom BMBF geförderte Projekt "LoneCovid" untersucht die langfristige Entwicklung sozialer Beziehungen im Verlauf der Covid-19-Pandemie sowie deren Einfluss auf die psychische Gesundheit, das Vertrauen in Politik und Wissenschaft und die Befolgung politischer Maßnahmen. Hierfür werden längsschnittliche Daten des GESIS Panels mit neu erhobenen egozentrierten Netzwerkdaten in einem Mixed-Methods-Design kombiniert. Einige der zur Erhebung egozentrierter Netzwerkdaten verwendeten Fragen sollten einem kognitiven Pretest unterzogen werden, um die Verständlichkeit der Fragen zu überprüfen, Probleme zu identifizieren, die die Befragten bei der Beantwortung der Fragen haben und um die Ursachen für diese Probleme zu ermitteln. Darüber hinaus sollte der Pretest Hinweise darauf liefern, welche Probleme bei einer videobasierten Befragung auftauchen können und wie diesen in einer konkreten Interviewsituation begegnet werden kann.

Das Deutsche Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) wurde 2012 gegründet. Es gibt den staatlichen und nicht-staatlichen Organisationen der Entwicklungszusammenarbeit unabhängige und wissenschaftsbasierte Evidenz an die Hand, um ihre Strategien, Instrumente und Programme zu optimieren (https://www.deval.org/de/ueber-uns/das-institut/aufgaben-und-ziele ). Zur Vorbereitung der Studie „DEval - Meinungsmonitor Entwicklungspolitik“ wurden insgesamt neun Fragen zum entwicklungspolitischen Meinungsbild, Wissen und Engagement einem kognitiven Online-Pretest unterzogen. Ziel des Pretests war es, die Verständlichkeit der Fragen und zentraler Begriffe zu überprüfen, Probleme zu identifizieren, die die Befragten bei der Beantwortung der Fragen haben und die Ursachen für diese Probleme zu ermitteln., GESIS Projektbericht, Self-administered questionnaire: Web-based, Kognitiver Online-Pretest, Die Testpersonen wurden aus einem Online-Access-Panel rekrutiert. Die Testpersonen waren zwischen 18 und 75 Jahren alt und wurden auf Basis der folgenden Kreuzquoten rekrutiert: Geschlecht (m/w) x Alter (18 – 45 Jahre/46 – 75 Jahre) x Bildung (mit/ohne Hochschulzugangsberechtigung). Nach der Datenbereinigung ergab sich die folgende realisierte Stichprobe: 31 Frauen und 26 Männer, 18 – 45 Jahre, keine Hochschulzugangsberechtigung 32 Frauen und 28 Männer, 18 – 45 Jahre, Hochschulzugangsberechtigung 29 Frauen und 31 Männer, 46 – 75 Jahre, keine Hochschulzugangsberechtigung 32 Frauen und 31 Männer, 46 – 75 Jahre, Hochschulzugangsberechtigung

Das am Institut für Politikwissenschaft der Universität Duisburg-Essen angesiedelte Forschungsprojekt „Soziale Offenheit, soziale Kontrolle und Integration muslimischer Zuwanderer – Eine Panelstudie in Nachbarschaften ausgewählter deutscher Städte“ wird vom 01.04.2021 bis zum 31.03.2024 von der Deutschen Forschungsgemeinschaft (DFG) gefördert. Im Rahmen des Projekts soll untersucht werden, in welcher Weise unterschiedliche Konfigurationen sozialer Austauschprozesse in Nachbarschaften sozio-kulturelle Einstellungen von Zuwanderern aus muslimisch geprägten Herkunftsländern beeinflussen. Konkret wird der Frage nachgegangen, wie sich nachbarschaftliche soziale Kontrolle und soziale Offenheit auf egalitäre Einstellungen in Bezug auf Geschlechterrollen und Pluralismus auswirken. Die zum Projekt gehörende Panelbefragung wird unter dem Namen „Leben im Viertel“ (LiV) durchgeführt., GESIS Projektbericht, Self-administered questionnaire: Web-based, Kognitiver Online-Pretest, Die Testpersonen wurden aus einem Online-Access-Panel rekrutiert. Es wurden nur Testpersonen befragt, die in einer Großstadt, einem Vorort bzw. Randgebiet einer Großstadt oder einer Kleinstadt leben. 13 der 240 Testpersonen gaben an, nicht in Deutschland geboren zu sein. Kreuzquoten nach Geschlecht (m/w) x Alter (18 – 45 Jahre/46 – 75 Jahre) x Bildung (mit/ohne Hochschulzugangsberechtigung = 2 x 2 x 2 Gruppen). Nach der Datenbereinigung ergab sich die in Tabelle 1 dargestellte realisierte Stichprobe.

Das Zusammenhaltspanel des Forschungsinstituts Gesellschaftlicher Zusammenhalt (ZHP-FGZ) stellt eine Datenbasis für systematische Analysen zum Zusammenhang zwischen sozio-ökonomischen Lebenslagen, der individuellen Lebensführung, den gruppen- und gesellschaftsbezogenen Einstellungen und Werten der Bevölkerung und ihren politischen Orientierungen und Verhaltensweisen bereit. Damit sollen Fragen des gesellschaftlichen Zusammenhalts auf den Ebenen von Individuen, Gruppen und Netzwerken erfasst und durch strukturelle Lageparameter und kulturelle Dispositionen erklärt werden. Das ZHP-FGZ eröffnet damit auch die Möglichkeit, neue Erhebungskonzepte für die Analyse und das Monitoring gesellschaftlichen Zusammenhalts zu entwickeln und einzusetzen. Zur Vorbereitung der zweiten Welle des ZHP-FGZ sollten zehn Fragen zu den Themen Klimawandel, Antisemitismus und Geschlechtergleichstellung in einem kognitiven Online-Pretest auf ihre Verständlichkeit hin untersucht werden.

Im Rahmen des DFG-Projekts „The Role of Internalised Efficacy Beliefs for Participation in Educa-tion and Political Life – DFG Research Group RISS / FOR 5173“ sollen Jugendliche mittels Online-Fragebogen zum Thema Wirksamkeitsüberzeugungen in den Bereichen Bildung und Politik befragt werden. Zur Vorbereitung der Befragung sollen teilweise bestehende Skalen auf ihre Anwendbar-keit in einer jugendlichen Zielgruppe untersucht, sowie neue Skalen entwickelt werden., GESIS Projektbericht, Self-administered questionnaire: Web-based, Kognitiver Pretest, Jugendliche im Alter von 15 bis 17 Jahren; innerhalb der Zielgruppe Mindestquoten. Auswahl nach Schulform, Migrationshintergrund und Geschlecht. Schulform: Mindestens drei Testpersonen sollten eine Schulform besuchen, die kein Gymnasium darstellt (bspw. Realschule, Hauptschule, IGS, Berufsschule) Migrationshintergrund: Mindestens zwei Testpersonen sollten einen Migrationshintergrund (erste oder zweite Generation) haben. Dies wurde über das Geburtsland der Testperson bzw. ihrer Eltern operationalisiert. Bei der Auswahl der Testpersonen mit Migrationshintergrund wurde darauf geachtet, dass die Testpersonen Gruppen zugehören, die nachweislich im deutschen Bildungssystem Benachteiligung aufgrund ihrer ethnischen Herkunft erfahren. Darunter fallen alle Länder, die für den Erhalt öffentlicher Entwicklungshilfe infrage kommen, sowie zahlreiche osteuropäische Länder, Italien und die Türkei (Kristen 2003; BMZ 2022; OECD 2022; UN 2022). Geschlecht: Eine Gleichverteilung nach Geschlecht wurde angestrebt, war aber nachrangig gegenüber den anderen Kriterien. Realisierte Stichprobe: 2 Frauen und 1 Mann, mit Migrationshintergrund, andere Schulform 2 Männer, ohne Migrationshintergrund, Gymnasium 1 Mann, ohne Migrationshintergrund, andere Schulform

Supplemental Material, sj-pdf-1-fmx-10.1177_1525822X211072326 for Are You���? Asking Questions on Sex with a Third Category in Germany by Patricia Hadler, Cornelia E. Neuert, Verena Ortmanns and Angelika Stiegler in Field Methods

Supplemental Material, sj-pdf-2-ssc-10.1177_0894439321992779 for Question Order Effects in Cross-Cultural Web Probing: Pretesting Behavior and Attitude Questions by Patricia Hadler in Social Science Computer Review

Eurofound has developed three regularly repeated pan-European surveys (ECS, EQLS and EWCS) to contribute to the planning and establishment of better living and working conditions. The surveys offer a unique source of comparative information on the quality of living and working conditions across the EU. Detailed analysis of the survey data allows Eurofound to identify new and emerging trends, as well as to gain deeper insight in the issues central to European policy. The results provide a strong basis for policymakers to identify opportunities for improvement and to develop forward-looking perspectives. The surveys are a key element in Eurofound’s mission to provide high-quality information and advice for EU and national-level policymakers, social partners, researchers and European citizens alike. The EWCS is the longest running survey, and has become an established source of information about working conditions and the quality of work and employment. Having been implemented since 1990, it enables monitoring of long-term trends in working conditions in Europe. Themes covered include employment status, working time arrangements, work organisation, learning and training, physical and psychosocial risk factors, health and safety, worker participation, work–life balance, earnings and financial security, as well as work and health., GESIS Project report, Self-administered questionnaire: Web-based, Cognitive Pretest, The target group in the web probing study included the working population ages 18 to 65 in the UK, Germany, and Poland. Respondents were recruited via a non-probability online panel based on a quota scheme (quotas: working status, gender, age). The target group in the cognitive interviewing study included the working population ages 18 to 65 years in Germany and Poland. They were recruited based on quotas for working status (employed, self-employed, in atypical working situations), number of jobs or businesses (one, more than one), gender (male, female), age (18-44, 45-65), and education (with/without university entrance degree).

Supplemental Material, sj-pdf-3-ssc-10.1177_0894439321992779 for Question Order Effects in Cross-Cultural Web Probing: Pretesting Behavior and Attitude Questions by Patricia Hadler in Social Science Computer Review

Supplemental Material, sj-pdf-4-ssc-10.1177_0894439321992779 for Question Order Effects in Cross-Cultural Web Probing: Pretesting Behavior and Attitude Questions by Patricia Hadler in Social Science Computer Review

Im Rahmen des DFG-geförderten Forschungsprojektes "Ensuring Valid Comparisons of Self-Reports in Heterogenous Populations and Marginalized Groups (ENSURE)" (Projektnummer 409654512) an der Professur für empirische Sozialforschung (Institut für Soziologie, Technische Universität Dresden) werden bereits etablierte Messinstrumente quantitativer Befragungen in der Gesundheitsforschung einem kognitiven Pretest unterzogen, um sicherzustellen, dass sie auch in anderen Sprach- und Kulturkreisen eingesetzt werden können (sprach- und kulturübergreifende Messinvarianz). Die Zielgruppe stellen in Deutschland lebenden Personen mit Fluchterfahrung (Fluchtmigration) aus Syrien, dem Irak und Afghanistan dar. Getestet wurden die Fragen mithilfe von kognitiven Remote-Interviews unter Einsatz von per Video zugeschalteten Konsekutivdolmetschern in den Sprachen arabisch und dari.

Supplemental Material, sj-pdf-1-ssc-10.1177_0894439321992779 for Question Order Effects in Cross-Cultural Web Probing: Pretesting Behavior and Attitude Questions by Patricia Hadler in Social Science Computer Review

The outbreak of COVID-19 has created new challenges for face-to-face research activities, including conducting in-person cognitive interviews. The first lockdown in Germany in mid-March 2020 coincided with the preparation phase of a pretest that we planned to conduct face-to-face in our pretest lab in Mannheim. Since we were no longer able to interview participants in person, we quickly had to come up with alternative ways of conducting pretests without simply switching to the online mode and testing the questionnaires via web probing. This blog post tells the story of how we switched to remote cognitive interviewing and reflects the experience we have gathered with this method over the last 12 months., Der Ausbruch von COVID-19 hat Face-to-Face-Forschungsaktivitäten vor neue Herausforderungen gestellt, einschließlich der Durchführung von persönlichen kognitiven Interviews. Der erste Lockdown in Deutschland Mitte März 2020 fiel direkt in die Vorbereitungsphase eines Pretests, im Zuge dessen wir persönlich-mündliche Interviews in unserem Pretest-Labor in Mannheim durchführen wollten. Da es uns nicht mehr möglich war, Testpersonen persönlich zu befragen, mussten wir kurzfristig auf alternative Wege der Durchführung von Pretests umsteigen, ohne jedoch einfach nur in den Online-Modus zu wechseln und die Fragebögen mittels Web Probing zu testen. Dieser Blog-Beitrag erzählt, wie wir auf Kognitive Remote Interviews umgestiegen sind, und reflektiert unsere Erfahrungen, die wir in den letzten zwölf Monaten mit dieser Methode gesammelt haben., GESIS Blog

Im Rahmen des Projekts „Komplexität und intrinsische Motivation im Klimaschutz“ an der Fakultät für Wirtschafts- und Sozialwissenschaften der Universität Hamburg soll ein Feldexperiment durchgeführt werden, in dem die Komplexität von Informationstexten zur Intervention im Klimaschutz variiert wird. Der Informationstext der zu testenden Frage aus der Baseline-Bedingung sollte vor der Implementierung in der Onlinebefragung einem kognitiven Pretest unterzogen werden, um zu prüfen, ob die genannten Informationen verständlich und die Befragten in der Lage sind, darauf basierend eine Entscheidung zu treffen. Der Informationstext soll anhand der Ergebnisse ggf. überarbeitet werden. Zu diesem Zweck wurde das GESIS-Pretestlabor beauftragt, einen kognitiven Pretest durchzuführen., GESIS Projektbericht, Self-administered questionnaire: Web-based, Kognitiver Pretest, Quotenauswahl, Erwachsene ab 18 Jahren in Deutschland. Der Pretest wurde mit sechs Testpersonen durchgeführt, wobei der Schwerpunkt auf älteren Menschen (über 60 Jahre) und Menschen mit mittlerer oder niedrigerer Bildung lag.