1. Coding quality in manual content analysis: An exploration of coder characteristics and category types for crowdworkers and student coders
- Author
-
Julia Niemann-Lenz, Anja Dittrich, and Jule Scheper
- Subjects
Communication. Mass media ,P87-96 - Abstract
Obwohl die Inhaltsanalyse eine der wichtigsten Methoden der empiri- schen Sozialforschung ist, findet der Codier-Prozess bislang nur wenig Beachtung. Dies ist besonders gravierend angesichts aktueller Entwicklungen, wie dem vermehrten Einsatz von Crowdworker*innen als Codierer*innen. Die vorliegende Studie zielt daher darauf ab, den Codierprozess genauer zu beleuchten. Konkret wird untersucht, wie a) die Codierqualität hinsichtlich Reliabilität und Validität zwischen studentischen Codierer*innen, die häufig zum Codieren genutzt werden, und neuerdings sehr beliebten Crowdworker*innen vari- iert, b) Merkmale der Codierer*innen, konkret Persönlichkeitsmerkmale und Soziodemo- grafika, die Codierqualität beeinflussen und c) manifeste und latente Kategorietypen, die für Codierer*innen unterschiedlich schwer zu codieren sind, die Qualität der Codierung beeinflussen. Zur Überprüfung der Forschungsfragen wurden von Studierenden und Crowdworker*innen Tweets zum Thema Abtreibung codiert. Ein deskriptiver Vergleich offenbart, dass die Validität in beiden Codierer*innengruppen für manifeste, also einfache, Kategorietypen ausreichend, für latente, also schwierige, Kategorietypen jedoch unzurei- chend ist. In Bezug auf die Reliabilität schneiden die studentischen Codierer*innen etwas besser ab als die Crowdworker*innen, insbesondere wenn strengere Kriterien wie Krippen- dorffs Alpha angelegt werden. Die Ergebnisse zeigen darüber hinaus, dass die Eigenschaf- ten der Codierer*innen nur einen geringen Einfluss auf die Codierqualität haben, während die Kategorietypen einen signifikanten Einfluss haben.
- Published
- 2023
- Full Text
- View/download PDF