Ein Blick in die „Aktenschublade“: Messung und Erklärung von Publikationsverzerrungen in den Sozial-, Wirtschafts- und Verhaltenswissenschaften durch die Nutzung zweier probabilistischer deutscher Panels („PubBias“)
Was ist Publikationsverzerrung?
Unter Publikationsverzerrung versteht man die priorisierte und selektive Berichterstattung statistisch signifikanter wissenschaftlicher Ergebnisse. Sie beruht auf der Annahme, dass statistisch signifikante Forschungsergebnisse allgemein als „besser“, „wertvoller“ oder „veröffentlichungswürdig“ eingestuft werden als nichtsignifikante Ergebnisse. Diese Prämisse kann Forscher:innen dazu veranlassen, entweder a) nur ihre signifikanten Ergebnisse zu veröffentlichen, ohne andere Effekte unterhalb der statistischen Standardschwellen zu erwähnen, b) ihre Hypothesen (oder Forschungsfragen) nachträglich zu verändern oder c) ihre Ergebnisse überhaupt nicht zu veröffentlichen. Dies kann problematisch sein, da wiederholt Zeit und Ressourcen in die Durchführung bereits ausgeführter, aber nicht veröffentlichter Forschung fließen können. Darüber hinaus gehen die Erkenntnisse aus nichtsignifikanten Ergebnissen (durch Annahme der Nullhypothese) für die Wissenschaft und die Allgemeinheit verloren. In der Psychologie wurden die Auswirkungen dieses Selektionsdrucks in der „Replikationskrise“ des letzten Jahrzehnts deutlich.
Forschungsschwerpunkt
Das Forschungsprojekt „PubBias“ (DFG 512014619) zielt darauf ab, die Prävalenz und Determinanten von Publikationsverzerrungen in den Sozial-, Wirtschafts- und Verhaltenswissenschaften in Deutschland auf der Grundlage von zwei probabilistischen, akademischen, längsschnittlichen Befragungen zu erfassen und so den Entscheidungsprozess von Forscher:innen bei der Veröffentlichung ihrer wissenschaftlichen Ergebnisse näher zu beleuchten. Zu diesem Zweck vergleichen wir erfolgreiche Studienanträge (2012–2021) des GESIS Panels und der Innovationsstichprobe des Sozio-ökonomischen Panels (SOEP-IS) mit deren späteren Publikationen und führen eine Autorenbefragung durch, die sich mit dem Entscheidungsprozess bei der Veröffentlichung dieser Publikationen und hypothetischer Arbeiten befasst.
Grafik: Schematische Darstellung der verschiedenen Stationen auf dem Weg von einer Studieneinreichung (links) zur Publikation (rechts). Die im mittleren Kasten dargestellten Schritte (Datenanalyse, Schreiben, Reviewprozess) wollen wir im Rahmen unserer Autorenbefragung näher beleuchten.
Wer wir sind – Das Team hinter „PubBias“
Das Projekt „PubBias“ entstand aus der Kooperation des GESIS Panel und des SOEP-IS und wird seit 2023 von der Deutschen Forschungsgemeinschaft (DFG) gefördert.
Unser Team besteht aus sechs Wissenschaftler:innen verschiedener Disziplinen (u. a. Psychologie, Soziologie und Umfragemethodik), die in Berlin (SHARE BERLIN Institute), Mannheim (GESIS – Leibniz Institut für Sozialwissenschaften) und Ann Arbor (University of Michigan) ansässig sind.
Teammitglieder
(Director SHARE Infrastructure, SHARE BERLIN Institute; Prof. Survey Research, FU Berlin)
(Associate Scientist, Socio-Economic Panel, DIW and SHARE BERLIN Institute; LIFE IMPRS Fellow)
Dr. Jessica Daikeler
(Team Leader Assessing, Survey Data Quality, Survey Design and Methodology, GESIS – Leibniz Institute for the Social Sciences, Mannheim)
Dr. Désirée Nießen
(Postdoctoral Researcher, Survey Design and Methodology, GESIS – Leibniz Institute for the Social Sciences, Mannheim)
Dr. Bernd Weiß
(Team Leader GESIS Panel, Deputy Head of Survey Design and Methodology, GESIS – Leibniz Institute for the Social Sciences, Mannheim)
Asst. Prof. Dr. Henning Silber
(Research Assistant Professor, Institute for Social Research, University of Michigan, Ann Arbor, USA)