Ideen für ein besseres Wissenschaftssystem: Registered Reports

Im Rahmen des Fellow-Programms Freies Wissen führe ich eine experimentelle Studie durch, die ich gerne als Registered Report publizieren möchte. Das heißt, dass ich zuerst die Einleitung, sowie einen Methoden- und Analyseplan schreibe und dieses „halbfertige“ Manuskript bei einer akademischen Zeitschrift einreiche, bevor ich mit der Datenerhebung anfange. Wenn die Gutachter den Studienplan absegnen, erteilt die Zeitschrift „conditional acceptance“: Die Studie wird publiziert, unabhängig davon, ob die Daten meine Hypothese bestätigen oder nicht. Als ich meinen Registered Report einreichen wollte, ist mir aufgefallen, dass immer noch relativ wenig Zeitschriften das Format von Registered Reports anbieten. Deshalb habe ich angefangen, Editoren anzuschreiben, um sie zu ermutigen, dass sie bei ihren Zeitschriften dieses Format einführen. Ich bin momentan auf der Suche nach Gleichgesinnten, die mit ihrer Unterschrift in den Briefen an die Editoren die Initiative von Registered Reports unterstützen möchten. In diesem Blogpost beschreibe ich die Vorteile von Registered Reports. Mehr Informationen zu der Initiative (und wie ihr sie unterstützen könnt) findet ihr unter diesem Link.

Die Autorin im Rahmen der Auftaktveranstaltung des Fellow-Programms Freies Wissen 2018/2019, Bild: Ralf Rebmann, Auftaktveranstaltung Fellow-Programm 2018 – 174, CC BY-SA 4.0

Im Jahr 2015 wurde ein Artikel in der angesehen Zeitschrift Science publiziert, der großes Aufsehen erregte: Ein großes Team von Wissenschaftlerinnen und Wissenschaftlern versuchte, die Resultate von fast 100 psychologischen Studien zu replizieren: Man wiederholte Experimente, deren Ergebnisse bereits publiziert worden waren, und verglich die Ergebnisse der Original- mit den Replikationsstudien. Die Schätzungen der Replikationsrate liegen bei 1/3. Das heißt, dass circa 2/3 von publizierten psychologischen Studien eventuell Effekte beschreiben, die überhaupt nicht existieren.

In der Psychologie geht es selten um Leben und Tod, aber trotzdem erschüttert ein solches Resultat die Glaubwürdigkeit der psychologischen Forschung. Bei Studien, die Auswirkungen auf Politik und Alltag haben, kommt die Frage auf, ob man sich bei wichtigen Entscheidungen auf psychologische Studien verlassen kann. Auch unter Forscherinnen und Forschern führt dieses Resultat zu Unsicherheit: Da Forschung auf vorausgegangener Arbeit basieren sollte, ist es problematisch zu entscheiden, welchen Studien man trauen kann. Es kommt oft vor, dass Forschende auf einem bereits publizierten Ergebnis aufbauen wollen und nach jahrelanger und frustrierender Arbeit feststellen, dass die ursprüngliche Studie nicht replizierbar ist.

Die Frage ist: Wie kommt so eine Situation zustande? Und, daraus folgend: Wie können wir dieses Problem in der Zukunft vermindern? Das Hauptproblem liegt im Publikationssystem. Forschende werden dafür belohnt, dass sie möglichst viele Artikel publizieren; von der Publikationsrate hängen unter anderem Stellenangebote und Forschungsgelder ab. Dies führt dazu, dass man seine Ergebnisse nicht überprüft und repliziert, sondern schnellstmöglich publiziert und anschließend mit einer neuen Studie beginnt. Akademische Zeitschriften werden dafür belohnt, dass sie aufmerksamkeitsheischende und unerwartete Resultate publizieren, da diese von den Medien aufgegriffen und viel zitiert werden. Genau solche stellen sich aber oft als nicht replizierbar heraus.

Das System benachteiligt Studien, die kein positives Ergebnis finden, und Studien, welche die Resultate von bereits publizierten Experimenten verifizieren oder replizieren. Besonders diese zwei Aspekte in Kombination, also Replikationsstudien mit negativen Resultaten, werden oft nicht publiziert. Daraus entsteht in der wissenschaftlichen Literatur ein verzerrtes Bild der Wirklichkeit: Ein Experiment, das durch Zufall einen signifikanten Effekt findet, kann schwer widerlegt werden, weil dies nur durch die Publikation von nicht-signifikanten Replikationsstudien erfolgen kann.

Als analoges Beispiel kann ich „beweisen“, dass ich hellsehen kann, indem ich fünf mal hintereinander das Ergebnis eines Münzwurfs korrekt vorhersage (dabei kann ich natürlich verschweigen, dass ich die Münze eigentlich 100 mal geworfen habe, und unter den 100 Würfen nur einmal 5 Würfe hintereinander richtig geraten habe). Ein Skeptiker würde mit Recht erwarten, dass ich das Prozedere vor Augenzeugen wiederhole, bevor er mir glaubt, dass ich tatsächlich hellsehen kann. In wissenschaftlicher Sprache formuliere ich die Hypothese, dass ich hellsehen kann und mache daraus eine falsifizierbare Voraussage: Wenn jemand im Raum fünf mal hintereinander eine Münze wirft, werde ich jedes mal vorher richtig raten, ob sie auf Kopf oder Zahl fällt. Wenn ich zuerst meine Voraussage mache und dann tatsächlich zeige, dass ich aus fünf Münzenwürfen alle richtig raten kann (und man auch sicher wäre, dass mit der Münze alles stimmt), wäre dies ziemlich beeindruckend.

Die Autorin im Rahmen der Auftaktveranstaltung des Fellow-Programms Freies Wissen 2018/2019, Bild: Ralf Rebmann, Auftaktveranstaltung Fellow-Programm 2018 – 217, CC BY-SA 4.0

Eine ähnliche Lösung wurde auch für die Publikation von wissenschaftlichen Artikeln vorgeschlagen: Registered Reports. Bei einem Registered Report schreibt man die Einleitung und den Methodenteil der Studie, sowie einen Analyseplan, und reicht das Manuskript vor der Datenerhebung ein. Wenn die Gutachterinnen und Gutachter die Methoden für standfest erklären, kriegt man als Autorin oder Autor die Garantie, dass der Artikel publiziert wird, unabhängig davon, ob die Resultate statistisch signifikant sind oder nicht. Der Zeitschrift wird dabei das Recht vorbehalten im Voraus zu entscheiden, ob das Thema zu den eigenen Schwerpunkten passt.

Durch Registered Reports vermindert sich der Bias für Studien mit signifikanten Effekten. Da man im Methoden- und Analyseplan genau beschreiben sollte, was bei der Studie erhoben und analysiert wird, bleibt auch wenig Spielraum für Forschende, Verschiedenes auszuprobieren, bis ein signifikantes Ergebnis daraus hervorgeht (z. B. indem man mehrere Variablen misst, und im Artikel nur diejenigen auflistet, die sich als signifikant herausgestellt haben).

In der medizinischen Forschung ist Präregistrierung von klinischen Trials bereits die Norm: Hier sind die Konsequenzen einer Studie, die zwar falsch ist aber nicht widerlegt werden kann, schwerer als in vielen anderen Forschungsgebieten. Registered Reports sollen dabei nicht limitierend sein: Bei manchen Fragestellungen bietet es sich an, einen großen Datensatz zu erheben und explorativ zu analysieren. Für eine solche Studie sind Registered Reports ungeeignet. Explorative Studien können zur Erstellung von neuen Hypothesen dienen. Um diese Hypothesen zu bestätigen, wäre aber eine präregistrierte Replikationsstudie sehr empfehlenswert, um die Möglichkeit zu vermindern, dass es sich bei dem explorativen Resultat um einen Zufallstreffer handelt.

Zur Zeit bieten über 140 akademische Zeitschriften Registered Reports als Publikationsformat an. Dies ist aber weitaus nicht die Norm. Auch Autorinnen publizieren ihre Artikel nur ausnahmsweise als Registered Reports. Um eine Normänderung zu erreichen, müssten Zeitschriften routinemäßig Registered Reports anbieten. Das würde die Sichtbarkeit dieses Formats erhöhen. Außerdem hätten Autorinnen und Autoren mehr Möglichkeiten, zu verschiedenen Themen Registered Reports zu publizieren. Theoretisch müsste eine Erhöhung der Anzahl von Registered Reports zu höherer Replizierbarkeit führen: erstens durch die Verminderung des Publikationsbias und zweitens durch größere Transparenz in den Methoden und Analysen. Wenn Registered Reports als zusätzliche Möglichkeit und Seite an Seite mit den traditionellen Formaten angeboten werden, sollten keine Nachteile entstehen. Das heißt, die Forschung kann dadurch viel gewinnen, und wenig verlieren.

Dr. Xenia Schmalz ist Postdoc an der Ludwig-Maximilians-Universität München. Ihre Forschung befasst sich mit den kognitiven Prozessen, die für das Lesen und das Lesen lernen wichtig sind. Im Rahmen des Freies Wissen Fellow-Programmes möchte sie ein Computermodell implementieren, das die kognitiven Prozesse beim Lernen der Buchstaben-Laut-Beziehungen simuliert. Ein frei verfügbares Model des Lernprozesses kann von Forschern genutzt werden, um Hypothesen über die Leselernprozesse bei Kindern aufzustellen.

Mehr Informationen über das Fellow-Programm Freies Wissen unter www.fellowsfreieswissen.de oder bei Twitter unter dem Hashtag #fellowsfreieswissen