wissens.dialoge

Verzerrte Studien: Ich mach mir die Welt … wie sie mir am nützlichsten ist

Inspiriert von der Diskussion beim Lean In Dialog schreibe ich in meinen nächsten Dialogen eine Serie über verzerrte Studien. Das Thema ist einfach zu umfangreich für einen Dialog. Im ersten Dialog geht es darum, warum man sich durch ein entsprechendes Studiendesign recht leicht die Welt basteln kann, die für die eigene Agenda am nützlichsten ist (und, falls das nicht offensichtlich ist, warum das eine ganz schlechte Idee ist).


 

Wissenschaftliche Ergebnisse werden für die Allgemeinheit oft vereinfacht und „komprimiert“ dargestellt. Die Welt ist komplex und wissenschaftliche Befunde passen selten in eine Schlagzeile oder einen 140-Zeichen Tweet (und wenn’s schon verzerrt ist, dann wenigstens so, dass es interessant ist). Aber stellenweise geht die Verzerrung nicht von den Medien aus, sondern von den Personen, die die Studien durchgeführt haben.

Das scheint zunächst vielleicht schwer zu glauben. Gibt es nicht die „wissenschaftliche Methode“? Sollte Wissenschaft nicht objektiv sein?

Ja, das ist das Ideal. Aber die Realität, das konkrete wissenschaftliche Vorgehen, ist meist etwas komplizierter. Kurz gesagt, nein, die wissenschaftliche Methode gibt es nicht. Zwar gibt es bestimmte Studiendesigns, z.B. Experimente oder Befragungen, aber wie diese umgesetzt werden — da gibt es erhebliche Freiheitsgrade für den/die Wissenschaftler/in.

Wissenschaftler/innen treffen Entscheidungen, z.B. wen sie befragen, welche Fragen sie stellen, wie die Antwortmöglichkeiten aussehen, und wie die Ergebnisse interpretiert werden. Metaphorisch gesprochen ist es wie das Fischen mit einem Netz (um Eddington zu paraphrasieren): Je nachdem wie das Netz konstruiert ist und wo und wann man es ins Wasser wirft bekommt man einen unterschiedlichen Fang. Die erhobenen Daten sprechen niemals für sich — sie sind nicht „einfach da“ — sie werden gewonnen. Und die Art, wie sie gewonnen werden, kann sie sehr stark formen.

Das heißt allerdings nicht, dass Wissenschaft dadurch beliebig ist, oder das Datengewinnung sinnlos ist. Aber man muss sich bewusst sein, welchen Effekt bestimmte Entscheidungen bei der Datengewinnung auf die Ergebnisse haben.

Problematisch wird es dann, wenn nicht mehr ein möglichst objektiver wissenschaftlicher Erkenntnisgewinn das Ziel ist, sondern bestimmte Ergebnisse zu finden — z.B., weil man davon überzeugt ist, dass die Situation so ist, oder man sich davon Vorteile verspricht. Dann können die Entscheidungen — absichtlich oder unabsichtlich — so getroffen werden, dass die Daten und Interpretationen in die nützliche Richtung verzerrt werden.

Um solche Verzerrungen aufzudecken unterliegen wissenschaftliche Studien einem peer-review — d.h. andere Wissenschaftler/innen schauen auf die Studien, bevor die Ergebnisse in wissenschaftlichen Fachzeitschriften veröffentlicht werden. Das peer-review ist nicht perfekt, z.T. werden auch schlechte Studien veröffentlicht. Aber es ist ein wichtiger Schutzmechanismus gegen fragwürdige Entscheidungen oder Verletzung von wissenschaftlichen Standards.

Schwierig wird es, wenn Studien von Interessengruppen durchgeführt werden und nicht diesem peer-review Verfahren unterliegen. Die Ergebnisse werden oft ebenfalls in der Presse als „wissenschaftliche Studien“ berichtet und/oder über soziale Medien verbreitet. Und das schließt Studien ein, die so massiv die Daten verzerren, dass sie wissenschaftlich gesehen wertlos sind, und Interpretationen, die nicht einmal von den massiv verzerrten Daten gestützt sind.

In vielen dieser Fälle wird die Wissenschaftlichkeit hinter einer ideologischen Agenda zurückgestellt. Komplexe Sachverhalte werden so „erfasst“, dass sie mit den Zielen der Organisatoren im Einklang sind, z.B. das die Gruppen, für die sie sich einsetzen, massiv und/oder ausschließlich von einem Problem betroffen sind.

Das heißt nicht, dass alle Interessengruppen und Organisationen, die Studien durchführen, diese verzerren. Es gibt genug Organisationen, die ernsthaft an Problemen arbeiten wollen und denen klar ist, dass sie dafür ein möglichst akkurates Bild der Situation benötigen. Aber der Einfluss ist da — insbesondere wenn es um Fördermittel und Stellen geht … und man weiß, dass man Recht hat.

Letztendlich handelt es sich bei solchen verzerrten Studien allerdings um fragwürdige Forschungspraktiken — bis hin zu klaren wissenschaftlichem Fehlverhalten. Anstatt zum Erkenntnisgewinn beizutragen und damit die Welt handhabarer zu machen, werden Sachverhalte vernebelt und verzerrt. Und das hat Konsequenzen. Schlechte Studien machen nicht nur ein bestehendes Problem noch schlimmer, indem sie zu einer falschen Einschätzung der Situation führen und Lösungen implizieren, die unzureichend sind oder zu weiteren Problemen führen. Sie schädigen auch dem Ansehen der Wissenschaft.

Wissenschaftler/innen — egal in welchem Berufsfeld — stehen hier in der Verantwortung:

  • Studien nach akzeptierten wissenschaftlichen Standards durchzuführen und auszuwerten.
    Es gibt Übersetzer, die sich von ihren Werken öffentlich distanzieren, weil Editoren/innen in der Nachbearbeitung das Werk entstellt haben. Wissenschaftler/innen sollten die selben Möglichkeiten haben, wenn Studien, die sie durchgeführt haben, von Interessengruppen verzerrt veröffentlicht werden.
  • Das Vorgehen öffentlich transparent zu machen.
    Nur so ist eine Diskussion über die möglichen Verzerrungen und mögliche Alternativerklärungen möglich. Im Idealfall schließt das z.B. die Fragen und den (anonymisierten) Datensatz mit ein.
  • Sich bei der öffentlichen Diskussion über ihre eigenen und andere Studien zu beteiligen — und Interpretationen, die über die Datenbasis hinausgehen zurückzuweisen.
    Wissenschaft kann zur Problemlösung beitragen — aber nur, wenn sie möglichst unverzerrt durchgeführt wird. Und Verzerrungen müssen öffentlich diskutiert und kritisiert werden (wie soll es sonst bessere Studien geben?).

Falls Wissenschaftler/innen dieser Verantwortung nicht nachkommen machen sie sich nicht nur zu Handlangern/innen von Ideologien — sie verspielen damit auch ihre Glaubwürdigkeit.

 

Soweit zum ersten Beitrag in dieser Serie — der nächste Dialog zu dem Thema kommt in ca. zwei Monaten.