Vorwort

Als ich vor einigen Jahren mein Hauptstudium im Fachbereich Physik an der University of Texas in Austin absolvierte, wurde ich im Rahmen eines Seminarkurses aufgefordert, mir ein Thema für einen individuellen 25-minütigen Vortrag auszusuchen, den alle Seminarteilnehmer halten sollten. »Ich würde gern etwas über Verschwörungstheorien machen«, sagte ich zu dem Dozenten Dr. Brent Iverson, der sich damit jedoch nicht zufriedengab. Das Thema sei zu weitreichend, meinte er, und ein engagierter Vortrag müsse fokussiert und ausführlich sein. Also sah ich mir die Liste der Themenvorschläge an. »Wie wäre es denn mit wissenschaftlichem Fehlverhalten?«, fragte er, und ich willigte ein.

Rückblickend bin ich gar nicht mal sicher, inwieweit Falschangaben und fehlerhafte Schlussfolgerungen in der Wissenschaft ein begrenzteres Thema als Verschwörungstheorien sind, das spielte aber auch keine Rolle. Nach einigen Stunden doch ziemlich intensiver Recherche wurde mir klar, dass das wissenschaftliche Fehlverhalten an sich kein allzu interessantes Thema ist - jedenfalls nicht in Anbetracht all der Fehler, die Wissenschaftler unabsichtlich begehen.

Ungeachtet meiner beklagenswert mangelhaften Qualifikation in punkto Statistik suchte ich mir also einige Dutzend Forschungsarbeiten über die zahllosen statistischen Fehler zusammen, die Wissenschaftlern regelmäßig unterlaufen. Ich las sie, resümierte sie und arbeitete schließlich einen Vortrag aus, der Dr. Iverson zufriedenstellte. Und als angehender Wissenschaftler (und nun auch noch selbsternannter Statistikexperte) kam ich letztendlich zu der Überzeugung, dass ich vielleicht auch mal einen Statistikkurs besuchen sollte.

Gesagt, getan: Zwei Jahre und zwei Statistikkurse später immatrikulierte ich an der Carnegie Mellon University als Doktorand im Fachbereich Statistik - und bis heute bereitet es mir ein diebisches Vergnügen, Gelegenheiten zu finden, um mit statistischen Werten »herumzupfuschen«.

Dieses Buch ist ein Leitfaden, der den eher hanebüchenen statistischen Fehlern und Irrtümern gewidmet ist, die regelmäßig im Namen der Wissenschaft begangen werden. Da viele Wissenschaftler keine formale Statistikausbildung genießen - und weil ich meine Leserschaft nicht auf ohnehin an diesem Thema Interessierte beschränken möchte -, werden hier keine besonderen Vorkenntnisse in Sachen Statistik vorausgesetzt. Manch ein Leser mag daher möglicherweise versucht sein, das erste Kapitel zu überspringen, ich empfehle jedoch, es zumindest zu überfliegen, um sich mit meinem Erklärungsstil vertraut zu machen.

Mein Ziel besteht nicht nur darin, die oft begangenen Fehler beim Namen zu nennen und entsprechende Beispiele zu liefern, über die Sie schmunzeln können. Soweit es ohne ausführliche mathematische Exkurse möglich ist, erläutere ich außerdem, warum besagte statistische Fehler eigentlich Fehler sind und berufe mich in diesem Kontext auf Studien, die belegen, wie weit die meisten dieser Fehler tatsächlich verbreitet sind. Die Lektüre dieses Buches wird dadurch zwar ein wenig erschwert, ich bin jedoch der Ansicht, dass der hieraus resultierende Erkenntnisgewinn die Mühe durchaus wert ist - ein gründliches Verständnis von elementarer Statistik ist schließlich für jeden Wissenschaftler unverzichtbar.

Für Leser, die alltäglich statistische Analysen durchführen, finden sich am Ende der meisten Kapitel Tipps, die Aufschluss darüber geben, welche statistischen Verfahren verwendet werden können, um die häufigsten Fallstricke zu umgehen. Das vorliegende Werk ist allerdings kein Lehrbuch, daher werde ich auch nicht näher auf die Einzelheiten der genannten Verfahren eingehen. Ich hoffe jedoch, Sie auf die gängigsten Probleme aufmerksam machen und somit in die Lage versetzen zu können, das für eine gegebene Aufgabe am besten geeignete statistische Verfahren auszuwählen.

Für den Fall, dass ein oder mehrere der hier angesprochenen Themen Ihre Neugier wecken, finden Sie am Ende des Buches ein ausführliches Literaturverzeichnis. Außerdem sind alle statistischen Fehler und Irrtümer mit Quellverweisen versehen. Zugunsten eines grundsätzlichen Verständnisses habe ich sehr viel Mathematisches weggelassen. Sollten Sie jedoch an formal strengeren Abhandlungen interessiert sein, empfehle ich die Lektüre der diesem Buch zugrundeliegenden Originalarbeiten.

Bevor Sie dieses Buch lesen, hier noch ein kurzer Warnhinweis: Sobald man sich Wissen angeeignet hat, über das nur wenige andere Menschen verfügen, ist es verlockend, dies bei jeder sich bietenden Gelegenheit zur Schau zu stellen. Sollte dieses Buch auf wundersame Weise zum Bestseller werden, erwarte ich als Reaktion auf jegliche wissenschaftliche Meldungen in der Boulevardpresse das, was Paul Graham als »Ablehnung durch den Durchschnittsmenschen« bezeichnet - denn anstatt sich die Zeit zu nehmen, die interessanten Teile wissenschaftlicher Forschung zu verstehen, verwenden Möchtegern-Statistiker lieber die von irgendeiner übereifrigen Universitätspressestelle wiedergekäute ungenaue Beschreibung einer Studie, um sich auf solche Artikel einzuschießen und den statistischen Aufbau der Forschungsarbeit zu kritisieren.[1]

Auf den meisten Websites, die wissenschaftliche Meldungen diskutieren, geschieht dies bereits und es würde mich ungemein ärgern, wenn dieses Buch als Rechtfertigung dafür herhalten sollte. Die ersten Kommentare zu neuen Newsartikeln und Nachrichtenmeldungen sind fast immer Beschwerden wie »diese Variable wurde nicht kontrolliert« oder »die Stichprobe ist viel zu klein« - und in 9 von 10 Fällen hat der Kommentierende die wissenschaftliche Arbeit überhaupt nicht gelesen, denn sonst wüsste er, dass seinem Einwand im dritten Absatz begegnet wird.

Das Ganze ist absolut töricht: Einige wenige Statistikkenntnisse sind keine Entschuldigung dafür, die gesamte moderne Wissenschaft abzulehnen. Die statistischen Methoden einer Forschungsarbeit dürfen nur im Detail und im Kontext der anderen Methoden beurteilt werden: Aufbau der Studie, Messverfahren, Kostenbeschränkungen und Aufgabenstellung. Setzen Sie Ihre Statistikkenntnisse ein, um die Stärken, die Einschränkungen und die potenzielle Voreingenommenheit einer Untersuchung besser zu verstehen, nicht um jede Forschungsarbeit niederzumachen, die unsachgemäßen Gebrauch von einem p-Wert macht oder Ihren persönlichen Ansichten widerspricht. Bedenken Sie außerdem, dass auch eine Schlussfolgerung, die durch mangelhafte Statistiken belegt wird, dennoch richtig sein kann - statistische und logische Fehler führen nicht automatisch zu einem Fehlschluss, sie belegen ihn nur nicht.

Kurzum: Gehen Sie bitte verantwortungsvoll mit Statistiken um. Ich kann mir nur wünschen, dass Sie danach streben, die Wissenschaft zu verbessern, von der wir alle abhängig sind.

Danksagungen

Danke an James Scott, dessen Statistikkurse am Anfang meiner Laufbahn im Fachbereich Statistik standen und mir das zum Schreiben dieses Buches nötige Hintergrundwissen vermittelten. Weiterhin bedanke ich mich bei Raye Allen, der James' Hausaufgaben so viel spaßiger machte, bei Matthew Watson und Moriel Schottlender, die mir wertvolle Anregungen und unschätzbares Feedback zu meinen Textentwürfen gaben, bei meinen Eltern für ihre Denkanstöße und Rückmeldungen sowie bei Dr. Brent Iverson, dessen Seminar mich überhaupt erst dazu veranlasste, mich mit dem unsachgemäßen Gebrauch von Statistiken zu befassen. Und natürlich gilt mein Dank ebenso allen Wissenschaftlern und Statistikern, die gegen die Regeln verstoßen haben und mir somit einen Grund zum Schreiben lieferten.

Auch meine Freunde an der Carnegie Mellon University haben viele Ideen beigesteuert und jede Mengen Fragen beantwortet. Sie haben mir stets geduldig zugehört, wenn ich mal wieder versuchte, einen neuen statistischen Fehler zu erläutern. Das nötige Hintergrundwissen hierfür verdanke ich meinen Professoren, insbesondere Jing Lei, Valérie Ventura und Howard Seltman. Howard fungierte außerdem als fachlicher Redakteur und spürte in dieser Eigenschaft einige peinliche Fehler in meinem Buchentwurf auf. Sollten immer noch welche übrig sein, bin ich selbst dafür verantwortlich - allerdings werde ich frech behaupten, dass sie lediglich dem Titel des Buches Rechnung tragen.

Und meine Herausgeber bei No Starch haben dem Manuskript schließlich den nötigen Feinschliff verpasst und es damit drastisch verbessert. Greg Poulos gab sich nach der sorgfältigen Lektüre der ersten Kapitel erst zufrieden, als er jedes einzelne Konzept verstanden hatte. Leslie Shen sorgte für die Glättung meiner Polemik in den letzten Kapiteln, und das gesamte Team hat maßgeblich dazu beigetragen, dass sich dieses Projekt insgesamt verblüffend einfach gestaltete.

Darüber hinaus bin ich vielen weiteren Leuten zu Dank verpflichtet, die mir Anregungen und Kommentare per E-Mail geschickt haben, nachdem der Leitfaden online gestellt wurde. Ich bedanke mich (in keiner bestimmten Reihenfolge) bei: Axel Boldt, Eric Franzosa, Robert O'Shea, Uri Bram, Dean Rowan, Jesse Weinstein, Peter Hozák, Chris Thorp, David Lovell, Harvey Chapman, Nathaniel Graham, Shaun Gallagher, Sara Alspaugh, Jordan Marsh, Nathan Gouwens, Arjen Noordzij, Kevin Pinto, Elizabeth Page-Gould und David Merfield, ohne deren Feedback meine Erläuterungen zweifelsohne weniger vollständig wären.

Vielleicht gesellen auch Sie sich bald zu dieser Liste hinzu, denn trotz meiner größten Bemühungen wird dieser Leitfaden auch jetzt unweigerlich noch einige Fehler und Versäumnisse aufweisen. Sollten Sie also eine Unstimmigkeit finden, eine Frage haben oder ein gängiges statistisches...