Noise

EINLEITUNG
Zwei Arten von Fehlern

Stellen Sie sich vor, vier Gruppen von Freunden gehen zu einem Schießstand. Jede Gruppe besteht aus fünf Personen; sie benutzen gemeinsam ein Gewehr, und jede Person schießt einmal.

Abbildung 1 zeigt die Ergebnisse.

Abbildung 1: Vier Teams

In einer idealen Welt wäre jeder Schuss ein Volltreffer.

Das ist bei Team A fast der Fall. Die Treffer ballen sich dicht im Schwarzen zusammen, in der Mitte der Zielscheibe, und bilden ein fast perfektes Muster.

Das Resultat von Team B nennen wir biased (»verzerrt«), weil es systematisch danebengeschossen hat. Wie aus der Abbildung zu ersehen ist, lässt sich aus der Konsistenz des Bias, in diesem Fall also der Zielabweichung, eine Vorhersage ableiten. Würde eines der Mitglieder des Teams ein weiteres Mal schießen, würden wir darauf wetten, dass der Treffer im gleichen engen, abweichenden Bereich wie die ersten fünf läge. Die Beständigkeit des Bias legt auch eine kausale Erklärung nahe: Vielleicht war das Zielfernrohr am Gewehr des Teams verbogen.

Das Ergebnis von Team C nennen wir noisy (»verrauscht«), weil die Treffer breit gestreut sind. Es gibt kein offensichtliches Bias, weil die meisten Einschüsse in grober Näherung auf einem Kreis um die Mitte der Scheibe liegen. Wenn eines der Mitglieder des Teams einen weiteren Schuss abgeben würde, könnten wir kaum abschätzen, wo genau der Treffer landen würde. Außerdem fällt einem zur Erklärung der Ergebnisse von Team C keine interessante Hypothese ein. Wir wissen, dass vier seiner Mitglieder schlechte Schützen sind. Wir wissen nicht, warum ihre Treffer so verrauscht, so breit gestreut sind.

Das Resultat von Team D ist sowohl verzerrt als auch verrauscht. Vergleichbar mit Team B haben seine Mitglieder systematisch nicht die Mitte der Zielscheibe getroffen, und wie bei Team C sind die Treffer breit gestreut.

Aber dies ist kein Buch über das Schießen auf Zielscheiben. Unser Thema sind Urteilsfehler. Bias und Noise - systematische Abweichung und Zufallsstreuung - sind verschiedene Komponenten von Urteilsfehlern. Die Zielscheiben verdeutlichen den Unterschied.1

Der Schießstand ist eine Metapher für das, was bei der Urteilsbildung und insbesondere bei den vielfältigen Entscheidungen, die Menschen in Organisationen, Institutionen oder Unternehmen treffen, schiefgehen kann. In diesen Situationen finden wir die beiden Arten von Fehlern, die in Abbildung 1 veranschaulicht werden. Manche Urteile sind verzerrt; sie liegen systematisch »daneben«. Andere Urteile sind verrauscht, das heißt, sie sind weit um »das Ziel« gestreut, obwohl sie eigentlich übereinstimmen sollten. Leider sind viele Organisationen sowohl von Bias als auch von Noise betroffen.

Abbildung 2 veranschaulicht einen wichtigen Unterschied zwischen Bias und Noise. Sie zeigt das, was Sie auf dem Schießstand sehen würden, wenn Ihnen nur die Rückseiten der Zielscheiben gezeigt würden, auf welche die Teams geschossen haben, ohne dass Sie den geringsten Hinweis darauf hätten, wo sich die Zielscheibenmitte befindet, die von den Schützen anvisiert wurde.

Abbildung 2: Ein Blick auf die Rückseite der Zielscheiben

Betrachtet man nur die Rückseite der Zielscheiben, lässt sich nicht sagen, ob Team A oder Team B treffsicherer war. Aber man kann auf den ersten Blick sagen, dass die Treffer der Teams C und D breit gestreut - verrauscht - sind, während dies bei den Teams A und B nicht der Fall ist. Tatsächlich wissen wir über die Streuung genauso viel wie in Abbildung 1. Es ist eine allgemeine Eigenschaft von Noise, dass man es erkennen und messen kann, auch wenn man nichts über das Ziel oder das Bias weiß.

Diese allgemeine Eigenschaft von Noise ist für das, worum es uns in diesem Buch geht, von zentraler Bedeutung, weil viele unserer Schlussfolgerungen auf Urteilen beruhen, bei denen die Wahrheit unbekannt oder sogar unerkennbar ist. Wenn Ärztinnen und Ärzte bei demselben Patienten verschiedene Diagnosen stellen, können wir ihren Dissens erforschen, ohne zu wissen, woran der Patient wirklich leidet. Wenn die Manager einer Filmproduktionsfirma das Marktpotenzial für einen Film abschätzen, können wir die Streuung ihrer Antworten analysieren, ohne zu wissen, wie viel der Film letztendlich eingespielt hat oder ob er überhaupt produziert wurde. Wir müssen nicht wissen, wer recht hat, um zu messen, wie sehr Urteile über denselben Sachverhalt voneinander abweichen. Um Noise zu messen, müssen wir lediglich die Rückseite der Zielscheibe betrachten.

Wenn wir Urteilsfehler verstehen wollen, müssen wir sowohl Bias - die systematische Abweichung, die Verzerrung - als auch Noise - die Zufallsstreuung, das störende Rauschen - verstehen. Wie wir sehen werden, ist Noise manchmal das wichtigere Problem. Aber in öffentlichen Diskussionen über Urteilsfehler und in Organisationen überall auf der Welt wird dies nur selten erkannt. Bias ist sozusagen der Star der Show, während Noise im Allgemeinen hinter den Kulissen verborgen bleibt. Das Thema systematische Abweichung wurde in Tausenden wissenschaftlichen Aufsätzen und Dutzenden populärwissenschaftlichen Büchern erörtert, von denen nur wenige das Problem der Zufallsstreuung überhaupt erwähnen. Mit diesem Buch versuchen wir, die Dinge wieder ins rechte Lot zu bringen.

Entscheidungsfindungen sind in vielen Lebensbereichen oft durch ein geradezu skandalös hohes Maß an Noise gekennzeichnet. Nachfolgend ein paar Beispiele für das Ausmaß an Zufallsstreuung in Situationen, in denen es auf Treffgenauigkeit ankommt:

• Medizin: In Bezug auf denselben Patienten stellen Ärztinnen und Ärzte oft keine einheitlichen Diagnosen; dies betrifft Hautkrebs, Brustkrebs, Herzkrankheiten, Tuberkulose, Lungenentzündungen, Depressionen und viele weitere Erkrankungen. Besonders stark ist Noise in der Psychiatrie, wo subjektive Einschätzungen bei der Diagnose offensichtlich eine wichtige Rolle spielen. Aber auch in Bereichen, in denen man es nicht erwarten würde, wie etwa bei der Interpretation von Röntgenaufnahmen, findet man ein erhebliches Maß an Zufallsstreuung.
• Entscheidungen über die behördliche Inobhutnahme von Kindern:2 Fallmanager in Jugendämtern müssen beurteilen, ob bei einem Minderjährigen eine Kindeswohlgefährdung vorliegt und - falls dem so ist - entscheiden, ob eine Unterbringung in einer Pflegefamilie angezeigt ist. Das System ist durch Noise gestört, da manche Fallmanager viel eher dazu neigen, Kinder in einer Pflegefamilie unterzubringen als ihre Kollegen. Von diesen unglücklichen Minderjährigen, die durch die strengen Sozialarbeiter an Pflegeeltern übergeben wurden, hat dann in späteren Jahren eine Mehrzahl im Leben deutlich weniger erreicht als Nichtpflegekinder, sie werden viel häufiger straffällig, die Mädchen unter ihnen werden häufiger im Teenageralter schwanger, und sie verdienen weniger.
• Vorhersagen: Professionelle Prognostiker treffen höchst unterschiedliche Vorhersagen über den wahrscheinlichen Absatz eines neuen Produkts, die wahrscheinliche Zunahme der Arbeitslosenquote, die Wahrscheinlichkeit, dass angeschlagene Unternehmen pleitegehen, und vieles andere mehr. Aber sie sind nicht nur untereinander uneins, sie stimmen auch mit sich selbst nicht überein. Als zum Beispiel dieselben Softwareentwickler an zwei verschiedenen Tagen gebeten wurden, die Zeit abzuschätzen, die sie bräuchten, um dieselbe Aufgabe zu erledigen, unterschieden sich die von ihnen angesetzten Stundenzahlen durchschnittlich um 71 Prozent.3
• Asylentscheidungen: Ob ein Asylbewerber in den Vereinigten Staaten anerkannt wird, kommt einer Art Glücksspiel gleich. Bei einer Studie über Fälle, die zufallsabhängig verschiedenen Richtern zugewiesen wurden, kam heraus, dass ein Richter 5 Prozent der Asylsuchenden anerkannte, während ein anderer 88 Prozent anerkannte. Der Titel der Studie sagt alles: »Flüchtlingsroulette«.4 (Wir werden nachfolgend einiges an Roulette erleben.)
• Personalentscheidungen: Personalverantwortliche, die Vorstellungsgespräche führen, schätzen dieselben Bewerberinnen und Bewerber sehr unterschiedlich ein. Auch werden die Leistungen derselben Mitarbeiter höchst unterschiedlich bewertet, und die Bewertung hängt stärker von der Person des Beurteilenden als von der zu beurteilenden Leistung ab.
• Kautionsentscheidungen: Ob ein Beschuldigter in den USA gegen Kautionszahlung auf freiem Fuß bleibt oder aber bis zum Prozess in Haft genommen wird, hängt weitgehend von der Person des Richters/der Richterin ab, der/die über die Sache verhandelt. Einige Richter/Richterinnen sind viel nachsichtiger als andere. Auch in Bezug auf die Frage, bei welchen Angeklagten die höchste Flucht- beziehungsweise Rückfallgefahr besteht, kommen Richter und Richterinnen zu sehr unterschiedlichen Einschätzungen.
• Forensik (Kriminaltechnik): Uns wurde beigebracht, die Identifikation per Fingerabdruck für absolut sicher zu halten. Aber Sachverständige für Daktyloskopie, die beurteilen sollen, ob ein an einem Tatort gefundener Fingerabdruck eindeutig einem Verdächtigen zugeordnet werden kann, kommen gelegentlich zu unterschiedlichen Schlussfolgerungen. Aber nicht genug damit, dass sich die Experten uneins sind, hinzu kommt, dass dieselben Sachverständigen, wenn ihnen zu verschiedenen Zeitpunkten derselbe Fingerabdruck vorgelegt wird, mitunter widersprüchliche Einschätzungen abgeben. Eine ähnliche...