1 - Inhalt und Vorwort [Seite 7]
2 - 1 Prüfen mit Multiple Choice: wozu - was - wie? [Seite 19]
2.1 - 1.1 Wozu sollen MC-Items resp. soll eine MC-Prüfung dienen? [Seite 19]
2.2 - 1.2 Was prüfen mit der MC-Methode? [Seite 23]
2.2.1 - 1.2.1 Möglichkeiten und Grenzen der MC-Methode [Seite 23]
2.2.2 - 1.2.2 Festlegen der angestrebten Schlussfolgerungen (Interpretationen, Entscheidungen) und deren Gültigkeitsdomäne (Blueprint) [Seite 29]
2.3 - 1.3 Wie prüfen mit der MC-Methode? [Seite 33]
3 - 2 Wie entstehen geeignete Multiple-Choice-Items? [Seite 43]
3.1 - 2.1 Empfehlungen 1-3 zur repräsentativen Erfassung des Konstruktes [Seite 44]
3.1.1 - Empfehlung 1: Vorwärts orientiert relevante Themen, Probleme, Handlungen wählen [Seite 44]
3.1.2 - Empfehlung 2: Auf adäquaten taxonomischen Stufen prüfen [Seite 45]
3.1.3 - Empfehlung 3: Authentisch und fokussiert fragen mit homogenen Antworten [Seite 46]
3.2 - 2.2 Empfehlungen 4-7, um konstrukt-irrelevanten Einflüssen und Zufälligkeiten entgegenzuwirken [Seite 51]
3.2.1 - Empfehlung 4: Eindeutige Lösung [Seite 51]
3.2.2 - Empfehlung 5: Angemessene Schwierigkeit [Seite 52]
3.2.3 - Empfehlung 6: Einheitliche, eindeutige, prägnante, einfache Formulierung [Seite 54]
3.2.4 - Empfehlung 7: Vermeiden ungewollter Lösungshinweise [Seite 62]
4 - 3 Verschiedene Itemtypen: wozu, wie? [Seite 73]
4.1 - 3.1 Vier Grundsätze zur Verwendung verschiedener Itemtypen [Seite 73]
4.2 - 3.2 Itemtypologie: Best-Antwort-Typen und Richtig/Falsch-Typen [Seite 74]
4.3 - 3.3 Einfachwahl aus 3 bis 5 Wahlantworten (Typ A) [Seite 76]
4.4 - 3.4 Alternative Best-Antwort-Typen [Seite 81]
4.4.1 - 3.4.1 "Zuordnung" (Typ B) [Seite 81]
4.4.2 - 3.4.2 Erweiterte Zuordnung (Typ R) [Seite 83]
4.4.3 - 3.4.3 Wahl einer angegebenen Zahl bester Antworten (Typ PickN) [Seite 85]
4.5 - 3.5 Vierfache Entscheidung richtig/falsch (Typ K', genannt Kprim) [Seite 87]
4.6 - 3.6 Alternative Richtig/Falsch-Typen [Seite 96]
4.6.1 - 3.6.1 Richtig/Falsch-Beurteilung einzelner Aussagen (Typ R/F) [Seite 96]
4.6.2 - 3.6.2 Richtig/Falsch-Beurteilung zweier Aussagen und ihrer kausalen Verknüpfung (Typ E) [Seite 97]
5 - 4 Wie wird die Qualität von MC-Prüfungen sichergestellt? [Seite 103]
5.1 - 4.1 Qualitätssicherungskette für MC-Prüfungen [Seite 103]
5.2 - 4.2 Zeitliche Planung und Arbeitsteilung [Seite 104]
5.3 - 4.3 Itembestellung und Itemproduktion [Seite 105]
5.4 - 4.4 Itemrevision [Seite 107]
5.5 - 4.5 Prüfungserstellung [Seite 108]
5.6 - 4.6 Prüfungsdurchführung [Seite 113]
5.6.1 - 4.6.1 In der Prüfungsvorbereitung der Kandidaten für Chancengleichheit sorgen [Seite 113]
5.6.2 - 4.6.2 Bei der Prüfungsdurchführung dem Einfluss von Störfaktoren entgegenwirken [Seite 114]
5.6.3 - 4.6.3 Integrität der gegebenen Antworten überprüfen, Antworten sicherstellen [Seite 118]
5.7 - 4.7 Prüfungsauswertung [Seite 121]
5.7.1 - 4.7.1 Erfassung und Scoring der Antworten [Seite 122]
5.7.2 - 4.7.2 Identifikation und Ausschluss fehlerhafter und unfairer Items, Kontrolle der Messqualität der Prüfung [Seite 124]
5.7.3 - 4.7.3 Ermittlung der Gesamtpunktzahl der Kandidaten [Seite 130]
5.7.4 - 4.7.4 Setzen und Konstanthalten der Bestehensgrenze [Seite 130]
5.7.5 - 4.7.5 Ergebnisrückmeldung an die Kandidaten [Seite 139]
5.8 - 4.9 Examinatorenfeedback [Seite 140]
6 - Anhang 1: Checkliste zur Formulierung guter Multiple-Choice-Items [Seite 149]
7 - Anhang 2: Instruktion zum korrekten Vorgehen bei der Fragenbeantwortung [Seite 152]
8 - Anhang 3: Instruktionen zur Beantwortung der einzelnen Typen [Seite 153]
9 - Anhang 4: Das korrekte Vorgehen beim Markieren des Antwortblattes [Seite 155]
10 - Anhang 5: Unterstützung des Transfers auf nicht ärztliche Inhaltsbereiche [Seite 156]
11 - Glossar mit Verweis auf Textstellen [Seite 173]
12 - Abbildungsnachweis [Seite 181]
2 Wie entstehen geeignete Multiple-Choice-Items?
Die in diesem Kapitel aufgeführten Empfehlungen zur Formulierung geeigneter MCItems sind nicht grundsätzlich neu. Sie finden sich in ähnlicher Form in verschiedenen englischsprachigen Lehrbüchern zur Entwicklung von MC-Testitems. Bei Ellsworth, Dunnell und Orpha (1990) findet sich eine nach Nennhäufigkeit in 32 Lehrbüchern sortierte Liste von 37 Regeln. Haladyna, Downing und Rodriguez (2002) publizierten auf der Basis von 27 Lehrbüchern aus dem Zeitraum 1990-2001 eine thematisch gruppierte Liste von 31 Regeln. Diese finden sich erläutert und mit Beispielen illustriert in der 3. Auflage von Haldynas Lehrbuch zur Entwicklung und Validierung von Multiple-Choice-Items von 2004 (Haladyna, 2004). Im erweiterten Lehrbuch von 2013 (Haladyna & Rodriguez, 2013) sind die Empfehlungen - wie im vorliegenden Buch - in Beziehung zu Messicks und Kanes Konzepten zur Konstruktgültigkeit gebracht.
Spezifisch für die ärztliche Ausbildung veröffentlichten Case und Swanson (2002) eine wertvolle MC-Anleitung, der wir unter anderem die Empfehlungen zum Verfassen von Problem- und Fallvignetten verdanken. Seit 2016 ist dieses Buch in einer überarbeiteten und um den Einsatz audiovisueller Medien erweiterten 4. Auflage verfügbar (Paniagua & Swygert, 2016).
Auf Grundlage dieser Literatur und der eigenen langjährigen Erfahrung bezüglich Entwicklung und Auswertung von MC-Fragen werden in der Folge zuerst drei Maßnahmen zur repräsentativen Erfassung des Prüfungskonstruktes empfohlen. Diese sind also dafür entscheidend, dass das Richtige geprüft wird. Sie kommen bereits zum Zug bei der Wahl eines geeigneten Fragenthemas und sind für formatives Prüfen ebenso wichtig wie für summatives.
Anschließend werden vier Maßnahmen resp. Maßnahmengruppen empfohlen gegen den Einfluss konstrukt-irrelevanter Faktoren. Diese tragen also dazu bei, dass das Geprüfte richtig geprüft wird. Dies ist besonders wichtig bei summativem Prüfen.
Eine Übersicht über die sieben Empfehlungen findet sich im vorangehenden Kap. 1.3 auf S. 33.
