Kapitel 2

2 Wie entstehen geeignete Multiple-Choice-Items?

Grundlagen der Empfehlungen

Die in diesem Kapitel aufgeführten Empfehlungen zur Formulierung geeigneter MC-Items sind nicht grundsätzlich neu. Sie finden sich in ähnlicher Form in verschiedenen englischsprachigen Lehrbüchern zur Entwicklung von MC-Testitems.

Bei Ellsworth, Dunnell und Orpha (1990) findet sich eine nach Nennhäufigkeit in 32 Lehrbüchern sortierte Liste von 37 Regeln. Haladyna, Downing und Rodriguez (2002) publizierten auf der Basis von 27 Lehrbüchern aus dem Zeitraum 1990-2001 eine thematisch gruppierte Liste von 31 Regeln. Diese finden sich erläutert und mit Beispielen illustriert in der 3. Auflage von Haldynas Lehrbuch zur Entwicklung und Validierung von Multiple-Choice-Items von 2004 (Haladyna, 2004). Im erweiterten Lehrbuch von 2013 (Haladyna & Rodriguez, 2013) sind die Empfehlungen - wie im vorliegenden Buch - in Beziehung zu Messicks und Kanes Konzepten zur Konstruktgültigkeit gebracht.

Spezifisch für die ärztliche Ausbildung veröffentlichten Case und Swanson (2002) eine wertvolle MC-Anleitung, der wir unter anderem die Empfehlungen zum Verfassen von Problem- und Fallvignetten verdanken. Seit 2016 ist dieses Buch in einer überarbeiteten und um den Einsatz audiovisueller Medien erweiterten 4. Auflage verfügbar (Paniagua & Swygert, 2016).

Empfehlungen 1-3: das Richtige prüfen

Auf Grundlage dieser Literatur und der eigenen langjährigen Erfahrung bezüglich Entwicklung und Auswertung von MC-Fragen werden in der Folge zuerst drei Maßnahmen zur repräsentativen Erfassung des Prüfungskonstruktes empfohlen. Diese sind also dafür entscheidend, dass das Richtige geprüft wird. Sie kommen bereits zum Zug bei der Wahl eines geeigneten Fragenthemas und sind für formatives Prüfen ebenso wichtig wie für summatives.

Empfehlungen 4-7: richtig prüfen

Anschließend werden vier Maßnahmen resp. Maßnahmengruppen empfohlen gegen den Einfluss konstrukt-irrelevanter Faktoren. Diese tragen also dazu bei, dass das Geprüfte richtig geprüft wird. Dies ist besonders wichtig bei summativem Prüfen.

Eine Übersicht über die sieben Empfehlungen findet sich im vorangehenden Kap. 1.3 auf S. 33.

2.1
Empfehlungen 1-3 zur repräsentativen Erfassung des Konstruktes

Empfehlung 1: Vorwärts orientiert relevante Themen, Probleme, Handlungen wählen

Muss man das wissen resp. können?

Bevor ein Item ausgearbeitet wird, ist zu hinterfragen, wie wichtig es ist, dass die Auszubildenden das vorgesehene Problem selbstständig lösen resp. die sich ergebende Frage richtig beantworten können.

Was ist relevant?

Geprüft werden sollte, was in der weiteren Ausbildung und letztlich im Beruf

• häufig gebraucht wird,
• was eine häufige Quelle von Fehlern darstellt,
• bei dem Fehler negative Folgen haben können oder
• das für das Verständnis späterer Lerninhalte entscheidend ist.

Key-Feature-Konzept

Fragen zu klinischen Problemen sind bevorzugt auf kritische Entscheidungsschritte (key features) zu fokussieren, von denen die erfolgreiche Problemlösung abhängt.

In Kap. 1.2.1 sind die Key-Feature-Prüfungen nach Bordage und Page vorgestellt und diskutiert worden. Unseres Erachtens ist die Umsetzung des inhaltlichen Grundsatzes dieses Konzepts nicht an spezifische Antwortformate gebunden. Dieser kann problemlos auch in MC-Fragen mit kurzen Antwortlisten realisiert werden.

Irrelevantes vermeiden

Spitzfindigkeiten und Raritäten sind als Frageninhalte ebenso zu vermeiden wie Trivialitäten.

Verlockungen des "einfachen Weges" widerstehen

Fragen aus dem eigenen Spezialgebiet oder aktuellen Forschungsfeld sind hinsichtlich Relevanz (und Stufengerechtigkeit) besonders kritisch zu beurteilen.

Der Verlockung, primär Inhalte zu prüfen, die sich leicht in MC-Fragen fassen lassen, ist zu widerstehen.

Hilfsmittel Lernzielkatalog

Hilfreich zur Orientierung für Fragenautoren/Fragenautorinnen und zur Überprüfung verfasster Fragen hinsichtlich Relevanz ist das Vorliegen eines Lernzielkataloges, bei dessen Entwicklung schon die Kriterien Häufigkeit und Kritikalität maßgebend waren.

Empfehlung 2: Auf adäquaten taxonomischen Stufen prüfen

Welches kognitive Anspruchsniveau wird in der Ausbildung angestrebt?

Wird in einer Ausbildung der Aufbau von Kompetenzen angestrebt, muss auch kompetenzorientiert geprüft werden. Aus Items, die lediglich die Reaktivierung auswendig gelernter Einzelfakten erfordern, entsteht keine Prüfung, die eine gültige Schlussfolgerung auf Kompetenzen zulässt. Zudem würde eine solche Prüfung das Lernen in eine falsche Richtung leiten. Erforderlich sind Items, die das Verstehen von Zusammenhängen erfordern, das Anwenden von Wissen zur Lösung von Problemen sowie das Beurteilen von Gegebenheiten und Ergebnissen.

Stufe "Kennen"

Solange Inhalte so abgefragt werden, wie sie im Lehrbuch oder Skript stehen, also lediglich im Gedächtnis gespeicherte Informationen abgerufen werden müssen, wird auf der untersten kognitiven Anspruchsstufe "Kennen" geprüft. Dies gilt nicht nur für Begriffe oder isolierte Einzelfakten, sondern auch für komplexere Inhalte wie Prinzipien oder Theorien.

Stufe "Verstehen"

Verstehen kann geprüft werden, wenn die Kandidaten zur Beantwortung eines Items

• Informationen analysieren, verknüpfen, integrieren,
• Informationen transformieren (z.B. Bild, Grafik Sprache),
• Zusammenhänge erfassen,
• Schlussfolgerungen ziehen müssen.

Stufe "Anwenden und Beurteilen"

Anwenden und Beurteilen kann geprüft werden, wenn die Kandidaten zur Beantwortung eines Items

• erworbenes Wissen auf neue Situationen übertragen (abstrahieren, transferieren, generalisieren),
• erworbenes Wissen zum Lösen von Problemen einsetzen,
• Informationen (Gegebenheiten, Ergebnisse) beurteilen, bewerten, gewichten und Folgen abschätzen müssen.

Diese 3-stufige Taxonomie (Guilbert, 1998) beruht auf der 6-stufigen Bloom'schen Taxonomie (Bloom, 1976). Die Kategorien "Analyse" und "Synthese", die in letzterer zwischen "Anwenden" und "Beurteilen" eingefügt sind, werden hier als Teilaspekte des Problemlösens und z.T. auch des Verstehens erachtet.

erforderliche Informationsverarbeitung

Kompetenzorientiertes Prüfen auf den Stufen "Verstehen" sowie "Anwenden und Beurteilen" erfordert die Vorgabe zu verarbeitender Informationen wie z.B.

• konkrete (Patienten-)Fälle, Probleme usw.,
• Bilder, Grafiken, Schemata, Pläne usw.,
• Messdaten, z.B. Laborwerte, Tabellen usw.,
• Zitate aus Publikationen, Berichten, Verschreibungen usw.,
• bei Prüfung am PC: Filmsequenzen, Tondokumente usw.

Empfehlung 3: Authentisch und fokussiert fragen mit homogenen Antworten

Bei der Entwicklung eines Items sollte überlegt werden, in welchem Kontext das zu prüfende Wissen in der weiteren Ausbildung oder der beruflichen Tätigkeit erforderlich sein könnte, wie sich dort eine entsprechende Frage stellen würde.

Mit erhöhter Wahrscheinlichkeit stellen sich Fragen im Anwendungskontext real, konkret, vorwärtsorientiert und fokussiert.

Fragestellung real, konkret

Fragestellung real, konkret (nicht lehrbuchhaft, abstrakt). Hier ist u.a. zu überdenken, wie gefiltert und verarbeitet Informationen präsentiert werden sollen, auf deren Grundlage die Frage zu beantworten ist. Im klinischen Bereich etwa: Problemschilderung in Patientensprache oder Fachsprache? Präsentation von Bildern und Labordaten oder bereits Nennung der diesbezüglichen Befunde?

Variationen können hier nicht nur die inhaltliche Gültigkeit, sondern auch die Messzuverlässigkeit beeinflussen. In Untersuchungen von Eva, Wood, Riddle, Touchie und Bordage (2010) wirkte es sich in Diagnosefragen nur bei leistungsschwachen Kandidaten erschwerend aus, wenn Symptome in der Fallschilderung authentisch in Laiensprache statt in medizinischer Fachterminologie präsentiert wurden. Bei ausschließlicher Verwendung von Laiensprache resultierte zudem die höchste Messzuverlässigkeit. Kandidaten mit ungenügender Leistung können damit also zuverlässiger identifiziert werden.

Bei der Abwägung, ob man sich bei der Fallschilderung auf lösungsrelevante Informationen beschränken soll oder wieweit auch irrelevante oder gar untypische Befunde mit aufgeführt werden sollen, sind die Ausbildungsstufe der Kandidaten und die zur Verfügung stehende mittlere Beantwortungszeit pro Frage zu berücksichtigen. Auch sollte es nie darum gehen, unfaire Fallstricke auszulegen. Bis zum Ende der Grundausbildung empfiehlt es sich deshalb, ziemlich geradlinige, prototypische Fälle zu verwenden.

Findet die Prüfung am PC statt, kann durch Multimedia die Authentizität zusätzlich erhöht werden: dreidimensionale bewegbare Bilder, Filmsequenzen, Tondokumente usw. Illustrierte Beispiele mit konkreten Empfehlungen zur Erstellung und zum Einsatz solcher medialer Informationsbereicherungen finden sich in Paniagua und Swygert (2016) auf den Seiten...