1 Digitale Prüfungen - eine Einführung
Dieses Kapitel soll eine Übersicht über digitale Prüfungen geben: Welche Vor- und Nachteile gibt es und in welchen Bereichen werden sie eingesetzt? Zu Beginn geht es um die Definition und die verschiedenen Bezeichnungen von digitalen Prüfungen.
1.1 Definition und Abgrenzung
Analog vs. digital
Dieses Buch behandelt digitale (und somit nichtanaloge) Prüfungen. Gibt es überhaupt eine klare Unterscheidung zwischen analogen und digitalen Prüfungen und wenn ja wie ist diese zu verstehen? Prüfungen auf Papier zählen grundsätzlich zu den analogen Prüfungen, Prüfungen mit dem Computer zu den digitalen. Wenn man aber bedenkt, dass die Lehrperson eine schriftliche Prüfung vermutlich mit Word (oder einem ähnlichen Programm) erstellt und durch Bilder aus der Google-Bildersuche ergänzt, die Lernenden per E-Mail über die Prüfung informiert, die Noten nach der Prüfung in Excel auswertet und letztendlich in das Notensystem der Schule einträgt, dann ist es schwierig, eine klare Abgrenzung zum Digitalen zu erkennen. Schriftliche Prüfungen sind analog, aber nicht jede analoge Prüfung ist schriftlich. Auch bei anderen analogen Prüfungsformen gibt es digitale Komponenten, zum Beispiel beim mündlichen Prüfen im Distanzunterricht über Teams, inklusive Protokollieren in Word.
Bezeichnungen
Es gibt verschiedene Bezeichnungen für digitale Prüfungen, vermutlich auch deshalb, weil diese Disziplin vergleichsweise jung ist und sich noch keine einheitliche Bezeichnung durchsetzen konnte. Man spricht auch von elektronischen Prüfungen, ePrüfungen, E-Assessments, E-Klausuren, computergestützten Prüfungen oder Online-Prüfungen. Je nach Autorin oder Autor werden diese Bezeichnungen unterschiedlich verwendet und genauer definiert. Die Wahl der Bezeichnung «digitale Prüfung» in diesem Buch erfolgte aufgrund der Abgrenzungen zu analogen Prüfungen und weil für ihre Durchführung digitale Medien benötigt werden.
Digitale Prüfungen zeichnen sich unter anderem dadurch aus, dass sie durch einen Computer korrigiert werden können. Man könnte somit in diesem Buch digitale Prüfungen als Prüfungen definieren, die nicht nur digital erstellt und durchgeführt werden, sondern auch digital, durch den Computer, korrigiert werden können. Es wäre allerdings schade, sich ausschliesslich darauf zu beschränken, nur um die Begriffsdefinition zu erfüllen. In diesem Buch wird der Begriff «digitale Prüfung» deshalb als Überbegriff verwendet, und es werden weitere Formen der digitalen Prüfung angesprochen, wenn diese Sie als Lehrperson weiterbringen können.
Weitere Begriffe, die ich in diesem Zusammenhang verwende:
- Technologiebasierte Prüfungen: Gregor Turnherr spricht in Handlungskompetenzen prüfen (2020) von «technologiebasierten Prüfungen», um die verschiedenen Möglichkeiten von digitalen Prüfungen unter einem Oberbegriff zusammenzufassen.
- Diagnostische Assessments: Diagnostische Assessments werden zu Beginn des Lernprozesses durchgeführt. Sie unterscheiden sich damit von formativen Assessments, die während des Lernprozesses durchgeführt werden, und von summativen Assessments, die nach dem Lernprozess durchgeführt werden (Handke & Schäfer, 2012).
- Classroom-Assessment-Techniques (CATs): CATs sind formative technologiebasierte Prüfungen, die sich auf die Aktivitäten der Lernenden und deren Lernprozesse beziehen. CATs sind anonym, und es gibt keine falschen Antworten, daher werden sie auch nicht automatisch korrigiert (Walzik, 2012, S. 71-72).
Zusätzlich gibt es auch beratende digitale Prüfungen, die vor einer Bildungsmassnahme durchgeführt werden, wie beispielsweise das Online-Self-Assessment, den Studieneignungstest oder die Laufbahnberatung (Arnold, Kilian, Thillosen, & Zimmer, 2018). Dieses Buch geht jedoch nur auf das Online-Self-Assessment ein.
Für die Qualität einer Prüfung ist nicht die Definition entscheidend, sondern das Erfüllen der Gütekriterien.
1.2 Erfüllen digitale Prüfungen die Gütekriterien?
Eine gute Prüfung erfüllt im Idealfall bestimmte Gütekriterien (Städeli & Pfiffner, 2018, S. 70-71) und erreicht sie im Realfall möglichst gut. Dies gilt für alle Prüfungsformen und ist keineswegs auf analoge Prüfungen beschränkt. In diesem Unterkapitel wird untersucht, inwiefern digitale Prüfungen die Gütekriterien erfüllen.
Nachfolgend werden die vier Gütekriterien für Prüfungen beleuchtet (für eine detailliertere Beschreibung vgl. Städeli & Pfiffner, 2018).
Definition:
Wird das gemessen, was man messen will?
Merkmale:
Die Prüfung soll ein Abbild des Unterrichts sein.
Das Prüfungsniveau entspricht dem Unterrichtsniveau.
Beurteilung:
Die Validität/Gültigkeit ist bei digitalen Prüfungen nicht immer erreichbar.
Wie soll man darauf reagieren?
Werden digitale Prüfungen summativ durchgeführt, muss alles, was geprüft wird, in jedem Fall im Unterricht geübt worden sein. So macht es zum Beispiel keinen Sinn, Multiple-Choice-Aufgaben an der Prüfung zu verwenden, wenn vorgängig im Unterricht offene Aufgaben auf höheren Taxonomiestufen9 (siehe «Taxonomie der kognitiven Lehr- und Lernziele», S. 54 ff.) bearbeiten wurden.
Aber: Digitale Prüfungen bieten auch Möglichkeiten, die schriftliche Prüfungen nicht haben, mit denen man in gewissen Fällen gezielt valide wird, zum Beispiel wenn der geprüfte Inhalt selbst digital ist (siehe «Kompetenzorientierung», S. 18). Sollen beispielsweise CAD-Zeichnungen erstellt, Statistikprogramme verwendet oder programmiert werden, kann sich die Verwendung von digitalen Prüfungen aus handlungskompetenzorientierter Sicht sogar als notwendig erweisen (Küppers & Schroeder, 2017, S. 307-318).
Grundsätzlich gilt: Kann die Validität/Gültigkeit nicht erreicht werden, sollte keine digitale Prüfung durchgeführt werden. (Dies gilt allerdings auch für alle anderen Prüfungsformen.)
Tabelle 1: Validität/Gültigkeit
Definition:
Gleiche Resultate bei unterschiedlichen Prüfenden und/oder gleichen Bedingungen.
Merkmale:
Verschiedene Lehrpersonen kommen zu den gleichen Resultaten und Bewertungen der gleichen Prüfung.
Beurteilung:
Bei digitalen Prüfungen ist dies fast maximal erreichbar, da sich die Bewertung auch bei wiederholtem Korrigieren nicht ändert und die menschlichen Beurteilungsfehler ausbleiben.
Wie soll man darauf reagieren?
In der Regel erfüllen digitale Prüfungen dieses Gütekriterium sehr gut; der menschliche Beurteilungsfehler existiert beim automatischen Korrigieren nicht. Es kann jedoch vorkommen, dass sich ein Fehler bei der Aufgabenstellung eingeschlichen hat. Es ist klar, dass die Lehrperson diesen im Nachhinein zugunsten der Lernenden korrigiert.
Tabelle 2: Objektivität/Reliabilität
Definition:
Die Prüfung kann von allen Prüfungskandidat/-innen im selben Setting bearbeitet werden.
Merkmale:
Prinzip: «Wer lehrt, der prüft.» Die Lehrperson, die den Unterricht durchgeführt hat, soll auch die Prüfung erstellen und durchführen.
Lernziele, Hilfsmittel usw. sind allen Lernenden zur gleichen Zeit bekannt. Es gibt Nachteilsausgleiche.10
Beurteilung:
Im üblichen Rahmen erreichbar. Dies hängt primär von der Lehrperson ab und unterscheidet sich kaum von analogen Prüfungen.
Wie soll man darauf reagieren?
Es muss sichergestellt werden, dass ein Laptop vorhanden ist. Digitale summative Prüfungen ohne BYOD machen wenig Sinn (ausser es existiert ein Computerraum). Formative Prüfungen können notfalls auch mit einem Handy durchgeführt werden, ansonsten braucht es Grundkenntnisse im Umgang mit Computern. In BYOD-Schulen sollten diese entweder in einer Einführungswoche sichergestellt werden, ansonsten ist jedes Fach bzw. die Lehrperson dafür verantwortlich. Die Lehrperson, die den Unterricht durchgeführt hat, sollte genügend Kenntnisse über digitale Prüfungen haben, um sie selbst zu erstellen. Glücklicherweise hält sich die Komplexität beim Durchführen digitaler Prüfungen in Grenzen. Das Lösen von Prüfungsaufgaben soll an praktischen Beispielen geübt werden (siehe Kriterium «Validität»). Zusätzlich zu den Nachteilsausgleichen sind auch technische Hilfestellungen...
