Die richtige Dosis „Digital“ bei Wissensüberprüfungen und Tests

Wissensüberprüfungen und Tests mit der richtigen Dosis an Digitalisierung zu gestalten, wird zunehmend zur kritischen Herausforderung von Bildungseinrichtungen. Gleichzeitig steckt in diesem Thema wohl das derzeit größte Potenzial für die Weiterentwicklung der Branche. In drei Anwendungsfällen zeigt dieser Beitrag das Potenzial und die unterschiedlichen Einsatzmöglichkeiten unserer Prüfungssoftware auf.

Das Potenzial von Prüfungssoftware

Die Gestaltung von Wissensüberprüfungen – im Sinne von formativen Lernfortschrittskontrollen – sowie Abschlusstests stellen eine wesentliche und gleichzeitig didaktisch anspruchsvolle Arbeit von Bildungseinrichtungen dar. Der Einsatz von Software hat dabei für PrüfungskandidatInnen, Prüfende und Bildungseinrichtungen eine Reihe von Vorteilen.

Bildungseinrichtungen profitieren beispielsweise von reduzierten Aufwänden bei der Erstellung und Auswertung von Prüfungen. Darüber hinaus kann bei der Erstellung der Prüfungsfragen an zentraler Stelle eine Qualitätssicherung erfolgen. Das vereinfachte Durchführen von Prüfungen ermöglicht insbesondere im unternehmerischen Kontext eine verbindlichere Umsetzung von Lernangeboten. So können Prüfungen z.B. bei Blended Learning-Formaten ohne wesentlichen Mehraufwand eingesetzt werden, um das vermittelte Wissen zu wiederholen bzw. abzuprüfen. Erfolgt die Wissensvermittlung bereits online, so ermöglicht die Prüfungssoftware ein homogenes Angebot hinsichtlich des Medienformats – ein Medienbruch zwischen Lernen im virtuellen Kursraum und der Prüfung wird dadurch verhindert.

Prüfende profitieren von schnelleren Bearbeitungszeiten bei der Erstellung und Auswertung von Prüfungen sowie einer Standardisierung der Feedbackqualität. Bei der automatisierten Auswertung greift die Prüfungssoftware auf vorab definierte Musterlösungen zurück und spart somit nicht nur Zeit, sondern schafft auch eine objektivierte Distanz zwischen den Prüfenden und PrüfungskandidatInnen. Dies wird von Prüfenden in der Regel als wesentlicher Vorteil gesehen.

PrüfungskandidatInnen profitieren in der Regel von einer schnelleren Rückmeldung ihrer Prüfungsergebnisse. Außerdem können fehlerhafte oder intransparente Korrekturen durch den Einsatz einer Prüfungssoftware verhindert werden. Ein besonderer Vorteil für PrüfungskandidatInnen ergibt sich vor allem dann, wenn zusätzlich zur Prüfungsabwicklung auch noch eine Übungsmöglichkeit angeboten wird, die es ihnen ermöglicht, sich auf die Prüfung online vorzubereiten. Dadurch können gezielt Schwächen identifiziert und bearbeitet werden. Darüber hinaus werden die PrüfungskandidatInnen mit dem Frageformat vertraut gemacht.

Moderne Prüfungssoftware bietet in den jeweiligen Phasen (1) Fragenentwicklung & Prüfungserstellung, (2) Durchführung & Bewertung, (3) Ergebniskommunikation sowie (4) Metaanalyse, die richtigen Tools an, um eine effektive Prüfungsgestaltung zu ermöglichen. In der Folge werden Anwendungsfälle unterschieden, die auf diese Phasen Bezug nehmen.

Anwendungsfall „Fragenpool für Fragenentwicklung und Prüfungserstellung“

Bei der Fragenentwicklung und Prüfungserstellung stellt eine Prüfungssoftware einen zentralen Fragenpool zur Verfügung. Fragen können in unterschiedlichen Formaten erfasst werden. Im Format Lückentext, Einfach- und Mehrfachauswahl sowie Zuordnungsfragen sind sie automatisiert auswertbar und ermöglichen das Hinterlegen von Musterlösungen, Bewertungsschemata und zusätzlichem Feedback. Vorhandene Importmöglichkeiten in der Prüfungssoftware unterstützen dabei eine schnelle Erstellung von Fragen in diesen Formaten. Offene Fragen können in der Folge teilautomatisiert ausgewertet werden, indem beispielsweise Schlagwörter hinterlegt werden. Die Prüfungssoftware vergleicht beim Bewertungsvorgang die Antworten der PrüfungskandidatInnen mit den Schlagwörtern und bietet den Prüfenden eine Punkteempfehlung an.

Der Fragenpool dient auch als Basis für die Zusammenstellung von Prüfungen, wobei diese voll- oder teilautomatisiert erfolgen kann. Bei der teilautomatisierten Variante können die Prüfenden entscheiden, wie viele Fragen per Zufall aus einzelnen Themenbereichen zu einer Prüfung zusammengestellt werden sollen. Dabei können Prüfungen auch in mehreren Varianten – sogenannten Scramblings – erstellt werden.

Der Fragenpool dient als organisatorisches Gedächtnis für eine Bildungseinrichtung, da er für sie oft eine geschäftskritische Ressource darstellt. Selbst schon kleine Bildungseinrichtungen profitieren von einem Fragenpool und machen so das Erstellen der Prüfungen unabhängiger von den Prüfenden.

Anwendungsfall „Softwareunterstützung bei Prüfungsdurchführung und -bewertung“

Bei der Prüfungsdurchführung und -bewertung ist eine Softwareunterstützung dahingehend hilfreich, als dass sich die Prüfung nahtlos in die E-Learning-Umgebung integriert bzw. eine automatisierte Auswertung ermöglicht wird. In diesem Anwendungsfall gilt es zu unterscheiden, ob die Prüfung papierbasiert oder online durchgeführt wird.

Online-Prüfungen sind organisatorisch mit weniger Aufwand verbunden, insbesondere wenn der eigene Laptop oder PC verwendet werden kann und Abstriche hinsichtlich einer perfekten Authentifizierung der PrüfungskandidatInnen gemacht werden können. Papierbasierte Prüfungen ermöglichen eine verlässliche Authentifizierung der PrüfungskandidatInnen und erschweren ein „Schummeln“ und skalieren organisatorisch, da sich die „Hardware-Anforderungen“ auf einen Bleistift oder Kugelschreiber beschränken. Um eine papierbasierte Prüfung mit der Prüfungssoftware automatisiert auswerten zu können, ist die Verwendung von Belegscannern erforderlich, die bis zu 100 Prüfungsbelege pro Minute verarbeiten können.

Durch die Softwareunterstützung bei der Prüfungsdurchführung und -bewertung wird der Prüfungsprozess im Gesamten beschleunigt und macht diesen weniger fehleranfällig. Die Ergebnisse liegen kurze Zeit nach der Prüfungsdurchführung vor und die PrüfungskadidatInnen sowie deren Vorgesetzte können bei Bedarf automatisiert über die Ergebnisse informiert werden.

Anwendungsfall „Metaanalyse von Übungs- und Prüfungsergebnissen“

Dieser Anwendungsfall hat derzeit das größte Potential für Verbesserungen und ist auch Gegenstand von aktueller Forschungs- und Entwicklungsarbeit. Durch das Analysieren der Antworten bei Übungs- und Prüfungsfragen lassen sich nämlich wertvolle Schlüsse für PrüfungskandidatInnen und Bildungseinrichtungen ziehen. So zeigt eine Metaanalysefunktion beispielsweise jene 10 Prozent an Fragen, die die besten PrüfungskandidatInnen nicht erfolgreich beantworten konnten. Bei diesen Fragen liegt dann der Verdacht nahe, dass die Wissensvermittlung nicht erfolgreich umgesetzt wurde oder dass die Fragenformulierung Mängel aufweist.

Derzeit arbeiten wir an Algorithmen, um im Rahmen von Übungsszenarien jene Fragen gezielter zu präsentieren, die am ehesten die Schwächen des jeweiligen Prüfungskandidaten oder der -kandidatin adressieren, um hier rechtzeitig vor der Prüfung Wissenslücken zu schließen. Insbesondere in den Übungsumgebungen mit mehreren tausend PrüfungskandidatInnen haben solche Algorithmen das Potenzial, die Prüfungsvorbereitung wesentlich zu verbessern.

Stichworte

Zielgruppe
Bildungsverantwortliche.

Methodik
Softwareunterstützung und Beratung für die Phasen (1) Fragenentwicklung & Prüfungserstellung, (2) Durchführung & Bewertung, (3) Ergebniskommunikation sowie (4) Metaanalyse.

Portfolio
Lernmanagement- und Prüfungsplattform 2know2.com, Educanext (Digi-Book Autorensystem), eLearning Content-Entwicklung, didaktische Lehr- und Lerndesigns, Bildungscontrolling, 360-Grad-Feedback.

Referenzkunden
Daimler AG, Wiener Linien, Wirtschafskammer Österreich, RE/MAX, Projektmanagement Austria, u.v.m.

Franz Müller, MMSc

ist Senior Consultant bei der Knowledge Markets Consulting GmbH. Er absolvierte an der Wirtschftsuniversität Wien die Masterstudiengänge Wirtschaftsinformatik und Wirtschaftspädagogik. Zu seinen Aufgaben bei Knowledge Markets zählen die Weiterentwicklung der Lernmanagement- und Prüfungsplattform 2know2.com sowie die Erstellung didaktischer Konzepte von E-Learning-Inhalten.

Dr. Bernd Simon

ist Geschäftsführer der Knowledge Markets und wissenschaftlicher Mitarbeiter an der Wirtschaftsuniversität Wien. Er ist Absolvent der Wirtschaftsuniversität Wien und der Stern School of Business der New York University und gründete 2005 gemeinsam mit Prof. Dr. Gustaf Neumann die Knowledge Markets.