Stifte raus, Test! Die digitale Prüfung via Tablet.
Digitalisierung komplexer Prüfungsprozesse mit dem Examination Tool

v.l. Dirk Rutz (Dirk Rutz Bildungslösungen GmbH), Frank Siepmann (eLearning Journal), Insa Bäumker und Christoph Hambermann (Dirk Rutz Bildungslösungen GmbH)

Prüfungen an Schulen, Universitäten und in der beruflichen Qualifizierung werden zunehmend digital durchgeführt. Beim eTesting müssen Prüfungen nicht länger von Hand erstellt, ausgefüllt und ausgewertet werden. Und es gibt weitere Vorteile, die mit dem eTesting überhaupt erst möglich werden!

Die Airbus Helicopters Deutschland GmbH ist führend in der Herstellung von Zivil- und Militärhelikopter sowie Flugzeugbauteilen. Weltweit sind etwa 12.000 Helikopter bei über 3.000 Betreibern im Einsatz. In Deutschland existieren mit der Training Academy Kassel und der Training Academy Donauwörth zwei wichtige Trainingsstandorte. Während in Kassel die allgemein theoretische und praktische Ausbildung von technischem Personal stattfindet, werden in Donauwörth typspezifische Trainings durchgeführt. An diesen und 16 weiteren Trainingsstandorten wird die digitale Unterrichtslösung AH-Emanuals eingesetzt. Zu dieser gehört seit kurzem auch das Examination Tool als digitalisiertes Testsystem.

Projektverlauf

Seit vier Jahren wird zur Bereitstellung und zum Arbeiten mit digitalen Unterrichtsmaterialien und –medien die Unterrichtslösung AH-Emanuals erfolgreich eingesetzt. Der Leiter der Airbus Training Academy Kassel und der Leiter der Flugschule Donauwörth haben als Projektinitiatoren den Bedarf daran gesehen, die Testverfahren für ihre Trainees, Ausbilder und Trainer sowie den Prüfungsverantwortlichen zu digitalisieren und somit die Prüfverfahren zu verbessern und zu beschleunigen. Als Resultat wurde das Examination Tool als Erweiterung von AH-Emanuals entwickelt. Dabei kann das Lehrpersonal Prüfungen aus Fragenpools zusammenstellen, den Trainees zuweisen und die Prüfungen auf Tablets durchführen lassen. Nach der Übernahme mehrerer tausend Multiple Choice Fragen, Antwortitems und Aufgabenbildern wurden diese in die Systemerweiterung eingespeist und mit Parametern versehen.

Projektergebnis

Mit der Digitalisierung des Test-Workflows für Auszubildende und Trainees baut Airbus Helicopters die elektronische Unterrichtslösung AH-Emanuals weiter aus. Das Examination Tool erfüllt dabei drei Hauptfunktionen: Die automatisierte (oder manuelle) Testgenerierung, die digitalisierte Testdurchführung, welche wahlweise auf dem Tablet des Lernenden oder in Papierform absolviert werden kann, sowie die Testauswertung mit detaillierten Reportfunktionalitäten.

Anhand klar definierter Prüfungsvorgaben (z.B. wie viele Fragen unterschiedlichen Schwierigkeitsgrades und aus welchen Syllabi) werden per Zufall Prüfungsfragen aus dem bestehenden Fragenpool zusammengestellt. Dabei wird bei der Reihenfolge der Fragen sowie der Reihenfolge der Antwortmöglichkeiten variiert, sodass jeder Prüfungsteilnehmer zwar die gleichen Testaufgaben zu bearbeiten hat, jedoch nicht vom jeweils anderen abschreiben kann. Des Weiteren können die Fragen um Bilder und Grafiken, wie zum Beispiel ein Schaltdiagramm, ergänzt werden, die für die Beantwortung von Relevanz sind.

Bei den Tests kann zudem zwischen einem offenen und einem geschlossenen Prüfungsteil unterschieden werden. Beim offenen Prüfungsteil sind Hilfsmittel wie Flug- und Wartungshandbücher zur Beantwortung der Fragen zugelassen, während im geschlossenen Prüfungsteil die Nutzung derselbigen untersagt ist.

Alle Prüfungsteilnehmer beginnen gleichzeitig mit der Prüfung – dies geschieht dann entweder analog über das Öffnen eines Prüfungsumschlags oder digital über eine PIN-Eingabe auf dem Tablet. Die Prüfungsdauer ergibt sich aus der Anzahl der Fragen und der maximalen Beantwortungszeit einer Frage. Nach Ablauf der maximal verfügbaren Zeit, die der Prüfungsteilnehmer fortwährend angezeigt bekommt, wird die Prüfung automatisch beendet und das Prüfungsergebnis zur Auswertung übermittelt.

Eine vorzeitige Abgabe ist möglich, wobei der Prüfungsteilnehmer einen Warnhinweis angezeigt bekommt, wenn er noch nicht alle Fragen beantwortet hat. Diese können dann direkt aufgerufen und bearbeitet werden. In nur wenigen Minuten hat der Prüfungsteilnehmer sein Prüfungsergebnis vorliegen. Über diverse Reports können beispielsweise die Fehlerquoten einzelner Fragen pro Prüfung oder historisch über alle Prüfungen ermittelt werden.

Dadurch kann der Trainer Themen identifizieren, bei denen ein möglicher Nachschulungsbedarf besteht oder Fragen hinsichtlich ihrer Verständlichkeit nachschärfen und im Fragenpool für künftige Tests optimieren.

Fazit

Um die Vorgänge, die bei der Durchführung einer Prüfung anfallen, zu beschleunigen und für beide Seiten – Prüfer als auch Prüfungsteilnehmer – zu vereinfachen, wurde die digitale Unterrichtslösung AH-Emanuals der Airbus Helicopters Deutschland GmbH durch das „Examination Tool“ erweitert. Ein digitales Testverfahren, das Tests automatisiert generiert, sie digital an die Prüfungsteilnehmer verteilt und nach Durchführung anschließend in wenigen Minuten auswertet.

Die Prüfer müssen jetzt nicht mehr mühevoll manuell auswerten und eine fehlerhafte Auswertung ist ausgeschlossen. Auszubildende und Trainees müssen nicht längere Zeit auf ihre Prüfungsergebnisse warten. Mit dem Projekt ist es Airbus Helicopters gelungen, ihre Prüfungen und Prüfungsverordnungen vollständig zu digitalisieren – und das über den gesamten Workflow hinweg, der somit an Effizienz gewinnt.

Dafür zeichnet die Jury des eLearning Journals die beiden Projektpartner Airbus Helicopters Deutschland GmbH und Dirk Rutz Bildungslösungen GmbH in der Kategorie „eTesting“ aus.


Vorgaben & Besonderheiten

Vorgaben:
Der Unterricht mit digitalen Trainingsmedien über Schülertablets wird bei Airbus Helicopters bereits erfolgreich praktiziert. Was noch fehlte, war ein digitalisiertes Testverfahren, das den Prüfungs-anforderungen und behördlichen Vorgaben entspricht.

Besonderheiten:

Mit dem Examination Tool können Prüfungen ortsunabhängig und effizient erstellt, verteilt, durchgeführt und ausgewertet werden. Die Prüfungsergebnisse liegen binnen weniger Minuten vor. Ferner ist der Einsatz in anderen Ausbildungszentren ohne Mehraufwand und in der gewünschten Prüfungssprache möglich. Statistik- und Reporting-Funktionen ermöglichen das Erkennen von Nachschulungsbedarfen. Alle Prüfungsergebnisse werden dauerhaft und revisionssicher gespeichert, z.B. für behördliche Audits.


Projektpartner

Dirk Rutz Bildungslösungen GmbH

Dirk Rutz
Geschäftsführer

Dirk Rutz Bildungslösungen GmbH
DR-B learning solutions
Römerstraße 7
D-86922 Eresing
dirk.rutz@dr-b.eu
www.dr-b.eu

Airbus Helicopters Deutschland GmbH

Dr. Thomas Eibl
Training Media Manager

Airbus Helicopters Deutschland GmbH
EBSTT
D-86607 Donauwoerth

thomas.eibl@airbus.com
www.airbushelicopters.com