Kategorie: eTesting

Mit der Digitalisierung der Prüfungen durch die Entwicklung einer Online-Prüfungsplattform ist es gelungen, an mehreren Stellschrauben gleichzeitig zu drehen: weniger Organisationsaufwand, bessere und schnellere Auswertbarkeit und damit Qualitätssteigerung. 100% zukunftsorientiert!

Die zentralen Abschlussprüfungen sind sehr häufig mit hohem Vorbereitungs- und Nachbereitungsaufwand verbunden. Um einerseits den Aufwand zu reduzieren und andererseits die Qualität der Prüfungen zu heben, hat es sich der Verband des KFZ-Gewerbes Nordrhein-Westfalen zur Aufgabe gemacht, ein Online-Format für die Gesellenprüfungen zu schaffen. Der Verband unterstützt seine 46 Regionalorganisationen (Innungen) mit rund 8.000 Mitgliedsunternehmen und organisiert die halbjährlichen Gesellenprüfungen im gesamten Bundesland. Seit Frühjahr 2020 setzt der Verband hierbei auf die Prüfungsplattform ONYX der BPS (Bildungsportal Sachsen GmbH).

Motivation

Ziel des Projektes ist es, die bisher papiergebundene Prüfung auf ein Online-Format umzustellen. Dabei profitiert die Branchenorganisation durch die mittlerweile nahezu lückenlose Ausstattung der Berufskollegs mit PCs bzw. Laptops.

Mit der Online-Prüfungsplattform sollen die Prüfungen im Bundesland gleichzeitig dezentral durchgeführt werden. Pro Prüfung sind landesweit rund 4.000 Auszubildende zu betreuen. Dafür soll eine leistungsfähige Prüfungsoberfläche zum Einsatz kommen, welche erweiterbar ist und durch die Verantwortlichen vor Ort selbst bedient werden kann.

Vier Motive standen für die Branchenorganisation im Vordergrund:

1. Qualität der Prüfung: Die Visualisierung der zunehmend komplexen Aufgabenstellungen sollte durch zoom-fähige Grafiken, 3-D-Bilder und animiertes Material verbessert, die Kombination von unterschiedlichen Aufgabenformaten sichergestellt werden
2. Zeitgemäßer Auftritt: Die jugendlichen Azubis sollen die Prüfung in einer technischen Umgebung absolvieren können, die ihnen zeitgemäß und vertraut erscheint. Das Prüfungsformat ist gleichzeitig ein Statement für die Zukunftsfähigkeit des gewählten Berufes und stellt keinen Bruch mit der Arbeitsumgebung dar.
3. Entlastung der ehrenamtlichen Prüfer: erleichterte Aufsichtsführung durch individuell randomisierte Aufgabensequenzen. Antworten können ganz oder weitgehend automatisiert ausgewertet werden. Leistungsstandbeurteilung soll in einem objektivierten Verfahren erfolgen. Papierlose Archivierung der individuellen Prüfungsergebnisse erfolgt mit sicherem Datenlöschkonzept.
4. Nachhaltige Qualitätsoptimierung: Prüfungsergebnisse und statistische Daten müssen zeitnah abrufbar sein. Prüfungsaufgaben können einzeln ausgewertet werden. Jede Prüfungsaufgabe kann archiviert, optimiert und erneut verwertet werden.

Mit dem neuen Prüfungsformat konnten diese vier Ziele realisiert werden: Die Prüfungsergebnisse sind sofort verfügbar und die statistische Aufbereitung für die Prüfungsverantwortlichen kann direkt abgerufen werden. Dies ermöglicht eine einfache und direkte Bekanntgabe der Ergebnisse an die auszubildenden Prüflinge. Eine Vielzahl neuer Aufgabenformate kann abgebildet werden, die ideal ist, das Ausbildungsniveau der Prüflinge zu ermitteln. Besonders die handlungsorientierte Aufgabenstellung eines Werkstattauftrages als festgelegter Aufgabenblock ist geeignet, den Leistungsstand realistisch zu bestimmen. Die statistischen Auswertungstools helfen, die Qualität der Abschlussprüfung und somit der Ausbildung zu steigern.

Neben den Auszubildenden im KFZ-Gewerbe, die halbjährlich die Online-Prüfungsplattform zur Teilnahme an der Abschlussprüfung nutzen, gibt es folgende weitere Zielgruppen, die effektiv an der Nutzung der Plattform beteiligt sind. Diese Stakeholder sind wie folgt zugeordnet:

• Das Autorenteam der Prüfungen. Dieses setzt sich aus den Berufsschullehrkräften und den Ausbildern in den Betrieben zusammen, welche pro Halbjahr neue Prüfungsinhalte konzipieren und daher mit der Plattform vertieft umgehen können müssen.
• Sachbearbeitende der Innungen. Diesen soll es möglich sein, Prüfer sowie zu Prüfende den jeweiligen Prüfungen zuzuteilen.
• Prüfungsverantwortliche der Innungen. Hierbei handelt es sich i.d.R. um Berufschullehrer sowie Ausbilder der Betriebe. Diese müssen vor Ort an den PC-Pools Auszubildende für Prüfungen freischalten können, diese beaufsichtigen, Prüfungsergebnisse auswerten und schlussendlich veröffentlichen können.
• Systemadministratoren der jeweiligen PC-Pools. Diese sollen die richtige und leistungskonforme IT-Infrastruktur sicherstellen. Dies beinhaltet die Installation eines Prüfungs-Browsers, welcher als Basis zur Nutzung für die Prüfungsplattform genutzt wird.

Projektverlauf

Nach der Installation der Prüfungsplattform im Frühjahr 2020 bei sieben ausgewählten Innungen in Nordrhein-Westfalen wurden erste Demo-Prüfungsinhalte bereitgestellt sowie persönliche Nutzerkonten für alle Stakeholder eingerichtet. Dies diente dazu, sich mit der Prüfungsplattform vertraut machen zu können. Daraufhin wurden individuelle Schulungen für die Hauptstakeholder durchgeführt. Die Schulungsinhalte für Autoren waren das Erstellen digitaler Prüfungsfragen und die Konfiguration der Ablaufsteuerung (Navigation durch die Prüfung, Setzen von Zufallsparametern, Verwendung von intergierten Hilfsmitteln wie wissenschaftlichen Taschenrechnern oder angehängten Dateien). Für Sachbearbeitende lag der Schwerpunkt im Import von Benutzerkonten von Auszubildenden und Prüfenden und der Zuordnung der Benutzerkonten zu den jeweiligen Prüfungsteilen. Die Prüfungsverantwortlichen erlernten die Registrierung der Auszubildenden im PC-Pool am Prüfungstag sowie die Steuerung der digitalen Prüfungen. Dies umfasste auch die Schulung für Lösungswege im Falle eventuell auftretender Störungen.
Zur Optimierung und Nachbesserung des Prüfungsportals wurden mehrfach Prüfungsprobeläufe an den jeweiligen Standorten durchgeführt. Daraus resultierend konnte im September 2020 der erste Prüfungsdurchlauf in den ausgewählten Innungen durchgeführt werden. Hierbei stand BPS sowohl vor Ort als auch in Remotebetreuung unterstützend zur Seite.

Nach dem Durchlauf wurde die Promotion der ersten erfolgreich durchgeführten Prüfung des Projekts im gesamten KFZ-Verband Nordrhein-Westfalen durchgeführt. Außerdem wurden die durch den ersten Durchlauf angemerkten Verbesserungswünsche zur Optimierung der Plattform umgesetzt. Seit Frühjahr 2020 schlossen sich mit jeder halbjährlichen Abschlussprüfung immer mehr Innungen dem Konzept der Online-Prüfung an. Mit der wachsenden Zahl teilnehmender Innungen stieg auch die Zahl der Online-Prüflinge enorm an und mit jedem Durchlauf wurde die Online-Prüfungsplattform weiter optimiert. Im Mai 2021 fand die Abschlussprüfung mit 14 Innungen und insgesamt knapp 1.000 Auszubildenden statt.

Michael Dittmar, Kfz-Unternehmer und Obermeister der Innung Bochum, äußerte sich nach der Prüfung im Mai 2021: „Wir in Bochum nehmen bereits seit Beginn des Projektes an der Online-Prüfung teil und haben von Anfang an nur gute Erfahrungen gemacht: Ein stabiles IT-System und wirklich zukunftsweisende Auswertungen. Die intuitive Bedienung der Plattform führt dazu, dass die Azubis keinerlei Berührungsängste haben.“

Projektergebnis

Das Ziel einer sukzessiven Erweiterung der Prüfungsplattform auf weitere Innungen ist geglückt. Dabei war es wichtig, die bereits vorhandene Technik der PC-Pools der Innungen nutzen zu können, ohne ggf. spezielle Hard- oder Software einkaufen zu müssen: Für die Verwendung der Plattform, also zur Absolvierung einer Prüfung, sind lediglich drei Grundvoraussetzungen nötig: Ein PC, ein Internetzugang und ein aktueller Browser. Es ist eine zentrierte Prüfungslösung entstanden, welche dezentral genutzt werden kann und schlussendlich in allen Innungen des Bundeslandes Anwendung finden wird. Die Durchführung des Projektes selbst verlief vom Start an problemlos und stieß bei den Auszubildenden, aber auch bei den Verantwortlichen der Prüfungen, auf eine hohe Akzeptanz. Die Befragung der Auszubildenden und Prüfungsverantwortlichen ergab, dass die Prüfungsplattform insbesondere ausfallsicher ist und Störungsfälle leicht behoben werden können. Die Plattform ist einfach zu bedienen und versetzt die Verantwortlichen in die Lage, Prüfungen selbst organisieren zu können und somit die Prüflinge auch anzuleiten. Sie ermöglicht zentrale sowie dezentrale Prüfungssteuerungen, wodurch effiziente, datenschutzkonforme und schnelle Kontrollprozesse möglich sind. Durch verschiedene statistische Kennzahlen der Gesamtauswertung der Prüfungen kann die Qualität der Prüfungsfragen sowie der Leistungsstand der Auszubildenden, auch in Relation zu anderen Jahrgängen, evaluiert und schlussendlich gesteigert werden.

Fazit

Digitalisierung ist in aller Munde und wird gerne als Schlagwort genutzt. Die Umstellung der zentralen Abschlussprüfungen auf ein digitales Format ist nicht nur ein großer, sondern ein entscheidender Sprung. Mit 46 Innungen ist der KFZ-Verband Nordrhein-Westfalen besonders gefordert, gleiche und zentrierte Prüfungsvoraussetzungen zu schaffen. Der Einsatz einer digitalen Prüfungsplattform macht eine Zentralisierung und Qualitätssteigerung der Ausbildung möglich. „Mit der für alle Handwerke wegweisenden Online-Prüfungsplattform hat KFZ-NRW erfolgreich den Weg in Richtung „Zukunft“ beschritten. Die Digitalisierung der Ausbildung ist der erste Schritt zur gesamtheitlichen Fachkräftegewinnung und -sicherung, der im Sinne der ganzen Branche weiter konsequent verfolgt werden wird.“ äußert sich Frank Mund, Präsident des KFZ-Verbands NRW. Aus diesem Grund ist es erfreulich zu erfahren, dass die Online-Prüfungsplattform bereits in anderen Bereichen der Weiter- und Fortbildung, aber auch anderen Gewerken, erfolgreich eingesetzt wird. Die Berücksichtigung bereits existierender PC-Pools als Basis sowie das Nutzen von kostenfreier Open-Source Software, und somit die Reduktion der Kosten auf ein mögliches Minimum, ist zudem beachtlich. Die Jury des eLearning AWARD 2022 freut sich aus diesem Grund, die Auszeichnung in der Kategorie „eTesting“ an das Projekt „Digitale Prüfungen für Azubis der Kfz-Branche in Nordrhein-Westfalen“ zu vergeben.