Wie nutzt man Lerndaten von Universitäten am besten?

Mit dem Projekt sollte auf der Basis von relevanten Lerntheorien in Erfahrung gebracht werden, wie in der Hochschulbildung mit der Analyse von Lerndaten (engl. Learning Analytics) die beteiligten Akteure beim Lernprozess kontextspezifisch unterstützt werden können. Ziel war nicht die Entwicklung neuer Algorithmen für maschinelles Lernen, sondern die Bereitstellung von Lernanalyse-Tools (Messgrössen, Visualisierungen, Feedback), mit denen die Akteure – Studierende, Dozierende und Verwaltungspersonal – die Lernprozesse positiv verändern können.

Mit dem Projekt sollten folgende Fragen untersucht werden:

1. Welche Daten können die Bildungsziele der Akteure je nach Kontext wirksam unterstützen?
2. In welcher Form und auf welcher Ebene sollen diese Daten für die Beteiligten bereitgestellt werden, damit sie für diese nützlich sind?
3. Welche Auswirkungen haben diese Lernanalysen auf Lernprozesse und -ergebnisse?

Der Fokus des Projekts lag auf der Verankerung der Lernanalysen in Lerntheorien, auf der proaktiven Entwicklung von Tools mit den Akteuren und auf der empirischen Messung der Lernwirkung in kontrollierten und realen Umgebungen.

Tools für die Analyse von Lerndaten sollen datengestützte Erkenntnisse für die Optimierung von Unterricht und Lernen in der Hochschulbildung liefern. Bisher werden solche Instrumente jedoch nur begrenzt eingesetzt. Mit diesem Projekt wurde untersucht, welche Hindernisse der Nutzung im Weg stehen und mit welchen Strategien und Tools diese ausgeräumt werden können. Die Forschungsarbeit stützt sich auf Konzepte wie das Visible Learning nach Hattie, bei denen das Feedback für die Sichtbarmachung des Lernens eine zentrale Rolle spielt. Ansätze wie Design-Based Implementation Research wurden eingesetzt, um eine Brücke zwischen Forschung und Praxis zu schlagen. Ursprünglich war ein Fokus auf drei Gruppen von Akteuren vorgesehen: Lehrpersonen, Studierende und Verwaltungsangestellte. Im Projektverlauf wurde der Fokus strategisch auf Lehrpersonen und Studierende eingegrenzt, damit ein zentrales Tools rascher entwickelt werden konnte.

Projektziele:

1. Identifikation der Hindernisse für die Nutzung von Lernanalysen in der Hochschulbildung
2. Entwicklung von Strategien zur Beseitigung der identifizierten Hürden
3. Entwicklung und Bewertung von Lernanalyse-Tools, die auf die Bedürfnisse der Akteure und die Unterrichtsmethoden abgestimmt sind
4. Empirische Nachweise für die Wirkung von Lernanalysen auf Unterricht und Lernen.

Das Projekt hat mehrere bedeutende Impacts:

1. Lehrpersonen müssen mit Weiterbildungen unterstützt werden, damit die Umstellung auf Unterrichtsmethoden gelingt, die stärker auf die Studierenden ausgerichtet und an Lerndaten anpassbar sind, denn davon hängt die erfolgreiche Nutzung von Lernanalysen ab.
2. Für eine bessere Akzeptanz sollten Lernanalyse-Tools in bestehende Lernplattformen integriert und nicht als eigenständige Systeme entwickelt werden.
3. Agile, auf die Nutzenden ausgerichtete Design-Methoden sind entscheidend für die Entwicklung von Lernanalyse-Tools, die den Bedürfnissen der Akteure gerecht werden und allfällige Risiken mindern.
4. Die quantitativen Auswirkungen von Lernanalyse-Tools auf die Unterrichts- und Lernergebnisse müssen weiter erforscht werden.
5. Mögliche negative Auswirkungen von Lernanalysen auf die Dynamik im Klassenzimmer und das Verhalten der Studierenden sind zu berücksichtigen.
6. Open-Source-Tools wie Jupyter Analytics bieten Möglichkeiten für eine breitere Nutzung und Forschung im Bereich Lernanalysen in der Hochschulbildung.

Damit das Potenzial von Lernanalysen ausgeschöpft wird und die Risiken minimiert werden können, braucht es Änderungen in der Hochschulpolitik, der Dozierendenausbildung, der Entwicklung von Lehr- und Lerntechnologien sowie weitere Forschungsarbeiten.

Drei Main Messages

1. Es reicht nicht, die Akteure im Umgang mit Lernanalyse-Tools zu schulen.
   Ein erstes Hindernis für die Nutzung besteht darin, dass diese Tools oft nicht mit den Lehrmethoden der Dozierenden vereinbar sind. Lernanalysen können in einem Kurs nur effektiv genutzt werden, wenn Dozierende adaptiv und flexibel unterrichten. Denn Lernanalyse-Tools können in einem unerwarteten Zeitpunkt und zu ungeplanten Themen Feedback geben. Viele Dozierende planen hingegen ihren Unterricht so, dass sie ihn nicht spontan anpassen können, zum Beispiel bereiten sie alle Kursunterlagen am Anfang des Semesters vor. Gemäss den Untersuchungen des Forschungsteams haben Dozierende, die streng nach Planung unterrichten, ein «dozierendenzentriertes» Denken, während Lehrpersonen, die flexibler unterrichten, eher «studierendenzentriert» denken. Deshalb genügt es nicht, den Dozierenden nur zu zeigen, wie sie Lernanalyse-Tools einsetzen können, denn sie nutzen diese aus tieferliegenden Gründen nicht. Dozierende in der Hochschulbildung benötigen eine Weiterbildung, die sie beim Übergang von einem «dozierendenzentrierten» zu einem «studierendenzentrierten» Ansatz unterstützt.
2. Für eine schnellere Entwicklung und Nutzung von Lernanalysen sollten Bildungsinstitutionen auf digitale Plattformen umsteigen, die Plugins oder Erweiterungen unterstützen.
   Das zweite Hindernis besteht darin, dass die Kosten für die Nutzung von Lernanalyse-Tools für die meisten Akteure zu hoch sind. In der Hochschulbildung ist Zeit die wertvollste Ressource, und die meisten Lernanalyse-Tools beanspruchen viel Zeit der Nutzenden. Suche, Installation, Erlernen und Nutzung neuer Software erfordern mehr Ressourcen, als die meisten Akteure im Hochschulbereich haben. Daraus resultiert unsere zweite Empfehlung. Statt neue Software von Grund auf zu entwickeln, sollten neue Tools, die aus der Forschung und Entwicklung im Bereich der Lernanalyse resultieren, in bestehende, weit verbreitete Plattformen wie Moodle, Tableau oder Jupyter Notebook integriert werden. Bildlich gesprochen sollten Lernanalyse-Tools als trojanisches Pferd gedacht werden. Die Kosten für die Installation eines Plugins in einem bereits bekannten System wie Moodle sind weitaus geringer als die Kosten für die Einführung einer ganz neuen Software. Wenn Institutionen den Akteuren digitale Open-Source-Plattformen zur Verfügung stellen, die durch Plug-ins leicht erweiterbar sind, öffnen sie damit für die Entwicklung von Lernanalyse-Tools eine Eintrittspforte und bauen eine Hürde ab.
3. Agile, auf die Nutzenden ausgerichtete Design-Methoden tragen dazu bei, dass Lernanalyse-Tools für die Akteure nützlich sind und dass Risiken erkannt und reduziert werden.
   Das Forschungsteam konzipierte und entwickelte die neuartige Lernanalyseplattform Jupyter Analytics als erste End-to-End-Analyseplattform, die in Jupyter Notebook integriert ist. Die Entwicklung erfolgte gemeinsam mit Dozierenden und Unterrichtsassistenzen, und es wurde grossen Wert darauf gelegt, ein Open-Source-System bereitzustellen, das einfach zu installieren und zu nutzen ist und die Sicherheit und den Schutz der Privatsphäre gewährleistet. Jupyter Analytics wird bereits in vielen Bildungseinrichtungen in der Schweiz eingesetzt, und das Forschungsteam arbeitet mit internationalen Dozierenden zusammen, die es in ihren Unterricht integrieren möchten.

Uni Analytics: What, How, and Why Do Different Educational Stakeholders Use Learning Analytics in Higher Education?