Kompass KI

Zehn Schülertexte, zehn Bewertungen – und teilweise völlig unterschiedliche Ergebnisse. Für Rainer Mühlhoff ist der Fall klar: KI-basierte Korrektur- und Feedbacksysteme sind zu unzuverlässig für die Leistungsbewertung.
Aber tragen die Daten diese Schlussfolgerung wirklich? Wir schauen uns zwei Studien von Mühlhoff genauer an und fragen, was sie tatsächlich über Variabilität, Reliabilität und die Qualität von KI-Feedback zeigen – und was die Forschung zum Vergleich von menschlicher und automatisierter Bewertung dazu sagt.
Mühlhoff, R., & Henningsen, M. (2024). Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben. arXiv.
Mühlhoff, R., & Quägwer, S. (2026). Automatisierte Korrektur mit KI? Wir testen zwei verbreitete Tools. SEMINAR – Lehrerbildung und Schule, 32(2), 62–76.
Yun, J. (2023). Meta-analysis of inter-rater agreement and discrepancy between human and automated English essay scoring. English Teaching, 78(3), 105–124.
Huang, Y., Palermo, C., & Wilson, J. (2026). Accuracy and fairness of generative AI in automated essay scoring: Comparing GPT-4o, feature-based models, and human raters. Assessing Writing, 69, 101047.

In dieser Folge geht es ausnahmsweise nicht um eine KI-Studie. Stattdessen sprechen wir mit dem weltweit bekanntesten Bildungsforscher John Hattie über KI-Feedback. John erklärt, warum er KI für die größte Veränderung seiner Lebenszeit hält, was sie aus seiner Sicht so schön macht, aber auch was er als problematisch erachtet.

KI-Kompetenz wird derzeit als pädagogische Wunderwaffe gehandelt: Wer sie besitzt, so die Hoffnung, nutzt KI souverän, reflektiert Risiken und verfällt weder in Technikangst noch in Euphorie. Aber was heißt „KI-kompetent“ eigentlich konkret – und wie hängt diese Kompetenz mit der Wahrnehmung von Risiken zusammen?
In dieser Folge von Kompass KI diskutieren Hendrik und Benedikt eine aktuelle Studie aus Finnland, die genau dieser Frage nachgeht. Im Zentrum steht nicht, welche Risiken KI objektiv mit sich bringt, sondern wie Schülerinnen und Schüler diese Risiken wahrnehmen – und wie sich diese Wahrnehmung je nach selbst eingeschätzter KI-Kompetenz strukturiert. Warum sorgen sich manche vor allem um ihr eigenes Lernen, während andere Bias, Fairness und institutionelle Regeln in den Blick nehmen? Und was sagt das über Bildungsprozesse im KI-Zeitalter aus?
Eine Folge über Kompetenz, Angst, Perspektivverschiebungen – und darüber, warum mehr KI-Kompetenz vielleicht weniger beruhigt als vielmehr den Blick schärft.

Über diese Studie sprechen wir:
Heilala, V., Sikströmlo#IK, P., Setälä, M., & Kärkkäinen, T. (2025). Artificial Intelligence Competence of K-12 Students Shapes Their AI Risk Perception: A Co-occurrence Network Analysis. arXiv preprint arXiv:2512.04115.

In dieser Folge geht es um einen Bildungsbegriff, der überall gefeiert wird – und dennoch erstaunlich unklar bleibt: den sogenannten 4K.
Seit Kreativität, Kollaboration, Kommunikation und kritisches Denken als „Zukunftskompetenzen“ ausgerufen wurden, steht die Frage im Raum, ob KI diese Fähigkeiten tatsächlich fördern kann – oder ob hier mehr Wunsch als Wirklichkeit mitschwingt. Doch was sagt die Forschung? Hendrik und Benedikt sprechen über eine aktuelle Meta-Analyse zur Wirkung von KI auf die 4K – eine der ersten systematischen Untersuchungen dazu, wie KI-gestützte Lernumgebungen auf diese vielzitierten Kompetenzen wirken:Unterstützt KI wirklich kreativeres Denken? Fördert sie Zusammenarbeit? Macht sie Kommunikation besser? Und lässt sich kritisches Denken überhaupt so messen, wie es oft behauptet wird?
Über diese Studie sprechen wir:
Tian, Q., & Zheng, X. (2025). The impact of artificial intelligence on students’ 4C skills: A meta-analysis. Educational Research Review, 49, 100728.

In dieser Folge nehmen Hendrik und Benedikt ein Thema unter die Lupe, das für Schule, Hochschule und Weiterbildung gleichermaßen wegweisend ist: KI-Feedback.
Seit ChatGPT & Co. in Klassenzimmer eingezogen sind, wird diskutiert, ob Maschinen wirklich hilfreiche Rückmeldungen geben können – oder ob echtes Feedback untrennbar an Menschen, Beziehung und pädagogische Erfahrung gebunden ist.
Doch was sagt die Forschung?Hendrik und Benedikt sprechen über die große Meta-Analyse „How does artificial intelligence compare to human feedback?“ (2025) – eine der ersten systematischen Untersuchungen dazu, wie KI-Feedback im Vergleich zu menschlichem abschneidet:Wie wirkt es auf die Lernleistung? Wie nehmen Lernende es wahr? Fördert oder hemmt es Motivation? Und was passiert, wenn man KI und Mensch kombiniert?
Die Ergebnisse sind überraschend – und stellen manche intuitive Annahme auf den Kopf.
Über diese Studie sprechen wir:
Kaliisa, R., Misiejuk, K., López-Pernas, S., & Saqr, M. (2025). How does artificial intelligence compare to human feedback? A meta-analysis of performance, feedback perception, and learning dispositions. Educational Psychology, 1-32.

Vortrag: Was ist Feedback - und was ist es nicht?`