In dieser Episode des Data Science Deep Dive sprechen Mira und Amit über Modellgütemaße für binäre und kategoriale Zielvariablen. Sie erklären zentrale Kennzahlen wie Accuracy, Precision, Recall, F1-Score, AUC und Log Loss und zeigen, welche Vor- und Nachteile diese im praktischen Einsatz haben. Dabei geht es auch um typische Herausforderungen, etwa bei unbalancierten Daten oder der Wahl des richtigen Schwellenwerts. Anhand von Beispielen aus Betrugserkennung, Medizin und Spam-Filtering wird deutlich, warum die Wahl des passenden Gütemaßes immer vom konkreten Use Case abhängt. Ergänzend geben sie Tipps zur Interpretation von Modellergebnissen und zur Auswahl eines geeigneten Hauptgütemaßes.
**Zusammenfassung**
Überblick über Modellgütemaße für binäre und kategoriale Klassifikationsprobleme
Einordnung: Klassifikation basiert meist auf Scores bzw. Wahrscheinlichkeiten und einem gewählten Schwellenwert
Konfusionsmatrix als Grundlage zur Berechnung vieler Klassifikationsmetriken (TP, TN, FP, FN)
Accuracy als einfache Kennzahl – jedoch problematisch bei stark unbalancierten Datensätzen
Precision, Recall und Spezifität zur Bewertung verschiedener Fehlertypen und deren Kosten
F1-Score als harmonisches Mittel von Precision und Recall, häufiges Hauptmaß bei unbalancierten Daten
AUC als schwellenwertunabhängige Bewertung der Trennfähigkeit eines Modells
Log Loss zur Bewertung der vorhergesagten Wahrscheinlichkeiten und als häufige Loss-Funktion beim Modelltraining
Praktische Tipps: Wahl des Thresholds, Nutzung von Benchmarks, Analyse von Subgruppen und ggf. Rekalibrierung von Wahrscheinlichkeiten
**Links**
#83: Wie gut ist gut genug? Modellgütemaße richtig verstehen https://www.podbean.com/ew/pb-8q2a8-19a0252
Wikipedia – Confusion Matrix: https://en.wikipedia.org/wiki/Confusion_matrix
Wikipedia – Precision und Recall: https://en.wikipedia.org/wiki/Precision_and_recall
Wikipedia – Receiver Operating Characteristic (ROC) / AUC: https://en.wikipedia.org/wiki/Receiver_operating_characteristic
Wikipedia – Cross Entropy / Log Loss: https://en.wikipedia.org/wiki/Cross_entropy
Scikit-learn Guide zu Klassifikationsmetriken: https://scikit-learn.org/stable/modules/model_evaluation.html#classification-metrics
📬 Fragen, Feedback oder Themenwünsche?
Schreibt uns gern an:
[email protected]