Data Science Deep Dive

In dieser Episode sprechen Mira und Amit über die Grundlagen der bayesianischen Statistik und zeigen anhand der Wahlprognose für die Bundestagswahl, wie sich Vorwissen und neue Daten zu einer aussagekräftigen Posterior-Verteilung kombinieren lassen. Sie erklären die zentralen Begriffe Prior, Likelihood und Posterior und ordnen ein, wie sich Kredibilitätsintervalle von klassischen Konfidenzintervallen unterscheiden. Außerdem gehen sie auf praktische Anwendungsfälle wie A/B-Testing ein und diskutieren, warum der bayesianische Ansatz trotz seiner Vorteile nicht immer die erste Wahl ist.

**Zusammenfassung**

Einstiegsbeispiel Wahlprognose: Stichprobenunsicherheit trifft auf Vorwissen über realistische Stimmanteile

Bayes-Theorem als Grundlage: Posterior ist proportional zu Likelihood mal Prior

Prior-Verteilungen: informative Priors aus Vorwissen vs. nicht-informative Priors

Interpretation der Posterior: Erwartungswert, Wahrscheinlichkeit für Effekte über einem Schwellenwert, Kredibilitätsintervalle

Unterschied zur frequentistischen Statistik: p-Werte und Konfidenzintervalle vs. intuitiv interpretierbare Wahrscheinlichkeitsaussagen

Praxisbeispiele: A/B-Testing mit Vorwissen aus früheren Tests, Robustheitsprüfungen, Einsatz bei Google

Vorteile: intuitive Interpretation, Nutzung von Vorwissen, sinnvolle Ergebnisse auch bei kleinen Stichproben

Nachteile: hoher Rechenaufwand durch Monte-Carlo-Simulationen, geringere Verbreitung, nicht immer existiert ein sinnvoller Prior

**Links**

#56: Unsere Bundestagswahl-Prognose: Wer gewinnt die Wahl 2025? https://www.podbean.com/ew/pb-hwgnd-16e446e

#26: A/B-Testing: Erkenntnisse statt Bauchgefühl https://www.podbean.com/ew/pb-6fzpj-143cfb1

📬 Fragen, Feedback oder Themenwünsche?
Schreibt uns gern an: [email protected]

In dieser Episode geht es um die Anomaly Detection von Produktbildern in einem realen Produktions-Use-Case – von der Problemstellung bis zur Umsetzung in ClickHouse. Wir zeigen, wie sich fehlerhafte Produkterkennungen mithilfe von Embeddings und Distanzmaßen identifizieren lassen, ohne auf aufwendige gelabelte Daten angewiesen zu sein. Der Fokus liegt auf einer pragmatischen, performanten Lösung direkt in der ClickHouse-Datenbank, die Anomalien in Millisekunden erkennt und gleichzeitig die Datenqualität für das Modelltraining verbessert. Außerdem diskutieren wir Trade-offs zwischen Einfachheit, Performance und Entwicklungsaufwand sowie Learnings aus dem Projekt.

 

**Zusammenfassung**

Use Case: Automatische Produkterkennung auf Basis von Videostreams mit Fehlerquote (~ 5%)

Problem: Falsche Zuordnungen durch Störkörper, Überlagerungen und ungünstige Perspektiven

Ziel: Identifikation unsicherer Vorhersagen zur manuellen Prüfung und sauberen Trainingsdaten

Ansatz: Unsupervised Anomaly Detection mittels Embeddings und Distanz zum Clusterzentrum

Methode: K-Means-Logik – große Distanz --> geringe Zuordnungs-Sicherheit

Threshold: 2 x Standardabweichung identifiziert ~ 90% der Anomalien (bewusster Trade-off)

Umsetzung: Echtzeit-Berechnung direkt in ClickHouse über Materialized Views

Vorteil: Keine zusätzliche Infrastruktur (z.B. Kafka), sehr geringe Latenz (< 1 Sekunde)

Nachteil: Trennung zwischen Entwicklung (Python) und Produktion (SQL/ClickHouse)

 

**Links**

#54: Modell-Deployment: Wie bringe ich mein Modell in die Produktion? https://www.podbean.com/ew/pb-hhhwu-16b91f3

ClickHouse https://clickhouse.com/

ClickHouse Docs: Can you use ClickHouse for vector search? https://clickhouse.com/docs/knowledgebase/vector-search

📬 Fragen, Feedback oder Themenwünsche?
Schreibt uns gern an: [email protected]

Agentic AI verändert die Art, wie Software entsteht und stellt bestehende SaaS- und Subscription-Modelle zunehmend infrage. Im Fokus stehen AI-Agents, die in Think-Act-Observe-Loops eigenständig handeln und Entwicklungsprozesse automatisieren. Besonders im Data-Science-Umfeld zeigen sich Chancen im Prototyping, aber auch Herausforderungen durch langsame Tests, komplexe Datenpipelines und fehlende Qualitätsmetriken. Entscheidend für den erfolgreichen Einsatz sind klare Aufgabenabgrenzung, kleine Iterationen und robuste Guardrails wie Tests und Linter. Gleichzeitig verschieben sich Rollenprofile hin zu mehr konzeptioneller Arbeit, während Fragen zu Sicherheit, Souveränität und langfristiger Wartbarkeit offen bleiben.

 

**Zusammenfassung**

SaaS- und Subscription-Modelle geraten durch AI-getriebene Eigenentwicklung unter Druck

Evolution: Chat --> Copilot --> Agentic AI mit autonomen Fähigkeiten

AI-Agents arbeiten in Think-Act-Observe-Loops und können aktiv handeln

Aktuelle Tools vor allem in Terminal-Umgebungen (CLI-basiert)

Kleine, klar definierte Aufgaben erhöhen Erfolgswahrscheinlichkeit

Guardrails (Tests, Linter, Typisierung) sind essenziell für Qualität

Prototyping funktioniert gut, produktiver Einsatz noch eingeschränkt

Data Science leidet unter langsamen Tests und langen Iterationszyklen

Custom Stacks aktuell im Vorteil gegenüber Plattformlösungen

Offene Themen: Sicherheit, Datenzugriff, Abhängigkeit von LLM-Anbietern

 

**Links**

#29: Die Qual der Wahl: Data Science Plattform vs. Customized Stack https://www.podbean.com/ew/pb-pep8h-147029f

The Pragmatic Engineer: When AI writes almost all code, what happens to software engineering? by Gergely Orosz https://newsletter.pragmaticengineer.com/p/when-ai-writes-almost-all-code-what

Conductor Extension for Gemini CLI https://github.com/gemini-cli-extensions/conductor

📬 Fragen, Feedback oder Themenwünsche?
Schreibt uns gern an: [email protected]

In dieser Episode sprechen wir mit Max, Team Lead Data Science bei der Krombacher Brauerei, über Demand Forecasting in der Konsumgüterindustrie. Gemeinsam beleuchten wir, wie Krombacher die tägliche Nachfrageprognose für Bier und weitere Produkte modelliert, von Vorbestellungen über Feature Engineering bis hin zu Gauß-Prozess-Modellen. Außerdem geht es um Modellgüte, den Umgang mit Corona-Effekten, Unsicherheitsintervalle und die Bedeutung von Domänenwissen. Ein weiterer Schwerpunkt liegt auf der Infrastruktur: vom Custom-Stack auf AWS hin zu einer skalierbaren Databricks-Plattform.

**Zusammenfassung**

Ziel: Kurzfristige Prognose der täglichen Auslieferungsmenge (Hektoliter) für die nächsten Werktage

Starker Einfluss von Vorbestellungen, ergänzt durch Features wie Arbeitsstunden-Abstand, Wochentag und Öffnungszeiten

Einsatz von Gauß-Prozess-Modellen für nichtlineare Zusammenhänge und perspektivisch Unsicherheitsintervalle

Sliding Window mit 365 Tagen Trainingsdaten und täglichem Retraining

Benchmark: < 10 % MAPE erreicht für bis zu fünf Werktage im Voraus

Corona-Effekte über Dummy-Variablen berücksichtigt, besonders relevant für Gastronomie-Fässer

Wechsel von AWS Custom Stack (SageMaker, MLflow, API) zu Databricks zur besseren Skalierbarkeit und Wartbarkeit

Zentrale Learnings: Domänenwissen > Modellkomplexität, Use Case klar definieren, Datenqualität als Fundament

**Links**

Krombacher Brauerei https://www.krombacher.de/

Dr. Max Schüssler auf LinkedIn https://www.linkedin.com/in/dr-max-schuessler/

databricks https://www.databricks.com/

#88: Anomalie-Erkennung im Loyalty-Programm bei Krombacher – Mit Fabian Wörenkämper https://www.podbean.com/ew/pb-apyrq-1a577b8

#29: Die Qual der Wahl: Data Science Plattform vs. Customized Stack https://www.podbean.com/ew/pb-pep8h-147029f

ML Tutorial: Gaussian Processes (Richard Turner) auf YouTube https://www.youtube.com/watch?v=92-98SYOdlY

📬 Fragen, Feedback oder Themenwünsche?
Schreibt uns gern an: [email protected]

In dieser Episode des Data Science Deep Dive sprechen Mira und Amit über Modellgütemaße für binäre und kategoriale Zielvariablen. Sie erklären zentrale Kennzahlen wie Accuracy, Precision, Recall, F1-Score, AUC und Log Loss und zeigen, welche Vor- und Nachteile diese im praktischen Einsatz haben. Dabei geht es auch um typische Herausforderungen, etwa bei unbalancierten Daten oder der Wahl des richtigen Schwellenwerts. Anhand von Beispielen aus Betrugserkennung, Medizin und Spam-Filtering wird deutlich, warum die Wahl des passenden Gütemaßes immer vom konkreten Use Case abhängt. Ergänzend geben sie Tipps zur Interpretation von Modellergebnissen und zur Auswahl eines geeigneten Hauptgütemaßes.

**Zusammenfassung**

Überblick über Modellgütemaße für binäre und kategoriale Klassifikationsprobleme

Einordnung: Klassifikation basiert meist auf Scores bzw. Wahrscheinlichkeiten und einem gewählten Schwellenwert

Konfusionsmatrix als Grundlage zur Berechnung vieler Klassifikationsmetriken (TP, TN, FP, FN)

Accuracy als einfache Kennzahl – jedoch problematisch bei stark unbalancierten Datensätzen

Precision, Recall und Spezifität zur Bewertung verschiedener Fehlertypen und deren Kosten

F1-Score als harmonisches Mittel von Precision und Recall, häufiges Hauptmaß bei unbalancierten Daten

AUC als schwellenwertunabhängige Bewertung der Trennfähigkeit eines Modells

Log Loss zur Bewertung der vorhergesagten Wahrscheinlichkeiten und als häufige Loss-Funktion beim Modelltraining

Praktische Tipps: Wahl des Thresholds, Nutzung von Benchmarks, Analyse von Subgruppen und ggf. Rekalibrierung von Wahrscheinlichkeiten

**Links**

#83: Wie gut ist gut genug? Modellgütemaße richtig verstehen https://www.podbean.com/ew/pb-8q2a8-19a0252

Wikipedia – Confusion Matrix: https://en.wikipedia.org/wiki/Confusion_matrix

Wikipedia – Precision und Recall: https://en.wikipedia.org/wiki/Precision_and_recall

Wikipedia – Receiver Operating Characteristic (ROC) / AUC: https://en.wikipedia.org/wiki/Receiver_operating_characteristic

Wikipedia – Cross Entropy / Log Loss: https://en.wikipedia.org/wiki/Cross_entropy

Scikit-learn Guide zu Klassifikationsmetriken: https://scikit-learn.org/stable/modules/model_evaluation.html#classification-metrics

📬 Fragen, Feedback oder Themenwünsche?
Schreibt uns gern an: [email protected]