Data Science Deep Dive

• #83: Wie gut ist gut genug? Modellgütemaße richtig verstehen

  In dieser Folge sprechen Mira und Amit über Modellgütemaße für kontinuierliche Zielvariablen – also darüber, wie man die Qualität von Vorhersagen richtig bewertet. Von MAE und RMSE bis hin zu R² und AIC/BIC: Wir erklären, was die einzelnen Kennzahlen aussagen, wo ihre Grenzen liegen und welche typischen Fallen es gibt. Außerdem geht's um Bias, Robustheit und warum der Kontext entscheidend ist. Und natürlich um die Frage: Welches Gütemaß passt eigentlich zu meinem Modell?   **Zusammenfassung** Überblick über Gütemaße für kontinuierliche Zielgrößen Bias, MAE, MAPE, sMAPE, MSE, RMSE, R², AIC/BIC im Vergleich Vor- und Nachteile der einzelnen Metriken Typische Fallstricke: Ausreißer, kleine Werte, verzerrte Interpretation Tipps zur Auswahl des passenden Gütemaßes für den Use Case Bedeutung von Repräsentativität, Validierung und Gewichtung Fazit: Kombination mehrerer Gütemaße ist meist die beste Wahl   **Links** Blogserie zum Bestimmtheitsmaß (R²): https://www.inwt-statistics.de/blog/bestimmtheitsmass_r2-teil1 #26: A/B-Testing: Erkenntnisse statt Bauchgefühl https://www.podbean.com/ew/pb-6fzpj-143cfb1 #43: Damit es im Live-Betrieb nicht kracht: Vermeidung von Overfitting & Data Leakage https://www.podbean.com/ew/pb-vw736-15baac0

  --------  

  33:45

  --------

  33:45
• #82: Monitoring in MLOps: Tools, Tipps und Best Practices aus der Praxis

  Wie behält man eigentlich den Überblick, wenn Data Science Services in Produktion laufen? In dieser Folge sprechen Sebastian und Michelle darüber, wie man einen sinnvollen Monitoring-Stack aufsetzt – von Logs und Metriken bis hin zu Alerts und Dashboards. Wir schauen uns Tools wie Prometheus, Grafana, Loki und ELK an und klären, worin sie sich unterscheiden. Außerdem geht's um Best Practices fürs Alerting, sinnvolle Feedbackschleifen und die Frage, wann und wie man Monitoring in den Entwicklungsprozess integriert. **Zusammenfassung** Ziel von Monitoring: schnelle Feedbackschleifen zwischen Entwicklung und Produktion Unterschied zwischen CI/CD und Monitoring, letztere liefert Feedback nach dem Deployment Planung des Monitorings idealerweise schon bei der Architektur berücksichtigen Überblick über Monitoring-Ziele: Services, Infrastruktur, Daten, Modelle Vergleich Cloud vs. Self-Hosted Monitoring (Aufwand, Flexibilität, Kosten) Wichtige Tools: Prometheus/Grafana/Loki, ELK-Stack, Nagios/Icinga/Zabbix, Great Expectations, Redash/Metabase Best Practices fürs Alerting: sinnvolle Schwellenwerte, Vermeidung von "Alert Fatigue", klare Zuständigkeiten Fazit: Monitoring braucht klare Ziele, sinnvolle Alerts und gute Visualisierung, um echten Mehrwert zu liefern   **Links** #23: Unsexy aber wichtig: Tests und Monitoring https://www.podbean.com/ew/pb-vxp58-13f311a Prometheus – Open-Source Monitoring-System: https://prometheus.io Grafana – Visualisierung von Metriken und Logs: https://grafana.com Loki – Log-Aggregation für Grafana: https://grafana.com/oss/loki/ ELK Stack (Elasticsearch, Logstash, Kibana): https://www.elastic.co/elastic-stack Great Expectations – Datenvalidierung und Monitoring: https://greatexpectations.io Redash – SQL-basierte Dashboards und Visualisierungen: https://redash.io Metabase – Self-Service BI-Tool: https://www.metabase.com Nagios – klassisches System-Monitoring-Tool: https://www.nagios.org Icinga – moderner Nagios-Fork: https://icinga.com Zabbix – Monitoring-Plattform für Netzwerke & Server: https://www.zabbix.com Prometheus Alertmanager: https://prometheus.io/docs/alerting/latest/alertmanager/ PagerDuty – Incident Response Management: https://www.pagerduty.com   📬 Fragen, Feedback oder Themenwünsche? Schreibt uns gern an: [email protected]

  --------  

  44:02

  --------

  44:02
• #81: [PAIQ2] Predictive AI Quarterly

  In dieser Folge des Predictive AI Quarterly sprechen wir über die Veröffentlichung von GPT-5 und was sich im Vergleich zu GPT-4 geändert hat. Wir schauen uns an, wie Reasoning jetzt funktioniert und welche Optionen Entwickler*innen bei der Nutzung haben. Außerdem geht's um neue Open-Source-Modelle von OpenAI, die Einführung von TabArena als dynamischem Benchmark für Tabulardaten und spannende Integrationen wie TabPFN in Sourcetable. Im Praxisteil nehmen wir QLoRA unter die Lupe und testen, ob Finetuning mit Quantisierung wirklich so effizient und verlustfrei ist, wie versprochen.   ** Zusammenfassung ** GPT-5 Release: Neues Reasoning-Feature, flexible Steuerung über Parameter und Empfehlungen für die Migration von GPT-4. Open-Source-Modelle von OpenAI: Veröffentlichung von 20B- und 120B-Modellen mit vergleichsweise moderatem Hardwarebedarf. TabArena: Dynamischer Benchmark für tabellarische Daten, der Ensembling und TabPFN bei kleinen Datensätzen hervorhebt. TabPFN in Sourcetable: Integration von Predictive AI direkt in Spreadsheets für nahtlose Nutzung. Praxis-Test QLoRA: Finetuning mit Quantisierung liefert gleiche Qualität wie LoRA, benötigt aber nur halb so viel Speicher.   ** Links ** OpenAI – GPT-5 für Entwickler*innen vorgestellt: https://openai.com/de-DE/index/introducing-gpt-5-for-developers/ OpenAI – API Responses Referenz: https://platform.openai.com/docs/api-reference/responses/create OpenAI – Guide: Reasoning in GPT: https://platform.openai.com/docs/guides/reasoning OpenAI – Modell-Migrationsempfehlungen: https://platform.openai.com/docs/guides/latest-model#migration-guidance Hugging Face – Open-Source GPT 20B: https://huggingface.co/openai/gpt-oss-20b Hugging Face – Open-Source GPT 120B: https://huggingface.co/openai/gpt-oss-120b OpenAI – Ankündigung OSS-Modelle: https://openai.com/de-DE/index/introducing-gpt-oss/ Hugging Face – TabArena Leaderboard: https://huggingface.co/spaces/TabArena/leaderboard arXiv – TabArena Paper: https://arxiv.org/abs/2506.16791 Sourcetable – Homepage / Tool: https://sourcetable.com/ Heise c’t – Artikel "Komprimierte KI" (Februar 2025): https://www.heise.de/select/ct/2025/2/2432617330867723674 Heise c’t – Artikel "Quantisierung": https://www.heise.de/select/ct/2025/7/2504911435670065158 arXiv – QLoRA Paper (Mai 2023): https://arxiv.org/abs/2305.14314 NeurIPS – QLoRA Veröffentlichung: https://proceedings.neurips.cc/paper_files/paper/2023/hash/1feb87871436031bdc0f2beaa62a049b-Abstract-Conference.html arXiv – Paper zu Quantisierung: https://arxiv.org/abs/2501.13787 📬 Fragen, Feedback oder Themenwünsche? Schreibt uns gern an: [email protected]  

  --------  

  26:26

  --------

  26:26
• #80: Willkommen an Bord: Wie wir neue Kolleg*innen begleiten

  Onboarding ist mehr als nur Laptop einrichten und Accounts anlegen, es ist der Startpunkt für alles, was danach kommt. In dieser Folge sprechen wir über die ersten Tage und Wochen, wie man neuen Kolleg*innen Orientierung gibt und warum Mentoring so wichtig ist. Wir diskutieren auch den Übergang von den Basics hin zu Projekten und wie man Schritt für Schritt Verantwortung übernimmt. Außerdem werfen wir einen Blick darauf, was langfristig zählt: Wissen teilen, Feedback geben und Raum für Entwicklung schaffen.   **Zusammenfassung** Technische Basics: Accounts, Laptop, Tools, Datenschutz etc. Mentoring als Anlaufstelle für Fragen und Kulturvermittlung Feedback- und Mitarbeitergespräche, am Anfang ganz besonders entscheidend Unterschiedliche Profile: Coding, Statistik, echte Daten – wie man Skills ausgleicht Einarbeitung in Projekte: zuerst im Hintergrund, dann mit wachsender Verantwortung Unterschied remote vs. vor Ort: passende Unterstützung finden Langfristig wichtig: Wissenstransfer, Weiterbildung und Raum für Eigeninitiative   **Links** #60: Job-Sicherheit als Data Scientist: Personalentwicklung in Zeiten von AI https://www.podbean.com/ew/pb-x68nz-1748acb #51: Wer rastet, rostet: Die Rolle von Weiterbildung in Data Science https://www.podbean.com/ew/pb-czpd3-16716c0   📬 Fragen, Feedback oder Themenwünsche? Schreibt uns gern an: [email protected]

  --------  

  36:18

  --------

  36:18
• #79: Data Science on the Edge: Modelle in verteilten Umgebungen

  Modelle auf Edge-Devices zu bringen ist kein Standard-Deployment – das zeigt sich im gesamten Life-Cycle: von der Datenpipeline über das Feature-Engineering bis zur Modellüberwachung. In dieser Folge diskutieren wir, wie sich gängige MLOps-Ansätze verändern, wenn Netzwerk, Datenschutz oder Ressourcen limitiert sind. Wir sprechen über typische Architektur-Entscheidungen, sinnvolle Deployment-Strategien und warum Murphys Law auf Edge-Setups besonders gut zutrifft. Am Ende bleibt die Erkenntnis: ohne triftigen Grund bleibt man besser in der Cloud.   **Zusammenfassung** Edge Computing verändert die Art und Weise, wie Modelle in der Data Science implementiert werden Offline-Serving ist der einfachste Fall, während Online-Serving komplexere Anforderungen hat Latenz ist ein kritischer Faktor bei der Nutzung von Edge-Devices Datenbeschaffung kann über Push- oder Pull-Ansätze erfolgen Feature Engineering muss an die Einschränkungen von Edge-Devices angepasst werden Modelltraining kann sowohl zentral als auch lokal auf Edge-Devices erfolgen CI/CD-Prozesse müssen an die spezifischen Anforderungen von Edge-Devices angepasst werden Monitoring ist entscheidend, um die Leistung von Modellen auf Edge-Devices zu bewerten Die Qualität der Daten und der Sensoren hat einen direkten Einfluss auf die Modellleistung Ein erfolgreicher Einsatz von Edge Computing erfordert enge Zusammenarbeit zwischen Data Science und Engineering-Teams **Links** #54: Modell-Deployment: Wie bringe ich mein Modell in die Produktion? https://www.podbean.com/ew/pb-hhhwu-16b91f3 📬 Fragen, Feedback oder Themenwünsche? Schreibt uns gern an: [email protected]

  --------  

  56:04

  --------

  56:04

Weitere Technologie Podcasts

Trending Technologie Podcasts

Über Data Science Deep Dive