Data Science Deep Dive

In dieser Folge geht es darum, wie Agentic Programming die Produktivität von Softwareentwickler*innen verändert und welche empirischen Zahlen es dazu gibt. Wir stellen optimistische und skeptische Stimmen gegenüber: Auf der einen Seite stehen Unternehmen mit vollständig agentischer Entwicklung, auf der anderen Kent Becks Sicht auf KI als Verstärker bestehender Stärken und Schwächen. Im Mittelpunkt stehen Studien wie das METR-Experiment, die DORA-Erhebungen und eine NBER-Arbeit zu verschiedenen Generationen von KI-Tools sowie Arbeitsmarktdaten aus Deutschland und den USA. Wir besprechen auch, warum sich Produktivität so schwer messen lässt und mit welchen methodischen Problemen neuere Studien zu kämpfen haben. Zum Schluss geht es darum, worauf Teams bei der Einführung von KI achten sollten, damit sie die Arbeit verbessert und nicht nur verdichtet.

 

**Zusammenfassung**

Mehr Code ist nicht gleich mehr Produktivität: 700 % mehr Codezeilen stehen nur rund 30 % mehr Produktivität gegenüber. Der Engpass ist das Code Review, und automatische Reviews reichen nicht aus, um Qualität zu sichern.

METR-Studie 2025: Entwickler*innen erwarteten, mit KI 25 % schneller zu sein, und schätzten sich hinterher 20 % schneller ein. Tatsächlich waren sie 20 % langsamer. Die Folgestudie 2026 ist methodisch schwieriger, unter anderem wegen Selektionseffekten und weil sich die Arbeitszeit beim Betreuen von Agenten kaum messen lässt.

DORA-Erhebungen: Die Umfragen zeigen positive Effekte von 5–10 % auf Team- und Organisationsebene und rund 15 % auf individueller Ebene. Gleichzeitig steigt die Instabilität um etwa 10 %, und es zeigen sich Effekte auf Burnout.

NBER-Studie: Sie misst Produktivität über mehrere Generationen von KI-Tools hinweg. Dabei zeigt sich ein Engpass: Es entstehen viele neue Apps, aber viele davon finden nie genug Nutzer*innen.

Skeptische Perspektiven: Kent Beck beschreibt KI als Verstärker, der Gutes wie Schlechtes verstärkt. Das „Expensive Loop Problem“ erklärt, warum Agenten nur an günstigen Feedback-Schleifen lernen, während Expert*innen diese als Proxy für teure Schleifen einordnen können.

Arbeitsmarkt: In Deutschland steigt die IT-Arbeitslosigkeit, liegt aber weiterhin unter 4 %. Besonders Berufseinsteiger:innen haben es schwerer. In den USA liegt sie bei etwa 3,5 %, bei Entry-Level-Softwareentwickler*innen bei rund 7 %.

Essay-Studie mit EEG: Die kleine Studie mit 54 Teilnehmenden zeigt, dass LLM-Nutzer*innen homogene, gut bewertete Aufsätze schreiben, daraus aber kaum zitieren können. Ohne Tools war die neuronale Vernetzung am stärksten.

Fazit: Goodhart’s Law gilt auch für Produktivitätsmetriken. KI hilft, wenn sie Menschen ermöglicht, ihre Arbeit selbstbestimmt zu verbessern (Zentaur). Sie schadet, wenn sie vor allem mehr Output mit weniger Qualität erzwingt (Reverse Zentaur).

 

**Links**

"The most AI pilled company" (@jsnnsa auf X): https://x.com/jsnnsa/status/2115623382721126826

The Rise of the Product Engineer: When code costs nothing, what’s left of the job (AI Engineer): https://ai.engineer/talks/kspZP5BgkEU-ai-writes-code-so-whats-left-engineers und https://www.youtube.com/watch?v=kspZP5BgkEU

The Expensive Loop Problem (LessWrong): https://www.lesswrong.com/posts/2mStxuNDMdaWdyHu6/the-expensive-loop-problem

The Augmented Forest (Kent Beck, Keynote GOTO 2026): https://www.youtube.com/watch?v=NVkw-RFx2cc

The Reverse Centaur’s Guide to Life After AI (Cory Doctorow): https://us.macmillan.com/books/9780374621575/thereversecentaursguidetolifeafterai/

Arbeitslosenzahlen

Deutschland: Der Arbeitsmarkt für IKT-Berufe im Kontext der Transformation (Bundesagentur für Arbeit): https://www.arbeitsagentur.de/datei/der-arbeitsmarkt-fuer-ikt-berufe-im-kontext-der-transformation_ba053543.pdf

USA: Current Population Survey (U.S. Bureau of Labor Statistics): https://www.bls.gov/cps/cpsaat25b.htm

Uplift Update 2026 (METR): https://metr.org/blog/2026-02-24-uplift-update/#other-means-of-measuring-productivity

Artificial Intelligence in the Firm: Bottlenecks in Software Production: https://fion.ac/jellyfish.pdf
NBER Working Paper w35275 (National Bureau of Economic Research): https://www.nber.org/papers/w35275

DORA – DevOps Research and Assessment (Google Cloud): https://dora.dev/

Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task (Kosmyna et al., MIT Media Lab): https://arxiv.org/abs/2506.08872

📬 Fragen, Feedback oder Themenwünsche?
Schreibt uns gern an: podcast@inwt-statistics.de

In der zweiten Folge unserer Serie "Data Strategy Kompass" geht es um die Bestandsaufnahme: Wo steht ein Unternehmen aktuell beim Thema Daten? Dafür stellen wir eine Matrix mit sieben Dimensionen vor, von strategischen Entscheidungen über Governance, Daten und Architektur bis hin zu Kultur & HR, und betrachten jeweils Status quo, Hebel und typisches Konfliktpotenzial. Anschließend ordnen wir den eigenen Reifegrad mit dem Analytics-Modell von Gartner ein, das vier Stufen von deskriptiv bis präskriptiv unterscheidet. An den Beispielen Churn-Vermeidung und Predictive Maintenance zeigen wir, wie sich ambitionierte Ideen auf niedrigere Stufen herunterbrechen lassen und warum diese Vorarbeit oft schon eigene Quick Wins liefert. Die Übersichtstabelle für den Selbst-Check findet ihr unten.

 

**Zusammenfassung**

Ohne Bestandsaufnahme droht die Datenstrategie am Bedarf vorbeizugehen, zu klein oder zu groß gedacht zu sein oder unerreichbare Ziele zu setzen.

Die Bestandsaufnahme erfolgt typischerweise in einem ein- bis zweitägigen Workshop anhand von sieben Dimensionen: Strategische Entscheidungen, Ownership & Governance, Daten, Architektur, Use Cases & Projekte, Organisatorische Beteiligte sowie Kultur & HR.

Zu jeder Dimension werden drei Fragen gestellt: Was ist der Status quo, wo liegen ungenutzte Hebel und wo gibt es Konfliktpotenzial?

Datenqualität ist auch eine geschäftliche Frage: Liefern verschiedene Abteilungen unterschiedliche Antworten auf dieselbe Frage (z.B. "Was ist ein*e aktive*r Kund*in?"), hat das politische Folgen.

Ownership ist oft historisch gewachsen und undokumentiert, neue Verantwortlichkeiten und mehr Transparenz können auf Widerstand stoßen.

Ängste wie "KI nimmt mir den Job weg" werden selten offen ausgesprochen, können eine Datenstrategie aber durch passive Verweigerung ausbremsen.

Das Gartner-Modell (deskriptiv, diagnostisch, prädiktiv, präskriptiv) hilft bei der Einordnung. Wo man steht, zeigt sich an den bisher erfolgreich umgesetzten Projekten.

Empfehlung: immer nur eine Stufe auf einmal nach oben gehen. Gute Ideen auf hoher Stufe lassen sich herunterbrechen, und die Erkenntnisse auf niedrigeren Stufen decken Datenprobleme auf und liefern Input für spätere Modelle.

 

**Übersichtstabelle für den Selbst-Check**

Dimension
Status quo
Chancen / Hebel
Konfliktpotenzial

Strategische Entscheidungen
Welche Entscheidungen basieren heute auf Daten?
Welche Entscheidungen sollten datenbasiert verbessert werden?
Wer müsste Entscheidungsbefugnisse teilen oder anpassen?

Ownership & Governance
Gibt es klare Data Owner? Sind Berechtigungen klar geregelt?
Wo könnte klare Ownership Effizienz schaffen?
Wo droht Kontrollverlust?

Daten
Welche Daten existieren wo? In welcher Qualität?
Welche Kombinationen könnten neuen Mehrwert schaffen?
Wer „besitzt“ die Daten? Externe Partner?

Architektur
Sind Systeme verbunden oder isoliert?
Wo kann Modularität Skalierung ermöglichen?
Bestehen Abhängigkeiten von Dienstleistern?

Use Cases & Projekte
Welche PoCs / Projekte gab es? Was wurde skaliert?
Wo liegt ein Hebel >100.000 €/Jahr?
Wo konkurrieren Projekte um Budget?

Organisatorische Beteiligte
Wer ist beteiligt?
Wo entstehen Synergien?
Wo entstehen Zielkonflikte?

Kultur & HR
Wie ist die generelle Einstellung der Mitarbeitenden ggü. Neuerungen, Daten & KI?
Wer sind die Antreiber*innen? Wer übernimmt Verantwortung für Leuchtturmprojekte?
Wo entstehen Missverständnisse oder Ängste? („KI nimmt den Job weg“)
Welche Skills fehlen?

 

**Links**

Hier geht's zur ersten großen Tech-Podcast-Umfrage im deutschsprachigen Raum: https://engineeringkiosk.dev/survey

#101: [DSK1] Data Strategy Kompass – Was Datenstrategie ist & was nicht https://www.podbean.com/ew/pb-gyxaw-1b445eb

#70: Der Aufstieg zur Datenreife – Stufe für Stufe zur Data Maturity: https://www.podbean.com/ew/pb-a7663-1882b25

Gartner Glossar zu Analytics (deskriptiv, diagnostisch, prädiktiv, präskriptiv): https://www.gartner.com/en/topics/data-and-analytics#q8

Gartner Survey Shows Organizations Are Slow to Advance in Data and Analytics (Maturity Model mit fünf Stufen): https://www.gartner.com/en/newsroom/press-releases/2018-02-05-gartner-survey-shows-organizations-are-slow-to-advance-in-data-and-analytics

📬 Fragen, Feedback oder Themenwünsche?
Schreibt uns gern an: podcast@inwt-statistics.de

Ob in der Entwicklungszusammenarbeit, im Online-Marketing oder beim Pricing: Wer wissen will, was eine Maßnahme bewirkt hat, steht vor dem Problem, dass sich immer nur eine Welt beobachten lässt. In dieser Folge sprechen Mira und Amit darüber, wie sich trotzdem ein belastbares Counterfactual konstruieren lässt und warum Korrelation dafür nicht ausreicht. Sie gehen Studiendesigns von RCTs über Difference-in-Differences, Regression Discontinuity und Propensity Score Matching bis hin zu Instrumentvariablen, Synthetic Control und Panel-Methoden durch. Außerdem geht es um die Frage, welche Variablen in die Auswertung gehören, wie man Ergebnisse auf Robustheit prüft und was Dosis-Wirkungs-Beziehungen zusätzlich verraten. Ein Plädoyer dafür, die Auswertung schon vor Beginn einer Maßnahme mitzudenken.

 

**Zusammenfassung**

Das Kernproblem der Evaluation: Das Counterfactual ist unbeobachtbar, und ein statistischer Zusammenhang belegt noch keine Kausalität.

Vor jeder Analyse steht die Wirkkette: Ohne logisches Verständnis, wie eine Maßnahme wirken soll, drohen falsche Metriken, übersehene Einflüsse und schlechte Vergleichsgruppen.

Metriken sollten das messen, was wirklich zählt (z.B. Gewinn statt Auslastung, CLV statt Click-Through-Rate), und die Frage der Generalisierbarkeit gehört von Anfang an dazu.

RCTs und A/B-Tests gelten als Goldstandard, setzen aber eine Poweranalyse vorab und eine saubere Auswertung voraus.

Wenn Randomisierung nicht möglich ist, helfen DiD, RDD, Propensity Score Matching, Synthetic Control, Interrupted Time Series oder Fixed-Effects-Modelle, je nach Datenlage und Selektionsprozess.

Instrumentvariablen lösen das Problem unbeobachteter Confounder wie Motivation, liefern aber nur einen lokalen Effekt (LATE), und die Ausschlussrestriktion lässt sich nicht statistisch testen.

In der Analyse gehören Confounder ins Modell, Mediatoren nicht; Double ML, Causal Forests und Dosis-Wirkungs-Analysen erweitern das Werkzeugset.

Robustheitschecks und eine Fehlerkultur, in der auch "wirkt nicht" ein wertvolles Ergebnis ist, sind entscheidend für glaubwürdige Evaluation.

**Links**

#73: Korrelation vs. Kausalität: Was braucht es für fundierte Entscheidungen? https://www.podbean.com/ew/pb-xmeyy-18c0d20

#26: A/B-Testing: Erkenntnisse statt Bauchgefühl https://www.podbean.com/ew/pb-6fzpj-143cfb1

📬 Fragen, Feedback oder Themenwünsche?
Schreibt uns gern an: podcast@inwt-statistics.de

In dieser Folge sprechen wir über den EU AI Act: was er unter einem KI-System versteht, welche Risikostufen er unterscheidet und welche Regeln bereits gelten. Wir gehen auf die kurzfristigen Änderungen durch den EU AI Omnibus ein, unter anderem die verschobenen Fristen für Hochrisiko-Systeme. Außerdem erklären wir, welche Pflichten für Anbieter von General-Purpose-AI-Modellen gelten und welche Rolle der Code of Practice dabei spielt. Im Deep Dive zur Transparenzpflicht geht es darum, wie sich KI-generierte Inhalte kennzeichnen lassen und wie Text-Watermarking mit SynthID technisch funktioniert. Zum Schluss ordnen wir ein, was die Regulierung für Data-Science-Projekte in der Praxis bedeutet.

 

**Zusammenfassung**

Stand der Umsetzung: Verbotene Praktiken und die Pflicht zur KI-Kompetenz gelten seit dem 2.2.2025, die Transparenzpflichten seit dem 2.8.2026.

EU AI Omnibus: Die Fristen für Hochrisiko-Systeme wurden auf den 2.12.2026 (Stand-alone) bzw. 2.12.2027 (eingebettet) verschoben, zudem kam ein Verbot nicht einvernehmlicher sexualisierter Deepfakes hinzu.

Definition von KI: Der AI Act beschreibt KI-Systeme als maschinengestützte Systeme mit unterschiedlichem Autonomiegrad, die aus Eingaben ableiten, wie sie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugen.

Risikostufen: Unterschieden werden verbotene Praktiken (z. B. Manipulation, Social Scoring), Hochrisiko-Anwendungen (z. B. kritische Infrastruktur, Gesundheit, Bildung, Justiz) und die Restkategorie mit geringem Risiko.

General-Purpose-AI: Große Foundation-Modelle unterliegen Dokumentations- und Informationspflichten, etwa zu Trainingsdaten und Urheberrecht; ab 10^25 FLOPs Trainingsaufwand wird ein systemisches Risiko vermutet.

Code of Practice: Anbieter*innen können Compliance über den Code of Practice mit den Kapiteln Transparenz, Urheberrecht sowie Sicherheit und Gefahrenabwehr nachweisen.

Kennzeichnung von KI-Inhalten: Bilder, Videos und Audio lassen sich per Wasserzeichen oder Metadaten (C2PA) markieren, Texte über eine subtile Beeinflussung der Token-Auswahl wie bei SynthID – beide Ansätze haben aber klare Grenzen bei Erkennung und Manipulationssicherheit.

Bedeutung für die Praxis: Wichtig sind die Risikoeinordnung eines Projekts, eingebaute Transparenzmechanismen etwa bei Chatbots und dokumentierte Maßnahmen zur KI-Kompetenz – vieles davon entspricht ohnehin guter Praxis.

 

**Links**

Verordnung (EU) 2024/1689 (AI Act) auf EUR-Lex: https://eur-lex.europa.eu/eli/reg/2024/1689/oj
Bundesnetzagentur – KI-Verordnung, Zeitplan und Überblick (deutsch): https://www.bundesnetzagentur.de/DE/Fachthemen/Digitales/KI/1_Ziel/start_ziel.html

EU-Kommission – Safer and more transparent AI (2.8.2026): https://commission.europa.eu/news-and-media/news/safer-and-more-transparent-ai-2026-08-02_en

Rat der EU – Final green light für den AI Omnibus: https://www.consilium.europa.eu/en/press/press-releases/2026/06/29/artificial-intelligence-council-gives-final-green-light-to-simplify-and-streamline-rules/

technology.org – What actually applies on 2 August 2026: https://www.technology.org/2026/07/17/eu-ai-act-what-actually-applies-on-2-august-2026/

Nature-Paper zu SynthID-Text: https://www.nature.com/articles/s41586-024-08025-4

Google DeepMind – Watermarking mit SynthID: https://deepmind.google/blog/watermarking-ai-generated-text-and-video-with-synthid/

C2PA – Standard für Herkunftsnachweise von Inhalten: https://c2pa.org/

 

Lust auf einen Schnack bei der goto; Konferenz in Kopenhagen?

Sebastian auf LinkedIn: https://www.linkedin.com/in/sebastianwarnholz

goto; Konferenz in Kopenhagen: https://gotocph.com/2026

 

📬 Fragen, Feedback oder Themenwünsche?
Schreibt uns gern an: podcast@inwt-statistics.de

Die letzten Monate waren geprägt von neuen Foundation Models für tabellarische und sequentielle Daten: TabPFN 3 skaliert auf eine Million Beobachtungen, Google stellt mit TabFM ein eigenes Modell samt BigQuery-Integration vor, NXAI veröffentlicht TiRex-2 mit Kovariaten-Unterstützung, und an der Spitze von GIFT-Eval steht mit STRIDE eine Kombination aus LLM-Reasoning und Time Series Foundation Model. Dazu kommen der ClickHouse-MCP-Server und der Stand der Umsetzung des EU AI Act nach dem Digital Omnibus. Im Praxisteil vergleichen wir TabICL v2 mit einem getunten XGBoost, Meta Prophet und naiven Baselines auf stündlichen NO2-Messwerten von fünf Messstationen, ausgewertet über ein Jahr rollierender Kreuzvalidierung mit dem Mean Absolute Scaled Error. Wir zeigen, welches Feature-Engineering nötig ist, wie sich der Vorteil von TabICL mit der Länge der Historie verändert und was das an Rechenzeit kostet. Zum Schluss ordnen wir ein, wann sich ein Foundation Model für Zeitreihen anbietet und wann XGBoost die pragmatischere Wahl bleibt.

 

**Zusammenfassung**

TabPFN 3 (Mai 2026) skaliert auf einer H100 auf bis zu 1 Mio. Beobachtungen; verbessertes KV-Caching senkt die Prognosezeit auf 0,1–3 ms pro Testbeobachtung und macht das Modell für schnelle Batch-Prognosen nutzbar.

Googles TabFM ist von TabPFN und TabICL inspiriert, liegt im TabArena-Benchmark vor TabPFN 3 und ist direkt in BigQuery integriert.

TiRex-2 von NXAI setzt auf eine xLSTM- statt Transformer-Architektur und kann jetzt zusätzliche Kovariate einbeziehen – ein Test steht bei uns noch aus.

STRIDE führt den GIFT-Eval-Benchmark an: Das LLM prognostiziert nicht selbst, sondern steuert über destillierte Embeddings ein Time Series Foundation Model.

Kurz notiert: Der ClickHouse-MCP-Server (v0.4.1) erlaubt LLM-Abfragen ohne SQL, etwa zur Log-Diagnose; beim EU AI Act gelten die Transparenzpflichten seit August, die Kennzeichnung von Bestandssystemen greift ab dem 2.12.2026.

Praxis-Setup: TabICL v2 mit Kalender-, Fourier- und Lag-Features gegen getuntes XGBoost, Prophet, TabICL out-of-the-box sowie Naive und Seasonal-Naive; stündliche NO2-Daten, 24-Stunden-Horizont, Metrik MASE.

Ergebnisse: Bei zwei Jahren Historie liegt TabICL klar vorn, bei rund 8.000–9.000 Trainingsbeobachtungen ist XGBoost praktisch gleichauf, bei drei Monaten Historie noch etwa 4 % schlechter; ohne jedes Feature-Engineering schlägt TabICL Prophet und die naiven Baselines deutlich.

Kosten: Die Kreuzvalidierung mit TabICL auf einer L40S-GPU dauert etwa 17-mal länger als mit XGBoost, auf CPU ist das Modell nicht praktikabel – Caching dürfte diesen Nachteil künftig verkleinern.

 

**Links**

Link zum begeleitenden Blogartikel "TabICL v2 für Zeitreihen: Das In-Context-Learning-Modell im Vergleich mit XGBoost und Meta's Prophet" https://www.inwt-statistics.de/blog/tabicl_v2_fuer_zeitreihen

#72: TabPFN: Die KI-Revolution für tabulare Daten mit Noah Hollmann https://www.podbean.com/ew/pb-94ri2-18aca83

#57: Mehr als heiße Luft: unsere Berliner Luftschadstoffprognose mit Dr. Andreas Kerschbaumer https://www.podbean.com/ew/pb-u6xwt-16ff139

TabPFN-3 Technical Report: https://priorlabs.ai/technical-reports/tabpfn-3

TabPFN auf GitHub: https://github.com/PriorLabs/TabPFN

Google Research zu TabFM: https://research.google/blog/introducing-tabfm-a-zero-shot-foundation-model-for-tabular-data/

TabFM in BigQuery: https://cloud.google.com/blog/products/data-analytics/tabfm-adds-predictive-ml-to-bigquery

TiRex-2 (NXAI): https://www.nx-ai.com/en/tirex-2 | Code: https://github.com/NX-AI/tirex-2 | Paper: https://arxiv.org/abs/2607.01204

STRIDE – Reasoning-Aware Training for Time Series Forecasting: https://arxiv.org/abs/2605.08625

Time Series LLMs am Beispiel t0-alpha: https://towardsdatascience.com/time-series-llms-explained-with-t0-alpha/

ClickHouse MCP Server: https://github.com/ClickHouse/mcp-clickhouse

EU AI Act nach dem Digital Omnibus (Überblick): https://www.deloitte.com/de/de/issues/innovation-ai/eu-ai-act-digital-omnibus.html

TabICL v2 auf GitHub: https://github.com/soda-inria/tabicl

TabICL-Dokumentation: https://tabicl.readthedocs.io/en/latest/

Tutorial zum TabICLForecaster: https://tabicl.readthedocs.io/en/latest/tutorials/time_series_forecasting.html

Meta Prophet: https://github.com/facebook/prophet

GIFT-Eval Leaderboard: https://huggingface.co/spaces/Salesforce/GIFT-Eval

TabArena Leaderboard: https://huggingface.co/spaces/TabArena/leaderboard

 

📬 Fragen, Feedback oder Themenwünsche?
Schreibt uns gern an: podcast@inwt-statistics.de