Knowledge Science - Alles über KI, ML und NLP

• Episode 218 - Mechanistische Interpretierbarkeit - Warum wir verstehen müssen, wie Sprachmodelle wirklich ticken

  Send us a textIn dieser Episode diskutieren Sigurd Schacht und Carsten Lanquillon über mechanistische Interpretierbarkeit - das Reverse Engineering von KI-Modellen. Sie beleuchten, warum dieses Forschungsfeld demokratisiert werden muss, welche Hürden dabei zu überwinden sind und wie emergentes Verhalten wie Induction Heads die Art verändert, wie wir über KI-Intelligenz denken. Ein Plädoyer für mehr Zugänglichkeit in der KI-Forschung jenseits der großen Tech-Labs.Support the show

  --------  

  29:47

  --------

  29:47
• Episode 217 - Circuit Lenses: Den KI-Kontext entschlüsseln - Teil 2

  Send us a textIn dieser technischen Sendung setzen Sigurd Schacht und Carsten Lanquillon ihre Diskussion über die Methoden CircuitLens fort. Während Weight Lenses atomare Features ohne Trainingsdaten identifizieren können, gehen Circuit Lenses einen Schritt weiter: Sie entschlüsseln, wie Features im Kontext zusammenwirken. Die Hosts erklären, warum diese Berliner Forschung einen Paradigmenwechsel in der Analyse neuronaler Netze darstellt - von isolierten Features zu vernetzten Konzepten.Support the show

  --------  

  31:16

  --------

  31:16
• Episode 216 - Features verstehen ohne Datenhunger: Der Weight Lens-Ansatz

  Send us a textWie können wir verstehen, was in einem Sprachmodell wirklich passiert? Sigurd und Carsten tauchen tief ein in ein  Paper aus Deutschland, das zeigt, wie man Features in neuronalen Netzen identifizieren kann – ohne riesige Datensätze und ohne aufwändiges Training. Von Sparse Auto Encodern über Transcoders bis zur neuen Weight Lens-Methode: Erfahrt, wie Mechanistic Interpretability den Weg zu transparenteren KI-Systemen ebnet. Plus: Einblicke vom AI Transparency Days Hackathon, wo das Team versuchte, die "Refusal"-Mechanismen in GPT-OSS-20B zu entschlüsseln. Teil 1 einer zweiteiligen Serie!Circuit Insights: Towards interpretability Beond Activiations. https://www.arxiv.org/abs/2510.14936Support the show

  --------  

  39:55

  --------

  39:55
• Episode 215: Wenn Rauschen zu Geschichten wird - Wie Transformer halluzinieren

  Send us a textWarum erfindet KI manchmal Fakten, die nicht existieren? In dieser Episode analysieren Sigurd und Carsten ein faszinierendes Paper, das mit Sparse Autoencodern dem Ursprung von Halluzinationen auf den Grund geht. Das Überraschende: Füttert man Transformer mit reinem statistischen Rauschen, aktivieren sie stabile interne Konzepte wie Schildkröten, Segelboote oder Baseballs. Die Erkenntnis: Je unsicherer der Input, desto stärker greift das Modell auf seinen internen Bias zurück. Eine Episode über mechanistische Interpretierbarkeit, "Conceptual Wandering" in mittleren Netzwerk-Layern und die Frage, ob sich Halluzinationen prognostizieren und unterdrücken lassen.AI Transparency Days: www.edif.ai/eventsPaper: From Noise to Narrative: Tracing the Origins of Hallucinations in Transformers https://arxiv.org/abs/2509.06938Support the show

  --------  

  36:20

  --------

  36:20
• Episode 214 - Die 10 Gebote der Agenten-Ökonomie: Wunschdenken oder Wegweiser?

  Send us a textSigurd Schacht und Carsten Lanquillon nehmen das Paper "Ten Principles of AI Agent Economics" kritisch unter die Lupe. Sind KI-Agenten wirklich dabei, unsere Wirtschaft und Gesellschaft grundlegend zu verändern? Die beiden Hosts diskutieren, wie Agenten Entscheidungen treffen, welche gesellschaftlichen Auswirkungen drohen und warum das wichtigste Prinzip – AI Alignment – zwar richtig, aber viel zu allgemein formuliert ist. Eine spannende Episode über notwendige Regulierung und die Frage: Wer kontrolliert wen, wenn KI-Systeme immer autonomer werden?Anmeldung zu den AI Transparency Days - https://www.edif.ai/eventsSupport the show

  --------  

  44:29

  --------

  44:29

Weitere Bildung Podcasts

Trending Bildung Podcasts

Über Knowledge Science - Alles über KI, ML und NLP