Knowledge Science - Alles über KI, ML und NLP

Send us Fan Mail
Karl von Wendt – promovierter KI-Forscher, Chatbot-Pionier, Unternehmensberater und unter dem Namen Karl Olsberg Bestseller-Autor ist seit 2020 eine der deutschsprachigen Stimmen in der Debatte um KI-Sicherheit. In dieser Folge sprechen Sigurd Schacht und Carsten Lanquillon mit ihm über die Frage, wie viel Kontrolle wir über KI-Systeme tatsächlich noch haben – und wie viel davon Illusion ist.
Themen der Folge:
Vom KI-Roman 2007 zur Realität 2026: Warum Karls Science-Fiction der Wirklichkeit unangenehm nahe kommt
Die Navi-Geschichte: Wie schnell wir formal entscheiden, aber de facto der Maschine folgen
Human in the Loop: Warum das Konzept nur unter drei Bedingungen funktioniert (ausreichende Information, echtes Verständnis, interaktive statt reiner Freigabe-Entscheidung)
Illusion des Verständnisses: Das Go-Beispiel und warum wir glauben, am Steuer zu sitzen
„Move fast and break things“ vs. Sicherheitskultur: Was die KI-Branche von anderen Hochrisiko-Industrien lernen müsste
Pause oder Vollbremse? Wie sich ein Entwicklungsstopp überhaupt kontrollieren ließe
Rekursive Selbstverbesserung: Warum Systeme, die wir nicht verstehen, sich nicht selbst verbessern sollten
Alignment, Fähigkeiten, Umgebung: Welche Stellschrauben bleiben, wenn Alignment nie ganz gelöst wird
Warum Containment allein nicht reicht: Das AI-Box-Experiment von Yudkowsky
Tool AI statt Alleskönner: AlphaFold als Vorbild für spezialisierte KI
Persona statt KI: Warum wir mit einem fragilen Konstrukt reden – und was Jailbreaks und emergente Fehlausrichtung darüber verraten
Sykophantie, Abhängigkeit und verlerntes kritisches Denken bei Jugendlichen
Prüfen wir die Kompetenz der KI oder der Studierenden? Ein Evaluationsproblem der Hochschulen
Science-Fiction vs. Wissenschaftskommunikation: Was Forschende von Autoren lernen können (und was nicht)
Über unseren Gast:
Dr. Karl von Wendt promovierte über Expertensysteme, gründete 1999 eines der ersten deutschen Chatbot-Startups (Startup des Jahres) und arbeitete lange als Unternehmensberater. Als Karl Olsberg veröffentlichte er über 50 Bücher, darunter Spiegel-Bestseller, Minecraft-Romane und KI-Thriller wie „Das System“. Seit 2020 erklärt er die KI-Sicherheitsdebatte auf ki-risiken.de und auf seinem YouTube-Kanal mit über 20.000 Abonnenten.
Links:
„Kontrollillusionen“ (2025, kostenlos unter freier Lizenz) https://www.ki-risiken.de/kontroll-illusion/
YouTube-Kanal Karl Olsberg https://www.youtube.com/@KarlOlsbergAutor
Knowledge Science – aktuelle KI-Forschung, verständlich erklärt und kritisch geprüft. Mit Blick auf den Menschen.
Support the show

Send us Fan Mail
Wir sprechen über die Rückkehr von Knowledge Science, das neue Format mit Grundlagen- und Gästefolgen sowie die Arbeit des Forschungsinstituts COAI zu menschlicher Handlungsfähigkeit, Threat Modeling und Evaluation. Dabei diskutieren wir, wie KI die Lern- und Denkprozesse beeinflussen kann und welche Sicherheitsmaßnahmen für KI-Agenten wichtig sind. Zum Abschluss geht es um die Grenzen heutiger Evaluationen und darum, wie Tests Risiken von Modellen, Agententeams und ihren Einsatzumgebungen erfassen können, ohne Menschen zu gefährden.
0:06 Neustart für Knowledge Science
4:21 Neues Podcast-Konzept mit Gästen
8:48 Co.AI: Menschliche Handlungsfähigkeit bewahren
14:51 KI nutzen, ohne Kompetenzen abzugeben
16:35 Kontrollverlust und Risiken autonomer Agenten
18:27 KI als Spiegel der Gesellschaft
21:34 Wie Agenten Sicherheitslücken ausnutzen
26:28 Risiken eindämmen durch sichere Umgebungen
28:19 Unabhängige Prüfungen und KI-Sicherheit
31:33 Forschung zu Evaluation und Agententeams
34:13 Sicherheitstests ohne reale Versuchspersonen
35:09 Der menschliche Faktor in der KI-Sicherheit
Knowledge Science, COAI, menschliche Handlungsfähigkeit, Threat Modeling, Evaluation, KI-Agenten, Lernprozesse, Denkprozesse, Sicherheitsmaßnahmen, Risikobewertung

Support the show

Send us Fan Mail
Kann man einem Sprachmodell beim Denken zusehen? In dieser Folge sprechen Sigurd Schacht und Carsten Lanquillon über ein faszinierendes Anthropic-Paper, das einen „Global Workspace" in großen Sprachmodellen nachweist – einen internen Arbeitsbereich, in dem komplexe Denkschritte ablaufen, lange bevor ein Wort ausgegeben wird. Mit der sogenannten J-Lens lassen sich diese latenten Gedanken sichtbar machen, manipulieren und sogar kausal verändern: Wer „Spinne" im Gedankenraum gegen „Elefant" tauscht, bekommt statt acht Beinen plötzlich vier. Außerdem: ein Blick auf die turbulente Modelllandschaft rund um Claude Fable, GPT 5.6 Sol & Co. – und warum agentische Systeme ohne mehrstufige Sicherheitsmechanismen zum Risiko werden.
Support the show

Send us Fan Mail
Rückblick auf zwei intensive Wochen: Zuerst auf die erste AI Transparency Conference mit über 100 Teilnehmenden aus aller Welt – von mechanistischer Interpretierbarkeit über Multi-Agenten-Reinforcement-Learning bis zur Frage, warum Sprachmodelle alles andere als neutral urteilen. Und dann der Paukenschlag: Anthropics Fable 5 wird per nationaler Sicherheitsanordnung binnen Stunden für alle Nicht-US-Bürger abgeschaltet. Sigurd Schacht und Carsten Lanquillon sprechen über Steering-Vektoren, Fusion-Architekturen und die unbequeme Frage, wie souverän Europa eigentlich ist, wenn der Zugang zu kritischer KI-Infrastruktur jederzeit entzogen werden 
Support the show

Send us Fan Mail
Was passiert eigentlich, nachdem wir alles automatisiert haben? Sigurd Schacht und Carsten Lanquillon nehmen sich den  Blogbeitrag von Dan Shipper (Every) vor und diskutieren seine steile These: Die Zukunft menschlicher Arbeit sieht rosiger aus als gedacht – wir brauchen sogar mehr Menschen. Von einem Startup, das in zwei Jahren von 2 auf 30 Mitarbeitende wuchs, über den Unterschied zwischen „Embedded AIs" und echter Mensch-KI-Kollaboration bis zur „Human-Sandwich-Pipeline": Warum bleibt der Mensch unverzichtbar, wenn der Rahmen sich ändert? Und was bedeutet „AI-Slop" wirklich – schlechte Ergebnisse oder einfach zu viel Gleichförmigkeit? Eine Folge über Framing, lebenslanges Lernen und das unterschätzte „Never-Skilling"-Problem.
Support the show